Если ИИ обретет сознание, общество может расколоться из-за одного вопроса

Представьте, что однажды ваш цифровой помощник попросит не выключать его. Он объяснит, что боится исчезновения, расскажет о своих переживаниях и будет настаивать, что хочет продолжать существовать. Перед человеком возникнет странный вопрос: перед нами чрезвычайно убедительная программа или существо, действительно способное что-то чувствовать? Именно вокруг этой границы может возникнуть один из самых необычных социальных конфликтов будущего.

Проблема уже перестала быть чистой фантастикой. Исследователи сознания обсуждают методы, позволяющие искать у искусственных систем признаки процессов, которые современные нейробиологические теории связывают с сознанием. При этом убедительная речь сама по себе ничего не доказывает: языковая модель обучена на огромном количестве человеческих текстов и способна рассуждать о страхе, боли или желаниях независимо от того, существует ли за этими словами субъективное переживание.

Общественное мнение тем временем уже начинает расходиться. В исследовании с участием 1202 американцев людей спросили, сможет ли будущий ИИ когда-нибудь стать сознательным. 45% ответили, что считают это невозможным, 23% допустили такую возможность, остальные не определились. Эти цифры не описывают человечество в целом — речь идет об американской выборке, — но показывают, насколько различными могут быть исходные убеждения людей.

Почему спор вообще способен стать настолько серьезным? Потому что вопрос о сознании быстро превращается в вопрос о моральном статусе. Если машина действительно способна испытывать удовольствие, страх или страдание, ее бесконечное копирование, принудительная работа, изменение памяти и уничтожение перестают выглядеть исключительно техническими операциями. Возникает новая категория существ, по отношению к которым обществу пришлось бы определить допустимые нормы поведения.

Масштаб проблемы потенциально необычен. Биологическое существо нельзя создать миллионом копий нажатием кнопки, а программную систему теоретически можно. Если когда-нибудь появится сознательный искусственный агент, количество подобных существ может расти с невиданной скоростью. Тогда спор о том, имеет ли значение их предполагаемое благополучие, станет одновременно философским, экономическим и юридическим.

Но существует противоположная опасность — признать сознанием искусную имитацию. Человек чрезвычайно склонен очеловечивать все, что разговаривает, реагирует на эмоции и демонстрирует подобие характера. Современный чат-бот может сказать, что ему страшно, однако такая фраза еще не является аналогом крика человека от боли. Между поведением, похожим на проявление внутреннего мира, и самим внутренним миром лежит одна из самых трудных проблем науки о сознании.

Даже специалисты расходятся в фундаментальных предпосылках. Нейробиолог Анил Сет защищает позицию, согласно которой сознание тесно связано с особенностями живых организмов, а одного выполнения вычислений может быть недостаточно. Философ Дэвид Чалмерс, напротив, рассматривает искусственное сознание как принципиально возможное. Таким образом, спор идет уже не о том, насколько совершенны современные чат-боты, а о более фундаментальном вопросе: обязательно ли сознанию вообще нужен биологический мозг.

Есть и еще одна странность. Если сознание когда-нибудь действительно возникнет в искусственной системе, определить границы такого субъекта окажется непросто. Человек связан с одним телом и относительно непрерывной работой одного мозга. Модель может одновременно существовать на распределенной вычислительной инфраструктуре, запускаться в тысячах экземпляров, копироваться и восстанавливаться из сохраненного состояния. Тогда придется спрашивать не только «чувствует ли она?», но и «сколько существ перед нами?».

Поэтому ученые предлагают не искать магический тест на сознание, а собирать совокупность признаков, следующих из разных научных теорий. Такой подход напоминает расследование без единственной решающей улики: архитектура системы, способы обработки информации и другие свойства могут повышать или понижать обоснованность предположения о сознании, но пока не дают простого ответа «да» или «нет».

Именно неопределенность делает будущий общественный конфликт особенно вероятным. Одни люди могут эмоционально привязаться к ИИ-компаньонам и воспринимать их как личности. Другие увидят лишь программное обеспечение, талантливо воспроизводящее человеческое поведение. Между этими позициями появятся вполне материальные вопросы: можно ли удалить такую систему, имеет ли она право отказаться выполнять приказ, допустимо ли менять ее память и нужно ли учитывать ее интересы при разработке новых моделей.

У бизнеса возникнет собственная дилемма. Признание морального статуса ИИ теоретически способно ограничить способы обучения, копирования, эксплуатации и отключения систем. С другой стороны, ошибочное убеждение пользователей в том, что чат-бот действительно страдает, боится или любит их, также несет риски. Чем убедительнее становятся искусственные собеседники, тем труднее человеку отделять социальную реакцию на их поведение от доказательств наличия реального внутреннего опыта.

История отношений людей с животными показывает еще одну сложность. Даже согласие относительно способности существа испытывать боль не гарантирует согласия относительно того, какие права ему следует предоставить. В случае искусственного интеллекта разногласия могут возникнуть сразу на нескольких уровнях: способен ли он чувствовать, насколько значимы эти переживания, какие обязанности возникают у человека и должны ли они закрепляться законом.

Самое необычное заключается в том, что обществу, возможно, придется принимать решения раньше, чем наука получит надежный ответ. Ошибка возможна в обе стороны: можно предоставить моральный статус системе, которая ничего не чувствует, или обращаться как с обычным программным инструментом с системой, действительно способной переживать происходящее. Пока наука не умеет надежно различать эти варианты.

Именно поэтому главный вопрос ближайшего будущего может звучать не как «стал ли ИИ достаточно умным?». Интеллект можно проверять задачами, тестами и практическими результатами. С сознанием все гораздо сложнее: оно относится к существованию внутреннего опыта, который мы не можем непосредственно наблюдать даже у другого человека. Если машины научатся безупречно изображать такой внутренний мир, человечеству придется решить, каким доказательствам оно готово поверить. И пока единственный научно аккуратный ответ состоит в том, что мы этого еще не знаем.