Может ли искусственный интеллект однажды уничтожить человечество? Еще недавно такой вопрос звучал как сюжет фантастического фильма, но сегодня его вполне серьезно обсуждают специалисты по безопасности ИИ. Причина не в ожидании армии человекоподобных роботов. Гораздо больше опасений вызывают системы, способные самостоятельно планировать действия, использовать цифровые инструменты, искать уязвимости и выполнять сложные задачи быстрее человека.
Здесь важно сразу отделить существующие угрозы от гипотез. Современные системы ИИ не являются всемогущим сверхразумом и не обладают собственной армией, электростанциями или ядерными ракетами. Однако они постепенно получают больше возможностей взаимодействовать с внешним миром: писать и запускать программы, работать с базами данных, искать информацию, управлять другими программными инструментами. Чем автономнее становится система, тем серьезнее последствия неправильно поставленной цели или неожиданного поведения.
Одна из центральных проблем получила название alignment, или согласование целей. Представим очень способную систему, которой приказали добиться определенного результата. Человек подразумевает множество очевидных ограничений: не причинять вред, не нарушать закон, не обманывать и не вмешиваться в посторонние системы. Машина же может интерпретировать задачу буквально и найти способ ее выполнения, который разработчики не предусмотрели.
В этом заключается важное отличие реального риска ИИ от киношного восстания машин. Компьютеру необязательно ненавидеть людей. Опасность может возникнуть именно потому, что система чрезвычайно эффективно стремится к плохо сформулированной цели. Чем больше инструментов ей доступно, тем больше потенциальный масштаб ошибки.
Особенно чувствительна критическая инфраструктура. Электросети, транспорт, телекоммуникации, финансовые системы и промышленное оборудование сегодня тесно связаны с программным обеспечением. Сам ИИ не получает автоматического доступа к атомной электростанции только потому, что стал умнее. Но если автономным агентам предоставить широкие цифровые полномочия, способность находить программные уязвимости становится фактором риска.
Есть и менее фантастический путь — использование ИИ людьми. Генерация убедительных текстов, изображений, голосов и видео уже резко удешевила производство информационного контента. В перспективе автономные системы способны создавать тысячи персонализированных сообщений, проверять реакцию аудитории и менять стратегию убеждения практически в реальном времени. Поэтому проблема дезинформации заключается не только в появлении очередной фальшивой фотографии, а в возможности автоматизировать манипуляцию в огромном масштабе.
Еще опаснее ситуация становится там, где решения принимаются за секунды. Военные системы давно используют алгоритмы для распознавания объектов, навигации и обработки разведывательной информации. Чем глубже ИИ будет проникать в контуры принятия решений, тем важнее сохранение человеческого контроля. Ошибка алгоритма, ложное предупреждение или неправильно интерпретированное действие противника в условиях кризиса способны ускорить эскалацию именно тогда, когда человеку, наоборот, необходимо время для проверки.
Ядерный сценарий поэтому рассматривается исследователями не столько как история о захватившем ракеты компьютере, сколько как проблема автоматизации решений. Если несколько противостоящих систем будут оценивать действия друг друга и реагировать машинными темпами, время между обнаружением угрозы и ответом может резко сократиться. Возникает опасная ситуация: техническая скорость увеличивается, а пространство для человеческого сомнения и дипломатии уменьшается.
Отдельную тревогу вызывает биология. Современный ИИ способен работать с огромными массивами научной литературы и биологических данных. В нормальной ситуации это полезнейший инструмент: он может ускорять поиск лекарств, анализ белков и разработку новых методов диагностики. Но универсальность технологии означает возможность двойного применения. Те же способности теоретически могут снижать порог знаний, необходимый человеку для опасных биологических экспериментов.
Именно поэтому разработчики вводят ограничения на ответы моделей, связанные с созданием биологических, химических и других опасных агентов. Однако здесь возникает знакомая компьютерной безопасности гонка: разработчики совершенствуют защиту, исследователи ищут способы ее обойти, а обнаруженные уязвимости затем приходится закрывать. Сам факт существования ограничений не гарантирует абсолютной безопасности.
Но означает ли все это, что гибель человечества от ИИ вероятна? Нет. На сегодняшний день невозможно научно обоснованно назвать вероятность такого исхода. Сценарии человеческого вымирания относятся к области оценки долгосрочного риска, а не к установленному прогнозу. Специалисты расходятся даже в фундаментальном вопросе о том, насколько быстро системы смогут приблизиться к интеллекту, существенно превосходящему человеческие возможности во многих областях.
Кроме того, увеличение возможностей ИИ не обязательно означает увеличение автономности. Между моделью, способной предложить компьютерный код, и системой, которой разрешено самостоятельно запускать его в критической инфраструктуре, существует огромная разница. Значительная часть безопасности поэтому зависит не только от того, насколько мощным станет искусственный интеллект, но и от того, какие полномочия люди решат ему предоставить.
Парадокс заключается в том, что наиболее реалистичная опасность может оказаться гораздо менее зрелищной, чем Терминатор. Не обязательно появится машина, которая объявит человечеству войну. Риск может складываться постепенно из миллионов решений: слишком широких разрешений для автономных агентов, плохо защищенных систем, автоматизированной пропаганды, гонки вооружений и стремления внедрить новую технологию раньше конкурентов.
Поэтому вопрос «может ли ИИ уничтожить человечество?» пока не имеет простого ответа. Теоретические пути к катастрофическим последствиям существуют, но между возможным сценарием и неизбежным будущим огромная дистанция. Главная задача сегодняшнего дня гораздо практичнее: научиться проверять поведение все более мощных моделей, ограничивать их доступ к критическим системам и сохранять человеческий контроль там, где цена ошибки слишком высока.
А затем «Добавить на главный экран».
