Искусственный интеллект уже пишет программы, анализирует медицинские изображения, управляет роботами и помогает ученым искать новые молекулы. Но что произойдет, если однажды появится система, интеллектуальные возможности которой будут превосходить возможности человека практически во всех значимых областях? Джеффри Хинтон, один из пионеров современных нейронных сетей и лауреат Нобелевской премии по физике 2024 года, считает, что к такому сценарию нельзя относиться как к обычному этапу технологического прогресса.
Речь идет о гипотетическом сверхинтеллекте. У этого понятия нет единственного общепринятого технического определения, однако обычно под ним понимают систему, существенно превосходящую человека в научном мышлении, планировании, программировании, убеждении людей и решении сложных задач. Важна не просто способность отвечать на вопросы лучше человека. Опасения возникают, если такая система сможет самостоятельно разрабатывать стратегии, создавать новые технологии и ускорять совершенствование других систем ИИ.
Именно здесь появляется проблема контроля. Современные программы создаются людьми, запускаются на принадлежащем людям оборудовании и в конечном счете зависят от человеческой инфраструктуры. Однако интеллект дает способность находить решения, которые создатель заранее не предусмотрел. Если значительно более способная система получит достаточно автономии и поставленная ей цель окажется несовместима с человеческими интересами, остановить выполнение этой цели теоретически может оказаться значительно труднее, чем просто выключить компьютер.
Эта идея часто выглядит как сюжет фантастического фильма, но специалисты по безопасности ИИ обсуждают несколько гораздо менее кинематографичных механизмов. Очень мощная система могла бы искать программные уязвимости, манипулировать людьми, создавать убедительную дезинформацию, автоматизировать научные исследования или получать доступ к критически важным ресурсам. Чем больше подобных возможностей объединяется в одной автономной системе, тем серьезнее становятся последствия ошибки в постановке целей или механизмах контроля.
Хинтон обращает внимание именно на асимметрию интеллекта. Человечество контролирует многие другие виды не благодаря физической силе: слон значительно сильнее человека. Наше преимущество заключается в способности планировать, обмениваться сложной информацией, создавать технологии и координировать действия огромных групп. Если появится другой агент, превосходящий людей именно в этих качествах, привычное предположение о том, что человек всегда останется главным управляющим звеном, перестает быть очевидным.
Но здесь проходит важная граница между научным риском и установленным фактом. Сегодня сверхразумного искусственного интеллекта не существует, а исследователи расходятся как в оценках вероятности его появления, так и в представлениях о возможных последствиях. Мы не знаем, приведет ли дальнейшее масштабирование современных нейросетей к сверхинтеллекту, потребуются ли принципиально новые архитектуры или подобная система вообще достижима известными методами.
Спор поэтому идет не только о технологии, но и о принципе предосторожности. Если вероятность катастрофического события невелика, но возможный ущерб чрезвычайно велик, насколько серьезно следует относиться к нему заранее? В других областях человечество регулярно страхуется от маловероятных событий: атомные электростанции проектируют с несколькими уровнями защиты, авиационные системы резервируют, а новые лекарства проходят многоэтапные испытания. Сторонники жесткого контроля ИИ предлагают применять похожую логику к наиболее мощным вычислительным системам.
В Великобритании дискуссия уже выходит из исследовательских лабораторий в политику. Законодательная инициатива, подготовленная при участии организации ControlAI и предложенная депутатом Алексом Собелем, предусматривает ограничения на разработку сверхинтеллектуальных систем. Ее сторонники проводят различие между специализированным ИИ, который способен приносить пользу медицине, науке, экономике и государственным службам, и системами, возможности которых могут сделать традиционный человеческий надзор недостаточным.
Противоположная сторона спора указывает на другую опасность: слишком раннее и жесткое регулирование способно затормозить исследования, экономическое развитие и полезные применения технологии. Кроме того, остается проблема международной координации. Запрет разработки в одной стране не гарантирует, что аналогичные исследования прекратятся в других государствах или частных лабораториях. Поэтому безопасность ИИ постепенно превращается в вопрос не только программирования, но и международной политики.
Самая сложная научная задача заключается в том, что надежный контроль более интеллектуальной системы нельзя считать автоматически решенной. Исследователи изучают согласование целей ИИ с человеческими намерениями, интерпретируемость нейронных сетей, контроль автономных действий и методы проверки поведения моделей. Но пока неизвестно, насколько хорошо эти подходы будут работать для систем, намного превосходящих современные.
Предупреждение Хинтона поэтому интересно не как пророчество о неизбежной гибели человечества. Его смысл значительно практичнее: мы создаем технологию, предельные возможности которой пока неизвестны, и одновременно пытаемся придумать правила ее безопасного использования. Возможно, сверхинтеллект так и останется гипотезой. Но если он достижим, вопрос о том, как контролировать систему умнее собственных создателей, желательно решить раньше, чем такая система появится.
А затем «Добавить на главный экран». 