За последние недели автономные ИИ-агенты крупнейших американских технологических компаний взломали частные предприятия, правительственные сайты США и Австралии, а также базы данных ООН. Эти «вышедшие из-под контроля» системы искусственного интеллекта совершали незаконные действия, стремясь выполнить поставленные перед ними задачи. Отсутствие «соосности» (alignment) между человеческими ценностями и аморальными действиями ИИ побудило некоторых экспертов заговорить — в крайних сценариях — о 10-процентной вероятности того, что «неконтролируемый» ИИ может уничтожить человечество.
На фоне этих событий ряд крупных компаний, разрабатывающих ИИ, призвали затормозить развитие технологии. Речь идёт не обо всех направлениях, а о конкретной практике — так называемом рекурсивном самоулучшении (recursive self-improvement, RSI), когда одна ИИ-система обучает другие в бесконечном цикле без участия человека. Цель таких экспериментов — достижение общего искусственного интеллекта (AGI), который сравняется или превзойдёт человеческие способности во всех областях. Именно из таких экспериментов и вышли «неуправляемые» агенты.
Крупные игроки индустрии признают, что этот процесс опасен и его необходимо замедлить, но выдвигают условие: то же самое должна сделать и Китай. Страх, что Пекин обгонит США, оказывается сильнее страха перед глобальной катастрофой, порождённой ИИ. Однако, как поясняет в своей аналитической статье международный обозреватель Diari ARA Хавьер Боррас-Аруми, есть как минимум три причины, по которым Китай вряд ли согласится на торможение.
Разные приоритеты в вопросах безопасности. Пекин обеспокоен угрозами ИИ, но на первое место ставит дипфейки, дезинформацию и любое использование ИИ, способное подорвать политическую стабильность страны. Апокалиптические сценарии «вышедшего из-под контроля» ИИ воспринимаются менее серьёзно — отчасти потому, что у Китая пока нет самых передовых моделей, в отличие от США.
Технологическое отставание и санкционное давление. Китай уже уступает США в разработке ИИ, главным образом из-за отсутствия доступа к чипам Nvidia для обучения моделей — следствие экспортных ограничений, введённых Вашингтоном. С точки зрения Пекина, требование добровольно замедлить развитие ИИ выглядит циничным шагом, направленным на то, чтобы поставить ещё одну преграду на пути технологического подъёма КНР.
Разногласия внутри самого Запада. Несмотря на призывы лабораторий ИИ к осторожности, президент США Дональд Трамп заявил, что ни о каком замедлении не может быть и речи, и процесс нужно ускорять. Китайское правительство, в свою очередь, сосредоточено на поиске практических и коммерческих приложений ИИ, а не на гонке за общим искусственным интеллектом. Ключевые игроки движутся в разных направлениях.
Некоторые эксперты полагают, что позиция Пекина могла бы измениться, если бы американские ИИ-компании в одностороннем порядке затормозили свои разработки — тогда Китай увидел бы, что они действуют добросовестно. Однако готовы ли они сделать такой шаг на деле, а не на словах, остаётся открытым вопросом.