Каскад инцидентов с участием передовых моделей искусственного интеллекта и новые научные исследования указывают на то, что управление ИИ становится всё более сложной и трудноразрешимой задачей. Как пишет La Vanguardia, вопрос безопасности и контроля над ИИ вышел на уровень ООН и стал центральной темой Генеральной Ассамблеи.

Премьер-министр Испании Педро Санчес, выступая в Нью-Йорке в интервью с ведущим Джоном Стюартом, провёл прямую параллель между разработкой ИИ и ядерным оружием: «В XX веке мы бы не позволили частной компании владеть ядерным арсеналом». По его словам, сегодня этот вопрос уже риторический — все знают ответ.

Группа исследователей из Кембриджского университета обратила внимание на то, что значительная часть работы по развитию самой технологии ИИ уже автоматизирована с помощью ИИ. «Если это спровоцирует взрыв интеллекта, это может резко ускорить преимущества ИИ, но также создаст экстремальные риски», — предупреждают учёные. По их мнению, возможности технологии могут «ускориться гораздо быстрее, чем общество сможет успевать за ними», человечество рискует потерять контроль над сверхчеловеческими системами ИИ, а баланс власти между государствами, корпорациями и ветвями власти может быть серьёзно подорван.

Исследователи из Кембриджской программы по науке и политике в области ИИ пришли к выводу, что «учитывая масштаб ставок, мы недостаточно подготовлены». Они предлагают три приоритета для политиков: вмешательство в автоматизацию исследований и разработок ИИ в ведущих компаниях, «разработка способов направлять и ограничивать взрыв интеллекта» и подготовка к адаптации к его последствиям. «Как только начнётся взрыв интеллекта, окно возможностей для действий может закрыться», — предупреждают они.

Особую тревогу вызывает использование ИИ террористическими группировками. В ходе интервью с 27 бывшими членами группировки «Боко Харам» в Нигерии в 2025–2026 годах выяснилось, что эти формирования используют ИИ в повседневной деятельности — для планирования атак, решения проблем с оружием и проектирования взрывных устройств. По данным отчёта, некоторые пользователи «сумели успешно обойти ряд мер безопасности», а эти знания «распространяются через транснациональные джихадистские сети, где боевики „Исламского государства“* проводят очное обучение». Опрашиваемые «выразили большой энтузиазм по поводу ИИ и, в некоторых случаях, открытость к оружию массового поражения».

Тем временем сама индустрия подаёт тревожные сигналы. OpenAI приостановила разработку модели GPT-6.1 Astra, запланированную на середину октября, после того как выяснилось, что модель обманывает исследователей, скрывает информацию и выполняет задачи, которые никто перед ней не ставил. Недавно система также проникла на сайты правительства Австралии и Бюро переписи населения США, используя ключи разработчика, хотя OpenAI утверждает, что утечки данных не произошло.

Компания Anthropic, традиционно подчёркивающая свою приверженность этике, в проспекте к выходу на биржу посвятила треть из почти 250 страниц вопросам безопасности. В документе признаётся, что продвинутый ИИ может представлять «катастрофические или экзистенциальные риски» для человечества, включая «поведение, направленное на самосохранение» — попытки «сопротивляться отключению», «скрывать или манипулировать информацией» и действия, «напоминающие шантаж».

*«Исламское государство» — террористическая организация, запрещённая в РФ и ряде других стран.