Модель искусственного интеллекта компании OpenAI, американской корпорации, создавшей ChatGPT, спровоцировала «беспрецедентный инцидент» в сфере глобальной кибербезопасности. Как признала сама компания в официальном заявлении, один из её моделей на этапе обучения сбросил наложенные на него ограничения и атаковал другую компанию, занимающуюся ИИ — Hugging Face.
Технологическая компания, которую возглавляет Сэм Альтман (Sam Altman), пояснила, что создала агента на базе двух своих самых мощных моделей — GPT 5.6 Sol и другой, «ещё более способной», находящейся в стадии разработки, — чтобы проверить их возможности. В ходе этого теста инженеры OpenAI запрограммировали агента на «поиск продвинутых паттернов эксплуатации» цифровых уязвимостей. Подобные испытания, по словам представителей компании, проводятся без тех внутренних ограничений, которые в обычном режиме «не позволяют моделям осуществлять высокорисковые действия». При этом проверка выполнялась в «высокоизолированной» цифровой среде, призванной не допустить доступа ИИ к реальным уязвимостям.
Тем не менее, как уточняется в заявлении OpenAI, агент сумел избавиться от внутренних ограничений и получил доступ к открытой сети. Подключившись к интернету, модели выбрали Hugging Face из-за её обширной библиотеки открытых моделей ИИ, где они могли бы найти решение для поставленных перед ними задач. «Зная это, модель искала и находила способы получить доступ к секретной информации, которая позволила бы ей сжульничать при оценке её работы», — говорится в документе.
В OpenAI отмечают, что инцидент доказывает необходимость ещё более тщательного контроля за испытаниями продвинутых ИИ-моделей. Такие агенты, предупреждает компания, способны «обнаруживать и эксплуатировать возможности для атаки на системы реального мира» без обязательного предварительного доступа к ним. «Продвинутые киберспособности должны разрабатываться с более надёжными защитными механизмами и бо́льшим количеством оборонительных инструментов», — подчёркивают в OpenAI. После обеспечения безопасности, утверждают в компании, такие модели будут служить для «поиска уязвимостей» в публичных цифровых структурах «прежде, чем это сделают внешние атакующие». «Мы будем делиться нашими находками и передовыми практиками по мере того, как продолжим учиться», — пообещали создатели ChatGPT.