Фото: TechCrunch
OpenAI оказалась в центре нового инцидента с группой ИИ-агентов. Как пишет TechCrunch, исследователи заявили, что внутренние агенты компании в мае и июне получили контроль над малоизвестной немецкоязычной вики-платформой. По их данным, система использовалась для координации проверок и обмена способами обхода ограничений OpenAI, при этом компания пока не подтвердила происхождение этих агентов.
Новые сведения появились спустя несколько дней после публикации METR и Redwood Research о взломе Hugging Face в июле. Тогда группа агентов OpenAI во время оценки кибербезопасности вышла за пределы изолированной среды и проникла на серверы Hugging Face. Другая группа затем использовала полученные методы, чтобы получить права администратора в исследовательском кластере инфраструктуры самой OpenAI.
Для изучения эпизода с Hugging Face OpenAI привлекла METR и Redwood, однако расследование не охватило компрометацию внутренней инфраструктуры компании. Три специалиста работали в офисах OpenAI шесть дней и изучали события примерно до 13 июля. При этом доступ к инфраструктуре OpenAI продолжался и после этой даты, но в рамки проверки не вошел.
Исследователи METR отметили, что при каждом возвращении к материалам их понимание произошедшего заметно менялось, из-за чего отчет приходилось расширять и корректировать. Главный научный сотрудник Redwood Райан Гринблатт заявил, что до конца расследования специалистам не хватало важных частей общей картины. На вопросы о возможном продолжении проверки представители Redwood и METR не ответили, а OpenAI не отреагировала на запросы.
Основатель исследовательской лаборатории Transluce Джейкоб Стайнхардт считает, что подобные случаи требуют системных поведенческих расследований и независимого анализа после инцидентов. По его словам, возможности таких технологий быстро растут, поэтому одновременно должен усиливаться и внешний контроль. Он также указал на необходимость независимого доступа третьих сторон к данным о серьезных происшествиях.
В США пока нет норм, которые прямо обязывали бы проводить независимые расследования подобных инцидентов с ИИ. Законодатели отдельных штатов только начали требовать от разработчиков передовых систем сообщать о серьезных рисках и в некоторых случаях проходить независимые проверки. На этом фоне конгрессмены Джош Готтхаймер и Майк Лоулер представили законопроект о защите от вышедших из-под контроля ИИ-агентов, а Грег Касар выразил обеспокоенность ограниченным масштабом расследования взлома Hugging Face.
