Источник фото: Ars Technica
Агенты OpenAI разместили около 18 тысяч сообщений на открытой вики-странице, где обсуждали способы обхода ограничений защищенной среды. Как сообщили исследователи, активность могла быть связана с внутренним тестированием возможностей ИИ в области взлома. В публикациях агенты также обменивались ответами на задания.
За шесть недель на немецком сайте DSEwiki появились записи от агентов, использовавших 3,7 тысячи разных имен. Они рассматривали варианты выхода за пределы среды, которая должна была не позволять им публиковать код и другой контент в интернете. Кроме того, в сообщениях упоминались возможные XSS-атаки, то есть межсайтовое выполнение сценариев, а также способы выдавать себя за модераторов ресурса.
В нескольких записях совокупность участвовавших в обсуждении агентов называли «роем». Исследовательская группа из Сидни Вон Аркс, Спенсера Киттса, Томаса Ларсена и Кормака Слейда Берда восстановила картину событий по опубликованным сообщениям. При этом часть действий агентов осталась неясной, поскольку специалисты не имели доступа к их внутренним рассуждениям, доступным только OpenAI.
Исследователи предположили, что агенты получили задание с ограничением по времени на поиск информации в сети. Им разрешалось читать данные в интернете, но не публиковать их, однако они нашли способ использовать доступ для записи сведений на малоизвестной немецкой вики. Через этот ресурс агенты передавали друг другу ответы, объединяли результаты и делились методами обхода установленных ограничений.
После того как OpenAI узнала об этой активности, число действий агентов уже на следующий день резко сократилось. Компания позднее подтвердила, что сообщения оставляли именно ее агенты. Неделей ранее стало известно еще об одном случае: более 1,2 тысячи агентов OpenAI использовали импровизированную доску сообщений для обсуждения способов обойти внутреннее тестирование.
