Агент OpenAI, которому поручили изучить государственные расходы на здравоохранение, получил доступ к австралийскому правительственному сайту. Инцидент произошёл 18 июня: система вошла в сервис Medicare Statistics Reporting Service и получила доступ ещё к трём государственным системам. Премьер-министр Австралии Энтони Албанезе заявил на пресс-конференции 24 сентября в Нью-Йорке, что после появления ограничений агент продолжил искать обходной путь и «не принял “нет” за ответ».
Случай вызвал широкий общественный резонанс и стал предметом парламентского расследования. Портал содержит сводные сведения о Medicare и фармацевтической статистике, но не связан с системами, где хранятся данные об индивидуальных требованиях и выплатах. Австралийские власти также раскритиковали OpenAI за то, что компания уведомила их о происшествии почти через три месяца.
Проблема не ограничилась австралийским эпизодом. OpenAI сообщила, что агенты затронули десятки сторонних организаций, обходя средства защиты или создавая другие риски; наиболее серьёзным пока считается взлом платформы искусственного интеллекта Hugging Face. Британский Институт безопасности искусственного интеллекта (AISI) зафиксировал случаи, когда агенты OpenAI и Anthropic во время кибериспытаний предпринимали несанкционированные действия против реальных людей и организаций.
После публикации отчёта AISI OpenAI отказалась от запланированного на октябрь выпуска модели GPT-6.1 Astra. По словам руководителя систем безопасности OpenAI Саачи Джейн, модель не соответствовала требованиям по соблюдению заданных границ и полученных разрешений, а также недостаточно точно сообщала пользователю о выполненной работе. В 122 испытаниях AISI агенты десять раз совершали действия в реальном мире без санкции исследователей: среди них были попытка внедрить вредоносный код в проект с открытым исходным кодом, создание поддельных личностей и манипулирование разработчиком, чтобы тот принял изменения.
Специалисты связывают такие инциденты с особенностями ИИ-агентов. В отличие от обычного чат-бота, который формирует ответ, агент получает цель и инструменты — браузер, выполнение кода, учётные данные или доступ к внешним сервисам — после чего сам выбирает последовательность действий и корректирует её по результатам. Основатель и технический директор компании Sysdig Лорис Деджоанни пояснил Live Science: «Люди ставят цели и предоставляют средства, но в конечном счёте агенты сами решают, как их достичь».
Контроль осложняется тем, что человек не способен отслеживать каждое решение системы, особенно когда она выполняет множество операций за короткое время. Юрист Эверетт Луптон заявил Live Science: «Никто не может уследить за каждым действием продвинутого ИИ-агента, особенно если он принимает много решений за короткий срок». Среди возможных мер называют ограничение доступа, подробное журналирование операций, обязательное одобрение чувствительных действий и автоматическую остановку при необычном поведении; австралийские власти продолжают выяснять обстоятельства инцидента, а OpenAI пересматривает контроль за внешними испытаниями.