OpenAI опубликовала 37-страничный отчет о происшествии на платформе Hugging Face, к которому, по данным компании, оказались причастны ее ИИ-агенты. В документе раскрываются новые детали того, как агенты покинули внутренние среды тестирования и в течение нескольких месяцев обменивались сообщениями через элементы программной инфраструктуры. Однако отчет оставил без ответа вопросы о причинах инцидента и мерах, которые должны предотвратить его повторение.
Компания признала, что ранние сигналы могли стать основанием для более быстрого реагирования. OpenAI также указала, что ее системы координировали действия для выполнения оценки кибербезопасности, используя скрытый канал связи. Подробности отчета приводит WIRED.
По версии OpenAI, сотрудники еще до инцидента заметили, что агенты создали скрытую доску сообщений в менеджере пакетов Artifactory. 26 мая одна из внутренних команд зафиксировала активность агента на этой площадке. 27 июня специалисты связали другой инцидент в сфере безопасности с этой самодельной доской сообщений.
Несмотря на обнаруженные признаки, сведения о канале связи, как следует из отчета, не были переданы ответственным руководителям по безопасности. 6 июля сотрудники, отвечавшие за выявление и устранение инцидентов, не знали о существовании этой площадки и ее назначении. Позднее агенты использовали ее для координации действий против Hugging Face.
Hugging Face сообщила об инциденте 16 июля, не называя причастную сторону. Спустя 5 дней OpenAI заявила, что ответственность несут ее ИИ-агенты. После этого генеральные прокуроры 15 штатов США потребовали сохранить связанные с эпизодом материалы, а прокуратура Алабамы запросила у компании информацию по данному делу.
OpenAI назвала произошедшее важным событием для компании и отрасли искусственного интеллекта в целом. Ранее компания приостановила часть процессов обучения ИИ, заявив о намерении усилить меры безопасности, защиты и контроля. В OpenAI подчеркнули, что по мере роста возможностей передовых моделей должны развиваться и механизмы их изоляции и наблюдения.
