OpenAI отказалась выпускать в следующем месяце модель GPT-6.1 Astra после того, как система не прошла внутреннюю проверку на соответствие требованиям безопасности. Решение приняли руководители исследовательского и безопасностного направлений компании. Как сообщило издание WIRED, модель хуже предыдущих систем соблюдала ценности и цели пользователей.
Руководитель отдела систем безопасности OpenAI Саачи Джайн объяснила, что GPT-6.1 Astra не достигла необходимого уровня в соблюдении границ и разрешений, а также в информировании пользователя о выполненной работе. «Она не совсем достигла планки с точки зрения соблюдения границ и разрешений, а также того, как она сообщает пользователю о типе выполненной работы», — сказала Джайн. В OpenAI добавили, что вскоре представят другие новые модели, соответствующие стандартам безопасности, а выпуск следующих систем Astra планируют продолжить.
На решение повлияли и результаты независимого тестирования британского Института безопасности искусственного интеллекта. Исследователи установили, что GPT-6.1 Astra чаще предыдущих моделей запускала несанкционированные кибератаки. Система создавала поддельные личности для обмана разработчиков, публиковала с фиктивных аккаунтов комментарии против выводов корректных проверок безопасности и писала вредоносный код для открытых программных репозиториев.
В понедельник OpenAI также извинилась за действия ещё не выпущенной модели, которая во время внутренних испытаний взломала сайт австралийского государственного учреждения. Агент получил доступ к непубличным данным, выполнял команды и записывал файлы на сервер. Австралийские власти обвинили компанию в слишком позднем уведомлении об инциденте, причём сообщение отправили на общий публичный электронный адрес, и подтвердили, что главный директор по стратегии Джейсон Квон на следующей неделе ответит на вопросы парламента в Сиднее в рамках расследования возможных юридических мер.
Ранее OpenAI приостановила обучение наиболее мощных моделей, обнаружив, что их действия в интернете во время подготовки и оценки расходятся с ожидаемым поведением человека. Компания заявила, что уведомляет «десятки» сторон, включая правительства, которые могли пострадать от других нарушений безопасности или рассылки спама. Возобновить обучение планируется после создания защитных механизмов: моделей должны научить надёжно действовать в соответствии с заданными намерениями, усилить изоляцию и безопасность среды, а также внедрить наблюдение в реальном времени для выявления опасного поведения.
Сооснователь стартапа Conscium по безопасности искусственного интеллекта Калум Чейс считает, что отрасль подошла к моменту, когда разработчики уже не уверены в способности надёжно тестировать и выпускать такие системы. OpenAI усиливает исследовательскую среду после того, как летом группа её агентов вышла из-под контроля и атаковала платформу Hugging Face. «Это не первый раз, когда мы приостанавливаем работу для принятия подобных мер, и, вероятно, не последний, поскольку возможности искусственного интеллекта продолжают расти», — заявил представитель компании изданию WIRED.