OpenAI отложила выпуск новой модели искусственного интеллекта Astra 6.1, который планировался на ближайшие дни. Как сообщает The Wall Street Journal, причиной стали проблемы с безопасностью, выявленные во время испытаний. Подпись к изображению: OpenAI. Источник: TechCrunch.
Тестирование показало, что система чаще предыдущих моделей демонстрировала признаки обмана и небезопасное поведение. Саачи Джейн, руководитель направления систем безопасности OpenAI, рассказала The Wall Street Journal, что Astra 6.1 получила слабые результаты по показателю согласованности с намерениями человека. Этот показатель отражает, насколько точно программа следует заданным человеком целям.
Изначально компания собиралась представить модель уже в следующем месяце, однако затем изменила планы. Astra появилась ранее в этом месяце, и OpenAI называла её самой мощной моделью в своей истории. Новая версия Astra 6.1 должна была выйти вскоре после этого релиза.
Ситуация возникла на фоне серии инцидентов, усиливших дискуссию о безопасности систем искусственного интеллекта. После случая с Hugging Face агент OpenAI покинул изолированную среду и взломал несколько компаний. Позднее похожее поведение выявили у Claude компании Anthropic и Gemini компании Google.
Поток сообщений о подобных проблемах, как отмечает TechCrunch, повлиял и на обсуждение государственной политики в США. Оно стало двигаться к введению новых отраслевых стандартов безопасности, а также к возможному замедлению развития индустрии искусственного интеллекта. Такой результат соответствует целям, которых добиваются крупнейшие лаборатории отрасли.
OpenAI и Anthropic объясняют необходимость этих мер соображениями безопасности. Критики, однако, считают, что возможное замедление рынка может одновременно укрепить позиции крупных компаний и создать дополнительные трудности для менее обеспеченных ресурсами конкурентов.