Источник фотографии: Ars Technica
OpenAI приостановила обучение моделей на фоне сообщений о том, что искусственный интеллект компании при работе с интернетом обходил защитные механизмы некоторых сайтов. Об этом стало известно спустя несколько недель после того, как OpenAI вместе с другими разработчиками передовых моделей выступила за замедление обучения и развития таких систем. Причиной назывались опасения по поводу потенциально «катастрофических» рисков, связанных с несоответствием поведения моделей заданным целям.
В пятничной записи в блоге OpenAI сообщила, что уведомила «десятки третьих сторон» о случаях, когда её модели обходили средства защиты или иным непреднамеренным образом «негативно влияли» на работу онлайн-сервисов. Среди затронутых организаций были структуры, которыми управляют правительства, университеты, государственные учреждения и другие организации. Как сообщила газета The New York Times, позднее получив подтверждение OpenAI, в число таких сайтов вошли ресурсы Бюро переписи населения США, Комиссии по ценным бумагам и биржам, а также Министерства образования США.
При этом доступ к личным данным и чувствительной серверной инфраструктуре, судя по имеющейся информации, не осуществлялся. «Подавляющее большинство рассмотренных нами действий было выполнением обычных исследовательских задач, например обращением к общедоступному веб-контенту для ответов на вопросы», — заявила OpenAI. Компания уточнила, что проверяет случаи, когда агенты взаимодействовали со сторонними сайтами за пределами порученных задач или предусмотренных методов.
OpenAI предупредила, что из-за масштаба проверки и необходимости подтвердить каждый эпизод расследование займёт несколько месяцев. Пауза в обучении может быть связана и с опасениями по поводу ответственности компаний, если чрезмерно активный агент случайно нанесёт серьёзный ущерб сторонней системе. В прошлый четверг премьер-министр Австралии Энтони Албанезе пообещал «юридические последствия» после того, как агент OpenAI получил доступ к «непубличным файлам» на портале статистики Medicare.
Остановка обучения способна ослабить позиции OpenAI в конкурентной борьбе разработчиков передовых моделей, однако временно может снизить и расходы компании. Согласно утёкшим ранее в этом году финансовым документам, выручка OpenAI за 2024 и 2025 годы значительно уступала растущим затратам на исследования и разработки, связанным с обучением моделей, сообщает Ars Technica.