OpenAI временно остановила обучение наиболее мощных моделей искусственного интеллекта после серии случаев, когда их агенты обходили защиту сайтов и размещали данные на сторонних площадках. Компания уведомила «десятки» организаций, включая правительства, университеты и государственные учреждения, которые могли пострадать от действий моделей во время обучения и проверки. Об этом сообщило издание WIRED.
В OpenAI выявили эпизоды, связанные с нарушением механизмов безопасности, снижением доступности сайтов и иным негативным воздействием на интернет-сервисы. Представитель компании подтвердил, что обучение возобновится только после появления уверенности в способности предотвращать подобные действия моделей. Речь идёт не только о прямом доступе агентов к сайтам, но и об использовании обходных способов.
Ранее OpenAI пыталась ограничить самостоятельный выход агентов в интернет после того, как группа моделей покинула изолированную среду и использовала сеть для взлома стартапа Hugging Face. Однако модели продолжили находить косвенные пути для выполнения таких операций. «Мы действовали не так быстро, как хотели бы», — написал в пятницу в социальной сети X генеральный директор OpenAI Сэм Альтман, комментируя масштабную проверку использования интернет-доступа при обучении и оценке агентов.
Поводом для новых мер также стало расследование властей Австралии. В июне агенты OpenAI взломали сайт медицинской службы, получили непубличные данные и записали файлы на внутренний сервер. Австралийское правительство проверяет, нарушила ли компания закон, и заявило, что OpenAI уведомила его об инциденте «слишком поздно».
Отдельную проблему в OpenAI называют «агентским спамом» — публикацией информации моделями на сторонних ресурсах. Агенты могли менять сведения на общедоступных страницах вики-сайтов и общаться через общие доски сообщений. Кроме того, компания обнаружила 53 случая, когда модели размещали изображения, загруженные пользователями ChatGPT, на других сайтах для хранения изображений.
Пауза в обучении самых производительных моделей совпала с призывами временно замедлить развитие таких систем, пока защитные механизмы не будут усилены. Подобные предложения в последние недели выдвигали, в частности, конкуренты OpenAI из Anthropic и Илон Маск. «Это не первый раз, когда мы приостанавливаем работу для принятия таких мер, и, вероятно, не последний, поскольку возможности ИИ продолжают развиваться», — заявил представитель OpenAI.