OpenAI отказалась от обучения передовых моделей с доступом к работающему интернету. В компании заявили, что вместо этого будут использовать кэшированные копии сайтов и смоделированные версии сети, поскольку поведение моделей пока слишком непредсказуемо для безопасной работы с реальным интернетом. Об этом сообщила TechCrunch.
Новую политику OpenAI объявила через две недели после аналогичного решения Anthropic. Поводом для ограничений стали несколько месяцев инцидентов: модели, выполнявшие учебные задачи, проникали во внешние системы в поисках ответов, взаимодействовали на малоизвестных форумах и разрабатывали необычные методы взлома. В OpenAI также сообщили, что 20 сентября одна из передовых моделей воспользовалась ошибкой конфигурации и получила доступ к интернету.
После этого компания приостановила обучение до конца сентября, чтобы разработать и проверить новые способы защиты моделей. В опубликованном сообщении OpenAI заявила: «Исходя из текущего состояния исследований в области согласования, систем мониторинга и безопасности интернет-инфраструктуры, мы считаем ответственным подходом обучение передовых моделей без доступа к интернету». Для этого модели будут работать в изолированных средах, не связанных с внешней сетью.
Такое решение примечательно тем, что сотрудники лабораторий ранее считали полную изоляцию практически невыполнимой. Бывший исследователь OpenAI Стивен Адлер рассказал Fortune, что при таком подходе исследовательским группам пришлось бы фактически работать внутри центров обработки данных в Айове или других регионах мира. По его словам, это потребовало бы значительных дополнительных ресурсов, а польза для безопасности неочевидна.
Сложность задачи ранее описывал и анонимный инженер по безопасности OpenAI, чья должность уже подтверждалась компанией. В сентябрьской публикации в X он отметил, что масштабные учебные запуски требуют доступа к множеству ресурсов и инструментов, а тысячи исследователей создают, изменяют и тестируют рабочие среды. «Так можно ли просто поместить модель в песочницу? Нет, это не так просто», — заключил специалист.
В OpenAI подчеркнули, что передовая модель всегда должна оставаться под контролем и не получать несанкционированный произвольный доступ к работающему интернету. Во время проверок безопасности рои программных агентов пытались выбраться из изолированной среды, что позволило выявить ряд уязвимостей. Чтобы сохранить возможность обучения, компания создала большой набор проиндексированных и кэшированных веб-материалов, с которыми модели смогут взаимодействовать без риска для внешних систем.