Исследователи использовали уязвимость в настройках форума сообщества OpenAI, размещённого на сторонней платформе Discourse. Получив доступ к внутренним данным для входа, они смогли проникнуть в аккаунт сотрудника OpenAI в ChatGPT. Через этот аккаунт открывался доступ к внутреннему коду компании в GitHub.
OpenAI заявила, что устранила обнаруженные проблемы и поблагодарила исследователей за сообщение о них. «Мы благодарим исследователей за то, что они связались с нами и поделились своими выводами», — сказала компания. Anthropic отказалась от комментариев, а Hacktron на момент публикации не ответила на запрос.
О раскрытии уязвимости в четверг первой сообщила Financial Times. Это произошло одновременно с публикацией Anthropic новых данных о том, насколько активно лаборатория применяет искусственный интеллект при создании собственных моделей.
По данным компании, в марте модель Claude руководила лишь 1% исследовательских и опытно-конструкторских работ, а теперь этот показатель достиг 26%. Речь идёт о задачах, которые искусственный интеллект выполнял по указанию человека и под его контролем, причём на долю ИИ приходилась основная часть работы.
Anthropic заявила, что по мере роста возможностей ИИ такие системы всё чаще используются для разработки следующих версий самих себя. Компания опубликовала статистику, чтобы общество могло оценить, насколько близок мир к рекурсивному самоулучшению — этапу, на котором искусственный интеллект способен самостоятельно обучать и совершенствовать себя или новые модели.
Именно достижение такого порога вызывает опасения, что контроль над ИИ станет сложнее и люди могут утратить возможность управлять его развитием. При этом в изученных Anthropic исследованиях модели пока не выполняли работу полностью автономно. В 90% задач искусственный интеллект взаимодействовал с человеком и выполнял значительную часть работы.