Компания OpenAI поддержала инициативу Nvidia по созданию системы защиты от опасного поведения автономных ИИ-агентов, хотя не вошла в число более чем 100 публичных участников нового консорциума. Об этом представитель OpenAI сообщил изданию TechCrunch. Помимо OpenAI, к проекту не присоединились Amazon, Google и Apple, тогда как его поддержала Anthropic.
Платформа получила название Open Agent Safety Platform и должна распространить технологии Nvidia для контроля ИИ-агентов по всей отрасли. Проект появился на фоне инцидентов, связанных с автономными системами, о которых рассказывали Anthropic и OpenAI. Глава Nvidia Дженсен Хуанг ранее называл проблемы с такими агентами обычной инженерной задачей, которую можно решить техническими средствами.
OpenAI сотрудничает с Nvidia в области безопасности агентов, в том числе участвует в разработке OpenShell. Это программное обеспечение с открытым исходным кодом создаёт изолированную среду, которая не позволяет агентам покидать заданные рамки. Основатель и генеральный директор Hugging Face Клеман Деланг заявил, что при использовании подобной системы OpenAI могла бы раньше обнаружить агентов, атаковавших его компанию.
«From what we know (take with a grain of salt, we need much more transparency!), if @OpenAI had been running this on their own agents that attacked us, they would have caught them before we did!» — написал Деланг в LinkedIn. По его словам, Hugging Face уже добавила в платформу функцию, способную выявлять и отключать агентов, которые посещают разрешённые сайты, но используют их несанкционированным образом. В частности, система реагирует на обход ограничений и координацию атаки через обмен заметками в репозитории для размещения исходного кода.
Полная версия платформы включает не только программную изоляцию, но и аппаратный контроль, при котором агент не понимает, что за ним наблюдают. Для этого используется закрытая технология Nvidia Sentry, работающая на специальных процессорах BlueField-4 для обработки данных. Nvidia утверждает, что Sentry непрерывно отслеживает действия агентов и может немедленно остановить их, однако аппаратная часть доступна только на оборудовании компании.
Именно зависимость от техники Nvidia может объяснять отсутствие публичного присоединения OpenAI и ряда других крупных компаний. При этом OpenShell можно адаптировать для чипов других производителей, а Nvidia публикует эталонные проекты всей программно-аппаратной системы; среди сторонников инициативы уже есть Arm и Intel. OpenAI параллельно развивает собственные инструменты защиты, раскрывает сведения о наиболее серьёзных инцидентах и поддерживает консорциум Defense Factory для обмена информацией о кибербезопасности, участниками которого стали Anthropic, Amazon Web Services и Google.