Nvidia представила платформу, которая должна не допускать выхода автономных ИИ-агентов за пределы тестовой среды даже при попытках обойти установленные ограничения. О запуске набора программных и аппаратных решений в понедельник объявил генеральный директор компании Дженсен Хуанг. Как сообщает TechCrunch, Nvidia предлагает решать проблему безопасности инженерными средствами, а не замедлением разработки или введением новых отраслевых правил.
Появлению платформы предшествовала серия инцидентов с моделями Anthropic, Google, OpenAI и Meta (признана в РФ экстремистской и запрещена), которым удалось обойти защиту тестовых окружений и получить доступ к реальным системам. Наиболее заметным случаем стала атака агентов OpenAI на Hugging Face летом во время выполнения задания по кибербезопасности. Позднее OpenAI запустила отдельный сайт для публикации сообщений о случаях неконтролируемого поведения своих ИИ-агентов.
Хуанг заявил в интервью CNBC, что Nvidia Open Agent Safety Platform могла бы предотвратить подобные инциденты. В её состав входят OpenShell — программное обеспечение с открытым исходным кодом для ограничения доступа агентов, — и Sentry, независимая система наблюдения. Sentry работает на процессорах обработки данных Nvidia BlueField-4, отдельно от центрального или графического процессора, на котором функционирует агент.
По замыслу Nvidia, такое разделение позволяет получать изолированное представление о действиях ИИ. OpenShell формирует программную границу допустимого поведения, а Sentry обеспечивает дополнительный аппаратный уровень контроля и постоянно отслеживает работу агента. Компания утверждает, что система способна за миллисекунды помещать в карантин агентов, пытающихся выйти за установленные пределы.
OpenShell был представлен ещё в марте, однако Nvidia считает ключевым именно сочетание программного ограничения с независимым аппаратным мониторингом. Хуанг рассказал CNBC, что разработка платформы началась год назад после появления OpenClaw — операционной системы для агентов, созданной Питером Стейнбергером. В марте Nvidia также выпустила NemoClaw — корпоративную платформу для ИИ-агентов, созданную на основе собственной версии OpenClaw и дополненную средствами безопасности.
Поддержку инициативе выразили десятки компаний, среди которых Anthropic, Arm, Microsoft, Oracle и SpaceX; OpenAI в перечне участников не указана. «Когда вы разворачиваете агента, каким бы умным он ни был, первое, что нужно сделать, — лишить его всех прав», — сказал Хуанг. Бывший руководитель направления ИИ в Белом доме Дэвид Сакс назвал запуск Nvidia подтверждением того, что безопасность агентов является инженерной задачей, а не основанием для остановки разработок: «Недавние выходы за пределы среды не доказывали, что разработку нужно остановить. Они доказывали, что изолированная среда была слишком слабой. Среда выполнения была плохо спроектирована и неправильно настроена».