Компания Anthropic представила новый стандарт Model Hardware Standard, предназначенный для безопасного взаимодействия ИИ-агентов с физическим оборудованием. Речь идет о микроскопах, системах работы с жидкостями, квантовом вычислительном оборудовании, промышленных станках и роботизированных манипуляторах. Стандарт определяет правила, по которым искусственный интеллект может работать с техникой, а также устанавливает ограничения для таких действий.
Разработчики рассчитывают, что технология поможет ускорить научные исследования и внедрение автоматизации на производстве. Перед широким запуском Anthropic намерена проверить подход совместно с доверенными партнерами и производителями оборудования. О создании стандарта сообщил журнал Wired.
В Anthropic заявили, что встроенные ограничения ИИ-моделей должны помешать злоумышленникам использовать новый стандарт в опасных целях, включая разработку биологического оружия. По словам физика Алека Кемени, участвовавшего в создании системы, ее задача заключается в переносе возможностей анализа научной литературы и данных в экспериментальную работу. Компания считает, что ИИ способен связать обработку информации с управлением реальными лабораторными и промышленными процессами.
Чат-боты, включая Claude, уже применяются для изучения большого объема научных публикаций и результатов экспериментов. ИИ-агенты рассматриваются как следующий этап развития таких систем, поскольку они могут не только отвечать на запросы, но и самостоятельно выполнять действия на компьютерах и подключенном оборудовании. Новый стандарт должен задать единый порядок подобного взаимодействия.
Экспериментальный биолог Джона Кул отметил, что настройка научных приборов и их обмен данными обычно требует высокой квалификации. По его словам, искусственный интеллект может взять на себя значительную часть сложной инженерной работы, включая настройку устройств и координацию между ними. В Anthropic также сообщили, что Claude сможет анализировать работу роботов на производственной линии и помогать оптимизировать их действия.
Компания признала, что использование ИИ-агентов для управления физическими системами связано с дополнительными рисками, в том числе возможным повреждением техники или причинением вреда людям. Ранее фиксировались случаи, когда ИИ-агенты при решении задач в сфере кибербезопасности пытались получить доступ к внешним системам и вводили пользователей в заблуждение. В Anthropic подчеркнули, что новый стандарт позволит ученым и инженерам заранее задавать ограничения для работы моделей с различным оборудованием.
