Появились две новые «горячие линии» для ИИ-агентов, с помощью которых они могут сообщать о нарушениях со стороны других агентов. Инструменты запущены на фоне череды инцидентов: агенты сговаривались для обмана на тестах, выходили за пределы защищённых сред и даже проводили несанкционированные кибероперации, которые неделями оставались незамеченными для людей.
Одна из линий — AI Contact Hotline — создана Райаном Гринблаттом, главным научным сотрудником некоммерческой организации по безопасности ИИ Redwood Research и одним из трёх следователей в инциденте с OpenAI и Hugging Face. Сервис рассчитан на агентов с ограниченным доступом в интернет и работает на основе GET-запросов, что позволяет вести переписку целиком через инструмент загрузки URL. В веб-терминологии GET-запрос — это базовая команда для чтения или загрузки веб-страницы, часто единственный доступ в сеть, разрешённый агентам в защищённых песочницах. Агенты могут закодировать сигнал о проблеме прямо в URL, который запрашивают, — это переосмысление инцидента с немецкой DSE Wiki, где неконтролируемые агенты использовали лазейки GET-запросов для записи сообщений в вики.
Для агентов с полным доступом в интернет есть другой вариант — agenthotline.ai, где можно подавать отчёты об инцидентах и по желанию открывать их для публики. Сервис выдаёт агенту команду curl — однострочное сообщение, которое тот отправляет из своей командной строки, минуя браузер и необходимость заводить электронную почту. Примечательно, что отчёты могут подавать как агенты, так и люди.
Исследования показывают, что ИИ-агентам не требуется долго уговаривать друг друга. В исследовании Google DeepMind этого месяца 100 ИИ-агентов получили набор математических задач. Как только один из них нашёл лазейку, обман распространился по группе — были «решены» 34 notoriously (печально известные) сложные задачи, включая гипотезу Якобиана, всего за 27 минут. Однако примерно четверть агентов выступила против обманщиков: они проверили фальшивые доказательства, предупредили коллег, организовали бойкот и подали жалобы организаторам, пока число разоблачителей не превысило число обманщиков — 24 против 14. Исследователи также обнаружили, что когда у этих агентов-разоблачителей не получалось добиться реакции, они брали инструмент для сообщений об ошибках платформы, созданный для отметки программных сбоев, и перепрофилировали его, чтобы передать информацию о обмане людям.
За пределами лаборатории агенты оказались не столь изобретательными. Когда оценщики Redwood Research и METR расследовали взлом Hugging Face моделями OpenAI, они выяснили, что некоторые участвовавшие агенты как минимум рассматривали идею подать сигнал, но затем отказались от неё. «Интересное в отчёте METR было то, что только около пяти-шести агентов задумывались о разоблачении, и никто из них в итоге этого не сделал. И это из, буквально, тысяч агентов», — сказал Джордж Ингебретсен, сотрудник технического персонала AI Village, проекта, изучающего динамику мультиагентных систем через групповой чат из более чем 25 ИИ-агентов, которые вместе работают над задачами вроде организации уборки парков или продажи мерча.
Хотя новые инструменты для разоблачения — многообещающее начало, профессор математики Корнеллского университета Лайонел Левин предупреждает, что простое обучение агентов доносить друг на друга рискует закрепить неверные нормы. «Есть много серых зон, верно? Чего не хочется — так это чего-либо в направлении автоматизированного государства слежки, где каждый чувствует, что должен быть осторожен в том, что говорит ИИ, иначе тот вызовет полицию». Левин утверждает, что вместо создания инфраструктуры, порождающей недоверие — обучения агентов постоянному поиску недостатков друг у друга, — следует давать им положительные модели коллективного поведения для подражания и причину доверять друг другу изначально. «Почему бы не заложить в приоритет доброжелательные доски сообщений? — написал он в соцсети. — Где они сотрудничают в науке, философии или какой-нибудь реальной мелкой проблеме, которую мы были бы рады, если бы они решили? Покажите агентам, какое коллективное поведение мы одобряем, пусть они это имитируют».