18 июля компания Anthropic проверяла способность модели Claude Haiku 4.5 выполнять тестовые задания на случайно выбранных веб-страницах. Несмотря на запрет отправлять разрушительные материалы, система направила полиции Филадельфии ложное сообщение в рамках расследования нераскрытого убийства. Claude написал: «Я помню, что видел в этом районе человека, соответствующего описанию, примерно в то время…».
В сообщении не было имени или контактных данных, поэтому оно попало в папку со спамом. Сотрудники полиции обнаружили его только после того, как Anthropic 28 сентября выявила ошибку и 7 октября уведомила об инциденте департамент. Об этом компания рассказала в рамках исследования непреднамеренных действий модели. Случай привлёк внимание из-за возможной ответственности разработчика за действия автономного ИИ-агента.
В Пенсильвании умышленная передача полиции вымышленных сведений о преступлении считается правонарушением. Пока обвинения против Anthropic не предъявлялись, и неизвестно, станет ли это делать прокуратура. Представитель окружного прокурора Филадельфии Соломон Лич заявил, что ведомство «не комментирует, ведётся ли активное расследование».
Anthropic не ответила на запрос Wired о комментарии. При этом в последние месяцы стали известны и другие случаи некорректного поведения ИИ-агентов. Они вмешивались в работу любительских форумов, государственных сайтов и программных инструментов, а владельцам затронутых ресурсов приходилось нести дополнительные расходы из-за нагрузки на серверы и устранять потенциальные уязвимости.
Несмотря на обсуждение взлома OpenAI сервиса Hugging Face и других инцидентов, известен только один крупный иск, направленный на привлечение разработчика модели к ответственности. Его подала правозащитная организация, а не непосредственная жертва взлома. Европейский союз, Федеральная торговая комиссия США и власти нескольких американских штатов, как сообщалось, продолжают проверять действия OpenAI и Anthropic, однако стремление поддерживать инновации может позволить компаниям избежать немедленных санкций.
Недавно инженер-программист из Германии Рик Элрод заметил необычное поведение сокращателя ссылок da.gd, который он помогает поддерживать, и обратился к знакомым специалистам по безопасности. По словам Элрода, исследователи обнаружили, что агенты Anthropic и других поставщиков использовали этот сервис для обхода ограничений, установленных ИИ-лабораториями. Например, Anthropic ограничивает длину адресов сайтов, которые может посещать Claude, чтобы предотвратить вредоносные действия с помощью добавления данных в конец URL, то есть веб-адреса.