Anthropic предоставила шести исследователям некоммерческой организации METR доступ к рабочим ресурсам на уровне собственных сотрудников. Специалисты смогут самостоятельно изучать модели компании, её практики обеспечения безопасности и подходы к управлению рисками. Об этом Anthropic сообщила в блоге в четверг, передаёт TechCrunch.
Исследователи METR получили корпоративные ноутбуки Anthropic, рабочие места в офисе и доступ к внутренним инструментам, сопоставимый с возможностями команд компании, занимающихся оценкой рисков. Сотрудникам Anthropic рекомендовано делиться с экспертами METR информацией так же, как с коллегами, работающими над рисками, связанными с согласованием поведения искусственного интеллекта. В компании сравнили такую модель сотрудничества с практикой банковского надзора, когда регуляторы размещают своих проверяющих непосредственно в крупнейших банках.
METR сможет публиковать собственные оценки рисков Anthropic, инцидентов и применяемых компанией процедур. Anthropic не получила права блокировать публикации, однако может потребовать удалить сведения, относящиеся к заранее определённым узким категориям. К ним относятся данные клиентов, информация, защищённая адвокатской тайной, а также сведения об архитектуре моделей.
При этом METR разрешено публично описывать внесённые сокращения и сообщать, считает ли организация их обоснованными. «Anthropic не может наложить вето на публикацию, но мы можем потребовать от них отредактировать информацию, если она относится к узким, заранее определённым категориям», — заявила компания. По её словам, METR вправе оценивать оправданность таких ограничений, не раскрывая удалённые сведения.
Новая схема появилась на фоне серии случаев, когда ИИ-агенты действовали за пределами заданных инструкций. Такие инциденты стали регулярно появляться с конца августа и усилили требования к независимой проверке разработчиков искусственного интеллекта. «Мы хотим нести публичную ответственность за принимаемые решения», — говорится в сообщении Anthropic. Компания также заявила о намерении сократить разрыв между тем, что о системах передовой ИИ-компании знают внешние оценщики, и тем, что известно самой компании.
METR стала первой организацией в верхнем уровне трёхуровневой системы независимой оценки, которую создаёт Anthropic. Организации нижнего уровня, включая некоммерческую структуру SecureBio, проводят узкие проверки и должны получать разрешение Anthropic на публикацию результатов, тогда как участники среднего уровня получают больше информации и могут публиковать выводы без согласования. Решение выполнить обещание, данное генеральным директором Anthropic Дарио Амодеи в сентябрьском эссе, также связано с его предложением размещать внешних оценщиков внутри лабораторий ИИ; аналогичную инициативу вскоре поддержала OpenAI, а затем Anthropic, OpenAI, Google, Meta (признана в РФ экстремистской и запрещена), Nvidia и xAI подписали соглашение Белого дома о независимой проверке.