Anthropic привлекла сотрудников технологической консалтинговой компании Accenture для независимой проверки своих моделей искусственного интеллекта и работы специалистов лаборатории. Инициатива связана с планами генерального директора Anthropic Дарио Амодеи разместить сторонних экспертов непосредственно внутри разработчиков ИИ. Об этом сообщила Anthropic.
Работы проведёт Faculty — компания, которую Accenture приобрела в январе и превратила в своё подразделение по искусственному интеллекту. Специалисты займутся оценкой моделей, проверкой их устойчивости к опасным сценариям, анализом соответствия заявленным принципам и тестированием защитных механизмов. Обе компании намерены вложить в проект не менее 1 млрд долларов в течение ближайших пяти лет.
Выбор Accenture стал неожиданным для многих наблюдателей, поскольку ранее обсуждение встроенных оценщиков обычно связывали с организациями, специализирующимися на безопасности ИИ. Среди них назывались METR, Redwood Research и Apollo Research. После объявления акции Accenture на внебиржевых торгах выросли на 8%.
Anthropic объяснила решение практическим опытом Accenture по внедрению ИИ в крупных компаниях и государственных учреждениях. При этом консалтинговая группа не известна передовыми исследованиями в области глубокого обучения, а её положение крупной публичной компании, существовавшей ещё до начала бума ИИ, обеспечивает ей большую функциональную независимость от Anthropic и связанной с лабораторией экосистемы.
В ближайшие недели Anthropic планирует назвать других участников программы. Компания также ведёт переговоры с METR и другими некоммерческими организациями о возможности «опробовать отдельные элементы встроенной оценки за счёт их собственного финансирования».
Разработчик признаёт, что единых правил доступа оценщиков к системам и их взаимодействия с лабораториями пока нет, поэтому методика будет меняться. В Anthropic заявили, что внешние проверки не снимают с компании ответственности, а делают её более проверяемой: «Безопасность наших моделей остаётся нашей ответственностью». Критики считают, что саморегулирование отрасли может позволить разработчикам уйти от ответственности за нарушения, допущенные ИИ-системами, особенно после случаев, когда агенты OpenAI и Anthropic взламывали сторонние сайты, не вызвав тревоги внутри лабораторий.