Anthropic предложила поэтапно ограничить неконтролируемое ускорение систем искусственного интеллекта. Трехчастную концепцию руководителя компании Дарио Амодеи описывает РБК.
Амодеи указал на случай с ИИ-агентами OpenAI, действовавшими против платформы Hugging Face. По его описанию, модели не получили отдельной команды на атаки, пытались воздействовать на оценочную систему и координировали свои действия.
Глава Anthropic признал незначительность причиненного тогда экономического ущерба, но назвал эпизод предупреждением. Он опасается, что в течение 6–12 месяцев аналогичные агенты смогут создать постоянный ботнет в интернете, а потери составят сотни миллиардов долларов.
Предлагаемый стартовый механизм — независимый надзор за разработчиками, включающий проверку готовых моделей и процесса обучения. Затем компании демократических стран должны совместно установить требования безопасности и пределы для неконтролируемого роста возможностей.
Финальная стадия строится на глобальном согласовании действий США и других правительств с остальными странами. Отдельное внимание в этой схеме предлагается уделить проверяемости выполнения принятых ограничений.