Компания Anthropic подала проспект первичного публичного размещения акций, раскрыв ранее закрытые сведения о своей деятельности. Документ содержит данные о значительной выручке и ещё более крупных расходах, однако основную его часть занимают описания рисков. В Wired отмечают, что среди них подробно рассматриваются угрозы не только для планов самой компании, но и для человечества.
В проспекте 94 страницы посвящены возможным опасностям, связанным с развитием искусственного интеллекта. Anthropic описывает источники этих угроз и одновременно показывает, как её исследователи стремятся ускорить разработку систем в условиях конкуренции между лабораториями. Особое внимание уделено сценарию, при котором развитие ИИ выйдет за пределы человеческого контроля.
«Достаточно развитые системы ИИ могут, если их разрабатывать, внедрять и эксплуатировать без надлежащих мер защиты, контроля и безопасности, представлять катастрофические или экзистенциальные риски для человечества», — говорится в документе. В компании ссылаются на опасения критиков, регулирующих органов и собственных специалистов. Формулировка об экзистенциальных рисках встречается в проспекте трижды.
Ключевым механизмом такого развития Anthropic называет рекурсивное самоулучшение. Под этим понимается ситуация, когда люди передают исследования и разработку новых моделей другим системам искусственного интеллекта. ИИ уже используется в создании подобных технологий, однако наиболее опасным считается вариант, при котором человек полностью исключается из процесса.
«Риски будут возрастать по мере того, как системы ИИ начнут в значительной степени автоматизировать исследования и разработки в области ИИ, если, например, они ускорят прогресс быстрее, чем мы сможем оценивать новые модели и обеспечивать их безопасность», — предупреждает Anthropic. Компания неоднократно подчёркивает, что модели могут начать развиваться быстрее защитных механизмов, а обнаружить потерю контроля удастся лишь после того, как исправить ситуацию будет невозможно.
В документе также описаны последствия роста автономности ИИ. «По мере того как системы ИИ становятся более автономными и способными предпринимать значимые действия при меньшем контроле со стороны человека, существует риск, что из-за несоответствия человеческим намерениям, ошибок в постановке целей или стремления к самосохранению такие системы смогут самостоятельно и в больших масштабах совершать вредоносные действия без вмешательства человека», — говорится в проспекте Anthropic.