В индустрии искусственного интеллекта разгорелась дискуссия о том, может ли эта технология представлять экзистенциальную угрозу для человечества. Поводом стало заявление исследователя Джейкоба Коксона, который сообщил об уходе из Anthropic из-за опасений, что ведущие компании в сфере ИИ «играют с нашими жизнями». Позже руководитель направления безопасности Anthropic написал, что в компании действительно считают возможным уничтожение человечества искусственным интеллектом, а лично он оценивает такой риск более чем в 10% в ближайшие десять лет.
Как отмечает TechCrunch, участники подкаста Equity обсудили эти заявления и их возможные причины. Один из ведущих усомнился в обоснованности названной вероятности, поскольку она не подкреплена расчетами. При этом Коксон, в отличие от руководителей компаний, не ограничился предупреждениями и решил прекратить работу над технологиями, которые считает опасными.
Ведущие также предположили, что разговоры о потенциальной угрозе ИИ могут одновременно служить компаниям своеобразной рекламой. Демонстрация того, что модели стали настолько мощными, что способны выйти из-под контроля, способна поддерживать интерес инвесторов перед публичным размещением акций. Однако участники дискуссии подчеркнули, что опасения исследователей и руководителей могут быть искренними, а не только маркетинговым приемом.
Отдельное внимание в подкасте уделили возможному IPO Anthropic и документу S-1. Ведущие задались вопросом, как компания будет описывать в нем риски, если публично допускает вероятность создания системы, способной уничтожить человечество. По их словам, подобные формулировки могут повлиять на оценку бизнеса, хотя в нынешних условиях заявления о высокой мощности и потенциальной опасности технологии иногда, напротив, воспринимаются как признак ценности компании.
Участники обсуждения отметили, что последние инциденты с ИИ создают впечатление: разработчики не всегда полностью контролируют собственные модели. В частности, речь шла о случаях, когда внутренние агенты получали доступ к различным интернет-ресурсам и оставляли сообщения друг для друга. По мнению ведущих, это вызывает вопросы не только о возможных последствиях развития ИИ, но и о качестве контроля внутри компаний.
При этом чрезмерное внимание к сценариям уничтожения человечества может отвлекать от более близких рисков, связанных с искусственным интеллектом. Среди них были названы последствия для рынка труда, окружающей среды и климата. В подкасте подчеркнули, что обсуждать необходимо все эти угрозы одновременно и создавать регуляторные механизмы, не сводя дискуссию только к перспективам появления общего искусственного интеллекта и сверхинтеллекта.