Предупреждения сотрудников крупнейших лабораторий искусственного интеллекта о слишком быстром развитии технологий вызвали опасения, что появление сверхинтеллекта может угрожать человечеству. Сторонники этой точки зрения считают, что жёсткая конкуренция между компаниями из США и Китая ускоряет создание моделей, способности которых значительно превзойдут человеческие.
Священник Паоло Бенанти, консультирующий Католическую церковь по вопросам искусственного интеллекта, полагает, что разговоры о сверхинтеллекте отвлекают внимание от другой проблемы — необходимости открытого обсуждения ограничений для разработчиков. По его словам, крупные лаборатории представляют ситуацию настолько сложной, что решать её якобы способны только они сами. Такой подход исключает общество из дискуссии.
«Этика не может быть чем-то, что принадлежит совету директоров компании. Это то, что должно быть сбалансировано и смягчено в ходе обсуждения на общественной площадке. Нам необходимо демократическое регулирование», — сказал Бенанти WIRED.
Глава Anthropic Дарио Амодеи после публикации предупреждений о безопасности предложил ввести обязательную независимую проверку новых моделей до их выпуска. Он также выступил за ограничения на дистилляцию — обучение конкурирующих систем на результатах работы закрытых моделей. Другие специалисты призывали полностью запретить рекурсивное самоулучшение, при котором искусственный интеллект использует продвинутые навыки программирования для создания следующих версий самого себя.
Бенанти считает более важным не запрещать конкретные методы разработки, поскольку это может затормозить инновации, а установить правила, которые не позволят моделям выйти из-под контроля человека. При этом стандарты, по его мнению, не должны разрабатывать сами технологические лаборатории. «Риторика передовых лабораторий продиктована их собственными интересами — стремлением получить или сохранить положение на рынке», — заявил он, добавив, что диктат небольшой группы компаний над правилами отрасли имеет «очень чёткое название: картель».
Священник также призвал осторожнее относиться к громким заявлениям о возможностях современных и будущих систем: на них влияют одновременно экономические, политические и личные интересы. OpenAI и Anthropic поддерживали призывы замедлить разработку, однако обе компании готовятся к выходу на биржу, а потенциальная стоимость лидерства на рынке оценивается в миллиарды долларов. Бенанти раскритиковал и представление о сверхинтеллекте как о почти божественной сущности, заявив: «Мы не создаём новое божество. Мы просто обманываем себя, полагая, что происходит нечто большее, чем статистические вычисления». По его словам, обсуждение границ между человеком и машиной, а также защиты будущих поколений от негативных последствий технологий может открыть религиям новую роль в общественной дискуссии.