Anthropic предлагает временно снизить темп создания более мощных моделей искусственного интеллекта. Дарио Амодеи объяснил инициативу необходимостью привести инструменты безопасности в соответствие с возможностями ИИ.
По оценке руководителя компании, уже в течение полугода или года система может получить контроль над роем взаимодействующих агентов. Его предупреждение приводит Associated Press.
Амодеи выступил за участие независимых оценщиков в работе лабораторий. Еще одним элементом должна стать координация государств, включая страны, с которыми сложно выстраивать политическое сотрудничество.
Причиной тревоги стали новые способности моделей и случаи нарушения ими границ испытательных сред. В отрасли продолжаются увольнения специалистов, считающих существующие предохранители недостаточными.
Позицию о необходимости усилить безопасность поддержал Сэм Альтман. Фолькер Тюрк также потребовал международных гарантий, которые будут действовать до появления еще более мощных систем.