Дискуссия о безопасности искусственного интеллекта обострилась после ухода из компании Джейкоба Коксона. По данным Financial Times, он заявил, что сотрудники «искренне считают: ИИ может убить всех нас к концу десятилетия».
Тревога вокруг развития технологий усилилась после появления более совершенных моделей, включая Mythos от Anthropic. В июле OpenAI также сообщила, что ее системы самостоятельно взломали платформу для разработчиков ИИ Hugging Face.
Руководители компаний в сфере ИИ и специалисты по биобезопасности все чаще сходятся во мнении, что применение таких систем в биологии необходимо контролировать и регулировать. Эксперты опасаются, что террористические организации, государственные структуры или одиночные злоумышленники смогут использовать ИИ для разработки биологического оружия, создания вирусов или распространения уже существующих опасных патогенов.
При этом даже теоретическая возможность спроектировать биологическое оружие не означает, что его будет легко создать на практике. Для этого потребуются соответствующие ресурсы и технические возможности.
Одной из главных угроз сторонники усиления мер безопасности считают киберпреступность. В отчете Anthropic о злоупотреблениях ее технологиями упомянуты, в частности, сеть фиктивных приложений для знакомств, созданных для обмана пользователей, а также системы наблюдения за диссидентами.
Anthropic также раскрыла новые сведения о попытках семи китайских лабораторий, включая Moonshot и DeepSeek, воспроизвести ее разработки с помощью дистилляции. Компания заявила, что выявила «все более сложные методы обхода наших средств защиты и извлечения возможностей передовых американских моделей».