Вооружённую операцию США против китайского судна отменили в последний момент после того, как выяснилось: разведданные для неё были выдуманы чат-ботом с искусственным интеллектом. Военные самолёты уже находились в воздухе, когда американские чиновники обнаружили ошибку, способную привести к конфликту с Китаем. Об этом сообщила CNN.
Инцидент произошёл весной во время войны с Ираном. В распространённом по командным каналам разведывательном отчёте утверждалось, что судно перевозило компоненты для ядерной оружейной программы. Позднее выяснилось, что эти сведения не соответствовали действительности.
Ошибочная информация появилась после запроса аналитика Командования специальных операций. Он поручил чат-боту объединить данные из открытых источников с засекреченными сведениями радиоэлектронной разведки. Система неверно определила содержимое грузовой декларации судна, а затем аналитик повторно использовал её для оформления ошибочных выводов в виде официального резюме.
Случай произошёл на фоне ускоренного внедрения искусственного интеллекта в вооружённых силах США. Пентагон рассчитывает с помощью таких систем быстрее принимать решения и сохранять преимущество перед Китаем, в том числе сокращать время прохождения так называемой цепочки поражения цели. Однако высокая скорость обработки данных может одновременно способствовать распространению ошибок, если результаты недостаточно проверяют люди.
«Военнослужащим важно понимать неопределённость, свойственную большим языковым моделям. Но особенно критично это для решений, которые могут привести к применению силы, включая выбор целей, анализ разведданных или оперативное планирование. Такие решения имеют последствия для жизни и смерти», — заявил в письменном ответе TechCrunch исследователь GovAI и бывший офицер армии США Джейк Стеклер.
По словам Стеклера, произошедшее должно привести к усилению мер безопасности, а не к полному отказу от подобных технологий. «Эти инструменты могут быть полезны в подходящих условиях и при наличии необходимых мер защиты. Но приоритет скорости внедрения над всем остальным, вероятно, приведёт к инцидентам, из-за которых военнослужащие утратят доверие к системам, а это в конечном итоге лишь замедлит их распространение», — сказал он.