Американские военные едва не остановили и не досмотрели китайское судно из-за ошибочного разведывательного отчёта, подготовленного с использованием инструментов искусственного интеллекта. Об этом сообщила CNN. Документ оказался «полностью ложным».
Аналитик Командования специальных операций США применил чат-бот для изучения данных о грузе судна. Система объединила сведения из открытых источников с секретными данными радиотехнической разведки, хранившимися в государственных структурах. В результате в отчёт попала неверная информация о том, что корабль перевозит компоненты ядерной программы через Ближний Восток.
На основании этого документа американские военные готовили операцию по перехвату и досмотру судна с привлечением авиации. План изменился после того, как чиновники выяснили: чат-бот неправильно определил содержимое груза. Один из собеседников CNN заявил, что произошедшее «почти начало войну».
Случай стал примером того, как так называемые галлюцинации искусственного интеллекта — выдуманные системой сведения при нехватке контекста в обучающих данных — могут повлиять на профессиональные решения. С подобными ошибками сталкивались авторы документальных книг, журналисты, учёные, судьи, врачи, полицейские подразделения и корпоративные службы поддержки. В 2023 году слово «галлюцинация» даже стало словом года по версии Кембриджского словаря.
Исследователи допускают, что полностью исключить такие ошибки у больших языковых моделей может быть невозможно. Попытки ограничить их специальными инструкциями «не галлюцинируй» также не гарантируют надёжности результатов. Ошибки уже возникали в разных профессиональных сферах, где решения принимались с опорой на ответы систем искусственного интеллекта.
При этом Министерство обороны США в январе запустило стратегию ускоренного внедрения искусственного интеллекта. Она предусматривает предоставление всех подходящих данных объединённым информационным системам для использования ИИ, включая служебные системы всех видов вооружённых сил и подразделений.