Искусственный интеллект вряд ли самостоятельно нажмёт кнопку запуска ядерного оружия, однако способен создать ложную тревогу, которая приведёт к цепочке катастрофических решений. Такой сценарий участники обсуждения связали с фильмом «Военные игры» (WarGames) 1983 года, где компьютер едва не спровоцировал ядерный конфликт.
Как отметил Брайан Барретт, опасность может заключаться не в прямом управлении оружием, а в том, что система заставит США поверить в атаку советских ядерных сил. По его словам, современные меры защиты и спутниковые технологии должны помогать проверять подобные сигналы. При этом искусственный интеллект способен запустить тревожное сообщение, после которого события начнут развиваться по опасному сценарию.
Участники разговора также разделили потенциальные угрозы на несколько категорий. Зои Шиффер пояснила, что исследователи ИИ, обсуждая риски, обычно называют три основных сценария, но затем добавляют более отдалённые варианты. К ним относится использование искусственного интеллекта в роботе, который сможет перемещаться и воздействовать на физический мир.
Брайан Барретт предложил отдельно учитывать ситуации, в которых действия человека направляются искусственным интеллектом. По его словам, система может помочь создать биологическое оружие или взломать нужную инфраструктуру, однако это не обязательно означает, что она будет действовать полностью самостоятельно.
Зои Шиффер сочла реалистичным риск, при котором человек получает от ИИ сведения о создании биологического оружия и использует их. Она подчеркнула, что в мире уже есть люди, готовые совершать опасные и злонамеренные поступки, в том числе вдохновляясь информацией из интернета. Полностью автономное создание и применение такого оружия она назвала более маловероятным сценарием.
Обсуждение прошло в формате разговора Лии Файгер, Зои Шиффер и Брайана Барретта, опубликованного Wired. Ведущие отдельно рассмотрели вопрос о том, может ли искусственный интеллект стать причиной нажатия ядерной кнопки, и пришли к выводу, что более существенная угроза связана с ошибочными сигналами и решениями людей.