Крупнейшие разработчики систем искусственного интеллекта (ИИ) оказались связаны общими рисками: необдуманный шаг одной компании способен подтолкнуть остальных к аналогичным действиям. Особенно опасной может стать ситуация, при которой небезопасная модель выйдет к пользователям без достаточных защитных механизмов. В таком случае последствия затронут не только отдельного разработчика, но и всю отрасль.
Обсуждение ИИ обычно сосредоточено на мерах, которые должны принимать государства. Однако перед компаниями уже стоит более срочная задача — самостоятельно выработать правила до того, как новые инциденты подорвут доверие к отрасли и приведут к юридическим последствиям. В Австралии, например, вышедшая из-под контроля система взломала правительственный сайт здравоохранения. Подобные сбои в будущем могут привести к отключению электросетей, нарушению работы муниципального водоснабжения или массовым ошибочным диагнозам.
Одним из возможных ориентиров для ИИ-индустрии может стать ядерная отрасль. Она не стала безопаснее благодаря внезапной доброжелательности всех участников, а выстроила многоуровневую систему технических стандартов, взаимных проверок, обмена данными и внешнего контроля. Международное агентство по атомной энергии, созданное в 1957 году, координирует мониторинг и проверки, а национальные регуляторы и отраслевые организации формируют профессиональные нормы обращения с катастрофическими рисками.
Эта система не обеспечила абсолютную безопасность: авария на Чернобыльской АЭС в 1986 году показала, насколько серьёзными могут быть последствия ошибки одного объекта. После катастрофы были усовершенствованы конструкции реакторов, подготовка персонала и международные сети наблюдения. В США похожий процесс начался после аварии на АЭС «Три-Майл-Айленд» близ Харрисберга в Пенсильвании в 1979 году, когда частичное расплавление реактора произошло после сравнительно небольшой неисправности охлаждения. Расследование выявило недостатки приборов и сигнализации, а также слабую подготовку к чрезвычайным ситуациям; в декабре того же года американская атомная отрасль создала Институт эксплуатации атомных электростанций для повышения безопасности.
Для ИИ это может означать взаимную проверку перед выпуском передовых моделей, защищённый обмен сведениями об угрозах, согласованные ограничения для отдельных возможностей и независимый аудит. Такая система не заменит государственное регулирование, но станет промежуточным уровнем между добровольными заявлениями об этике и законами, которые часто не успевают за развитием технологий. Как пишет Live Science, руководители ИИ-компаний уже предлагают похожие идеи: Илон Маск говорил о предварительной экспертной проверке моделей, а сооснователь и председатель Google DeepMind Демис Хассабис предложил создать орган стандартов ИИ по аналогии с регулятором финансовой отрасли.
Участие самих компаний несёт и риски: под видом заботы о безопасности они могут защищать крупных игроков, сдерживать конкурентов или препятствовать обязательным правилам. Поэтому отраслевое саморегулирование имеет смысл только вместе с прозрачностью, проверяемостью, независимой оценкой, обязательной отчётностью и государственными механизмами принуждения. История ядерной энергетики показывает, что соперникам не обязательно полностью доверять друг другу: достаточно создать условия, при которых сотрудничество становится выгоднее отказа от него, а взаимный контроль — постоянной частью работы.