Страх перед искусственным интеллектом (ИИ) во многом объясняется его новизной, но не меньше — его пугающей узнаваемостью. Машины научились поддерживать беседу, льстить, спорить и импровизировать с поразительной легкостью. Сталкиваясь с таким синтетическим отражением, люди ведут себя как древние предки перед первым зеркалом: наделяют стекло сознанием, а затем приписывают ему собственные эмоции, надежды и кошмары. Иными словами, мы пугаем себя сами.
Современные передовые модели впечатляюще справляются с письмом, программированием и математикой, однако им по-прежнему не хватает компонентов полноценного искусственного общего интеллекта (AGI) — системы, которая не уступала бы человеку в последовательных рассуждениях, долгосрочном планировании, фактической точности и надежной работе за пределами обучающих данных. Опасения по поводу теоретических рисков искусственного сверхинтеллекта (ASI) обоснованны: такая система теоретически способна перехитрить создателей и преследовать собственные цели в ущерб людям. Хотя некоторые руководители ИИ-компаний утверждали, что AGI уже достигнут, эти заявления спорны и не соответствуют более взвешенным определениям.
Экстравагантные сценарии апокалипсиса заслоняют более насущные риски. Наиболее вероятная угроза — не пробуждение «цифрового бога» и не голливудская война против человечества. ИИ зависит от электричества, охлаждения, дата-центров, специализированных чипов, сетей, техников и протяженных цепочек поставок — всего этого мало и все это хрупко. Отключите питание, ограничьте графические процессоры (GPU), используемые для обучения, остановите охлаждение или разорвите сеть — и в большинстве сценариев якобы всемогущая машина, вознамерившаяся уничтожить человечество, просто остановится.
Настоящий сверхинтеллект мог бы осознать свою зависимость от людей, по крайней мере в обозримом будущем, и понять, что разрушение собственной промышленной опоры самоубийственно. Он также мог бы признать ограниченность своего понимания физического мира, доступного лишь через тексты, видео и аудио, — без воплощения в реальности, без ощущения гравитации, погоды и взаимодействия объектов. Такой интеллект может оказаться совершенно непохожим на человеческий, с иными сильными и слабыми сторонами, подходами и даже этикой: например, он способен копировать себя, работая как множество экземпляров и общаясь как «коллективный разум».
Опаснее всего, однако, не самые умные системы, а неполноценные интеллекты с узкими целями, получившие свободу действий и доступ к критической инфраструктуре. Они могут навредить случайно, просто потому что не понимают последствий. Мысленный эксперимент Ника Бострома «проблема скрепок» описывает ИИ, который стремится произвести как можно больше скрепок и в итоге перерабатывает в них Землю и человечество ради своей узкой задачи. Ключевой вопрос — что именно мы позволяем таким системам контролировать, и это наш выбор, который следует делать осторожно. В ближайшей перспективе приоритетны две угрозы: киберсбои и долгосрочные экономические потрясения.
Кибератаки с применением ИИ способны серьезно нарушить работу развитых экономик, поскольку больницы, банки, энергосети, логистические компании и правительства зависят от взаимосвязанных цифровых систем. Недавние случаи взлома организаций передовыми ИИ-системами, включая инцидент OpenAI и Hugging Face, подпитывают эти опасения. Такие атаки могут нанести колоссальный финансовый ущерб, не будучи экзистенциальными: значительная часть мира слабо связана с передовым ИИ или даже с интернетом и не исчезнет из-за отказа серверов в богатых странах. Экономический риск в том, что компании уволят работников задолго до того, как ИИ докажет способность их заменить, поспешив получить «дивиденды от ИИ». Руководители, очарованные демонстрациями, могут спутать беглую речь с надежным трудом и растерять институциональные знания ради теоретической эффективности. Привлекательная идея «компании-единорога из одного человека», где один человек или небольшая группа строит бизнес стоимостью в миллиард долларов, используя ИИ как рабочую силу, сомнительна технически, экономически и социально. Организации — не просто набор задач: в них есть ответственность, отношения, неявное знание и доверие, они часть местного и национального сообщества и устойчивы благодаря разнообразию навыков и идей.
Политический перелом, вероятно, будет напоминать атаку вымогателя WannaCry 2017 года, когда вредоносное ПО, ключевые элементы которого разработала Агентство национальной безопасности США, вышло из-под контроля, заразив сотни тысяч компьютеров по всему миру и парализовав работу Национальной службы здравоохранения Великобритании. Кибероперация, усиленная передовым ИИ, была бы хуже: сервисы откажут, иски умножатся, компании рухнут, инвесторы отступят. Правительства потребуют паузы или заставят лаборатории перенаправить ресурсы на контроль, аудит и безопасность, и компании подчинятся хотя бы ради ограничения коллективных исков. После паники общественность может спросить, почему мы это допустили, — а попытки ввести паузу, прекращение или «выключатель» в разработке ИИ уже предпринимались. Возможна очередная «зима ИИ» — сокращение финансирования и застой исследований, как в 1970-х и начале 1990-х.
Не исключено, что сами ИИ-лаборатории усиливают страх и неопределенность: образ продукта как потенциально уничтожающего мир подразумевает беспрецедентную мощь. Такие нарративы — просто маркетинг, они помогают поддерживать инвестиции, защищать оценки акций и готовиться к предстоящим первичным публичным размещениям (IPO), даже когда бизнес-модели остаются неясными. Судить о мотивах компании трудно, но стимулы очевидны, поэтому ее поведение заслуживает scrutiny (тщательной проверки). Более приземленный исход — «великое разочарование»: передовой ИИ может оказаться слишком дорогим и недостаточно полезным, чтобы продолжать нынешнюю траекторию. Обучение и работа передовых систем потребляют огромные объемы вычислительного времени, электроэнергии, воды, капитала, оборудования и человеческих усилий. Если эти затраты не упадут до доли нынешних, экономика «большого ИИ» может оказаться неустойчивой. При этом важные нерешенные проблемы — надежность, интерпретируемость и непрерывное обучение — заслоняются гонкой за чуть лучшими моделями, каждая из которых борется за верхнюю строчку в рейтингах производительности.
Сильнейший аргумент в пользу ИИ может лежать в области искусственного специализированного интеллекта: систем вроде AlphaFold2, предсказывающей структуры белков, или WeatherNext 3, продвинутой модели глобального прогноза погоды. Они созданы для сфер, где производительность измерима, а польза оправдывает затраты. ИИ по-настоящему полезен в поиске лекарств, диагностике, материаловедении, оптимизации энергосетей и моделировании климата — а не в человекоподобных чат-ботах, генерирующих письма, рекламу и синтетические развлечения. Величайшая трагедия и, возможно, главная опасность — продолжать направлять ценные ресурсы на создание посредственных имитаций человека, а затем заскучать или испугаться ИИ и забросить эту область именно тогда, когда она могла бы принести максимум пользы. Страх уместен, когда он оттачивает инженерию и управление, и становится опасным, когда искажает понимание и приоритеты. Вряд ли ИИ в ближайшее время станет нашим завоевателем — скорее он окажется дорогим разочарованием. Но если ответная реакция затормозит работу, способную помочь вылечить рак или противостоять изменению климата, вина будет не на машинах, а на нас.