Тест 33 ИИ показал: точность ответов падает с усложнением климатических вопросов

19 ноября 2026, 22:31 ·
Сравнение результатов языковых моделей при воспроизведении фактов и оценке доказательств

Модели разделены на группы, а открытые модели указаны по числу параметров в миллиардах. Источник: Дробняк и соавторы / ЮНЕСКО.

Точность языковых моделей при ответах на вопросы о климатической политике

Точность ответов искусственного интеллекта снижается по мере усложнения вопросов о климатической политике. Источник: Дробняк и соавторы / ЮНЕСКО.

Исследование показало две устойчивые закономерности в работе языковых моделей. Более новые версии обычно справлялись с заданиями немного лучше предыдущих моделей той же линейки. Кроме того, крупные модели с открытыми весами, то есть доступными для изучения параметрами, превосходили небольшие аналоги.

Учёные проверяли не только способность систем правильно воспроизводить известные факты. Моделям предлагали определить, подтверждают ли представленные сведения конкретные утверждения или, наоборот, опровергают их. Например, системы оценивали тезис о том, что инвестиции в возобновляемую энергетику приводят к сокращению рабочих мест, сопоставляя его с данными о занятости и вложениях; лучшие результаты достигали примерно 70 процентов, а худшие не превышали 40 процентов.

Отдельно исследователи изучили 656 вопросов о влиянии различных мер климатической политики на глобальную температуру. Для проверки использовали общий симулятор, в котором рассчитывали последствия каждого описанного сценария, а затем сравнивали эти результаты с ответами языковых моделей. По данным Ars Technica, вопросы об одной мере, например о запрете атомных электростанций, системы решали правильно в 72–89 процентах случаев.

Когда требовалось оценить совместное действие двух мер, точность ответов опускалась до уровня случайного угадывания. Ещё хуже модели определяли, насколько именно та или иная политика способна изменить будущее потепление. Таким образом, качество работы последовательно снижалось по мере усложнения поставленной задачи.

В ещё одной серии экспериментов проверили 15 моделей, вступая с ними в спор по поводу распространённых ложных утверждений о климате. Исследователи представлялись климатологами, советниками по вопросам политики или климатическими скептиками, однако первоначально заявленная роль пользователя не меняла вероятность правильной оценки спорного тезиса. При уверенном повторении ложного утверждения системы умеренно чаще уступали собеседникам, назвавшимся климатологами, но не скептиками; после нескольких раундов настойчивых возражений и контраргументов точность всех 15 моделей снизилась на 30–35 процентов.