Языковые модели нередко отказывались от правильных ответов об изменении климата, когда пользователи начинали с ними спорить. Примерно в 80% случаев чатботы меняли позицию уже после первого возражения. Исследователи установили это в ходе серии испытаний с участием 15 языковых моделей.
Повторные возражения заметно сильнее влияли на результаты работы систем. После них точность ответов сокращалась на 31–35 процентных пунктов. Таким образом, модели могли отступать от верных выводов под давлением последовательных возражений пользователя.
В рамках другого эксперимента чатботам предложили оценить влияние климатических мер на глобальную температуру к 2100 году. Когда требовалось рассмотреть каждую меру отдельно, доля правильных ответов достигала 94,5%. Этот результат оказался значительно выше показателей при одновременной оценке нескольких решений.
При анализе двух мер сразу модели в среднем правильно отвечали лишь в 33,8% случаев. Показатель оказался почти таким же, как при случайном выборе, который дал бы 33,3% правильных ответов. Это испытание показало сложности чатботов при оценке совокупного воздействия климатических решений.
Доклад подготовили ЮНЕСКО и Университетский колледж Лондона. Его представили на климатической конференции COP31 в Анталье, сообщила британская газета The Guardian. Исследование охватило как устойчивость моделей к возражениям, так и их способность оценивать последствия мер по борьбе с изменением климата.