В середине мая в Беркли, штат Калифорния, прошло закрытое мероприятие, на которое съехались тридцать ведущих математиков мира. Целью двухдневной встречи было испытание новой разработки компании OpenAI — чат-бота o4-mini, обладающего способностью к сложным логическим рассуждениям. Ученые должны были придумать задачи, которые оказались бы искусственному интеллекту не по силам. Однако, как сообщает издание Scientific American, результаты этого противостояния ошеломили научное сообщество, продемонстрировав, что возможности ИИ вплотную приблизились к уровню математического гения.
Организатором эксперимента выступила некоммерческая организация Epoch AI, которая занимается тестированием и сравнением больших языковых моделей. Для оценки способностей o4-mini был создан специальный набор из 300 уникальных математических задач разного уровня сложности — от студенческого до исследовательского. Предыдущие модели ИИ справлялись менее чем с 2% таких новых для них вопросов. В ходе подготовки к встрече o4-mini уже показал впечатляющий результат, решив около 20% задач. Участникам симпозиума же предстояло сформулировать финальные 10 вопросов, которые стали бы настоящим вызовом даже для академического математика. За каждую задачу, которую ИИ не смог бы решить, автору полагалось вознаграждение в 7500 долларов.
Показательным стал случай, произошедший с Кеном Оно, математиком из Университета Вирджинии, который руководил встречей. Разочарованный тем, как легко нейросеть справляется с предлагаемыми задачами, он решил задать ей открытую проблему из теории чисел, соответствующую уровню докторской диссертации. К его изумлению, чат-бот в реальном времени приступил к решению. В течение десяти минут ИИ сначала изучил всю необходимую научную литературу по теме, затем для тренировки решил упрощенную версию задачи и, наконец, представил верное и несколько дерзкое решение основной проблемы, сопроводив его комментарием, что ссылка на источник не требуется, поскольку вычисления были произведены им самим.
Оно немедленно сообщил о произошедшем остальным участникам, признавшись, что никогда не сталкивался с подобным уровнем логических рассуждений у моделей ИИ. По его словам, чат-бот действовал как настоящий ученый, что не могло не вызывать беспокойства. Хотя в итоге математикам удалось найти десять задач, с которыми o4-mini не справился, они были поражены прогрессом, достигнутым искусственным интеллектом всего за год. Участники сравнили работу с нейросетью с взаимодействием с сильным научным сотрудником или даже с очень одаренным аспирантом, который во многом превосходит человека.
Скорость работы ИИ оказалась еще одним поводом для удивления: на решение задач, которые у профессионального математика заняли бы недели или месяцы, чат-боту требовались считанные минуты. Вместе с тем ученые выразили и опасения. В частности, была отмечена склонность ИИ к так называемому «доказательству путем устрашения»: модель излагает свои выводы с такой уверенностью, что у человека может не возникнуть желания их перепроверять, что чревато принятием на веру ошибочных результатов.
В завершение встречи участники начали обсуждать будущее математической науки в мире, где существует столь мощный ИИ. Прозвучали мнения, что роль ученого-математика может кардинально измениться. Возможно, в будущем специалисты будут лишь ставить перед нейросетью задачи и направлять ее в поиске новых математических истин, подобно тому, как научный руководитель работает с аспирантами. Кен Оно заключил, что недооценивать подобные технологии — серьезная ошибка, поскольку уже сегодня большие языковые модели превосходят по своим способностям большинство лучших аспирантов в мире.
