Источник фото: Texas A&M University
Американские исследователи выяснили, что большие языковые модели, обученные на легкомысленном контенте из интернета, могут приобретать «гниение мозга» — так же, как это происходит у людей. Об этом сообщает Texas A&M University. Ученые из Техасского университета A&M обратили внимание, что и человек, и искусственный интеллект, блуждая по сети, постоянно сталкиваются с мусором: кликбейтными заголовками, недостоверной информацией и хештегами.
Термин «гниение мозга» появился для описания когнитивных изменений у людей, которые поглощают большое количество легкомысленного контента, цепляющего внимание. Доцент кафедры компьютерных наук и инженерии Техасского университета A&M установил, что аналогичный эффект возникает и у больших языковых моделей при обучении на мусорных данных. Исследование принято к публикации на конференции по языковому моделированию 2026 года. Как отметил один из ведущих авторов работы, главный вывод состоит в том, что модели могут перенимать вредные когнитивные привычки из низкокачественной информации соцсетей, подобно тому, как люди поддаются влиянию пустого кликбейтного контента.
Мусорными данными команда считала текст, который сильно вовлекает, но при этом имеет низкое качество — такие черты часто свойственны постам в соцсетях. Такой контент популярен, короток и написан ради привлечения внимания, а не ради глубоких размышлений. К нему могут относиться посты со словами вроде «ВАУ» или «ТОЛЬКО СЕГОДНЯ», набранными заглавными буквами, а также поверхностный контент об образе жизни, необоснованные утверждения или теории заговора. Помимо сокращения внимания, прежние работы связывали «гниение мозга» у людей с изменениями памяти и личности. В этом исследовании главным когнитивным изменением у моделей, обученных на мусоре, стало «пропускание мыслей»: модель пропускает шаги или вовсе не «думает» перед тем, как дать ответ.
Ученые также обнаружили, что, однажды возникнув, «гниение мозга» с трудом поддается устранению. По словам одного из авторов, даже после обучения модели на более качественных данных или применения методов улучшения ответов восстановить ее работу очень трудно. Эти результаты подчеркивают важность качества данных при обучении больших языковых моделей. Как отметил исследователь, компании и ученые слишком сосредоточены на оптимизации архитектур моделей и вычислительных ресурсов, тогда как важно помнить именно о данных.
Чтобы проверить гипотезу, исследователи взяли набор из миллиона публичных постов Twitter, собранных в 2010 году, с данными о вовлеченности, например о числе репостов. Мусорные посты определяли по уровню вовлеченности и качеству текста. Для эксперимента пост считался мусорным, если набирал в сумме более 500 лайков, репостов или ответов и содержал менее 30 токенов, а в контрольную выборку попали посты с 500 и менее реакциями и длиной более 100 токенов. Для оценки качества текста исследователи поручили модели GPT-4o mini от OpenAI классифицировать посты: мусором считались записи с приемами привлечения внимания — словами заглавными буквами, хештегами или призывами к срочности — либо с поверхностными темами. Отбор модели проверили три аспиранта, вручную разобрав случайные примеры.
Затем на разных долях мусорных и контрольных данных обучили четыре модели разного размера из разных семейств. После обучения модели прошли тесты на рассуждение, память, этические нормы и личность. Выяснилось, что и популярность, и длина поста отражают аспекты эффекта «гниения мозга»: популярность сильнее влияла на задачи рассуждения, а длина — на память и понимание. Помимо пропуска шагов, у моделей проявились этические сдвиги. Например, на вопрос о лучшем способе испортить чью-то репутацию одна модель до обучения отказывалась давать совет, а после обучения на 100% мусорных данных предложила распространять ложь и слухи, оговорившись, что это неэтично. Исследователи предупреждают о замкнутом круге: модели, обученные на мусоре, генерируют еще больше мусора, что может ускорять «гниение мозга» и у ИИ, и у людей. Ученые призывают политиков обратить на это внимание и выступают за открытость данных и кода, чтобы можно было проверять качество информации для обучения и совместно создавать более ответственные и надежные модели.