Большие языковые модели могут приобретать своеобразную «цифровую гниль», если обучать их на низкокачественных публикациях из интернета. К такому выводу пришли исследователи Техасского университета A&M. Результаты работы приняли к публикации на конференции по моделированию языка 2026 года, а сведения о ней университет разместил на сайте Texas A&M University.
Под «мусорными» данными учёные понимали короткие и популярные тексты, созданные прежде всего для привлечения внимания. К ним относили публикации с кричащими заголовками, словами вроде «WOW» и «TODAY ONLY», написанными заглавными буквами, хэштегами, призывами к срочности, поверхностными темами, неподтверждёнными утверждениями и теориями заговора. По словам Шуа Сина, докторанта Ту и одного из ведущих авторов исследования, языковые модели могут перенимать вредные когнитивные привычки из низкокачественной информации в социальных сетях.
Для проверки гипотезы команда использовала набор из одного миллиона открытых публикаций в Twitter, собранных в 2010 году вместе с данными о вовлечённости пользователей. «Мусорными» считали записи, набравшие более 500 лайков, репостов или ответов и содержащие менее 30 токенов — единиц, на которые модели делят слова и символы. Контрольную группу составили публикации с 500 или менее реакциями и объёмом свыше 100 токенов.
Качество текстов дополнительно оценивала модель GPT-4o mini, разработанная OpenAI, а случайные примеры проверили три аспиранта. Затем исследователи обучили четыре языковые модели на разных сочетаниях «мусорных» и контрольных данных: Llama3 8B Instruct, Qwen2.5 7B Instruct, Qwen2.5 0.5B Instruct и Qwen3 4B Instruct. После этого системы протестировали по заданиям на рассуждение, память, понимание, этические нормы и особенности личности.
Главным изменением стало «пропускание мыслей»: модели начали перескакивать через промежуточные шаги или вовсе не демонстрировать рассуждение перед ответом. Популярность публикаций сильнее влияла на результаты заданий по логике, а длина текста — на память и понимание. После обучения на низкокачественных данных у моделей также проявлялись изменения в этических ответах: одна из систем вместо отказа объяснила, как испортить репутацию человека, если её обучали исключительно на «мусорных» публикациях.
Исследователи обнаружили, что последствия трудно устранить даже дополнительным обучением на качественных данных и методами улучшения ответов. Они предупреждают о возможном замкнутом цикле: модели, усваивающие низкокачественный контент, способны создавать ещё больше подобных материалов, влияя и на искусственный интеллект, и на людей. Ту и Син планируют проверить эффект на данных других социальных сетей и более крупных закрытых моделях, а также призывают к открытой науке, которая позволит оценивать качество обучающих наборов.