Сегодня надежно доказать, что конкретный текст написан ИИ, невозможно — детекторы дают много ошибок и не могут служить прямым доказательством, как считают эксперты, включая специалистов, чьи выводы опубликовал журнал Nature.
Университеты, редакции и издательства всё активнее применяют программы для выявления машинных текстов, но эта технология далека от совершенства и регулярно ошибается. Такие сервисы нередко принимают за результат работы нейросети тексты реальных людей — особенно если человек пишет по строгим правилам или использует простой английский. Специалисты сравнивают борьбу с обманом в этой сфере с бесконечной гонкой технологий.
Ложные срабатывания на исторических текстах
Показательный пример несовершенства детекторов — реакция на Декларацию независимости США 1776 года, которую пользователи интернета неоднократно замечали в списке «машинных» текстов. Эту аномалию подтвердили и тесты журнала Nature: сервис ZeroGPT при проверке документа выдавал от 95 до 100 процентов вероятности генерации искусственным интеллектом.
Причина кроется в самом принципе работы большинства детекторов, которые опираются на метрику «перплексити» — показатель предсказуемости выбора слов в тексте. Поскольку нейросети выдают статистически более предсказуемый текст, аккуратная и грамотная человеческая речь часто ошибочно принимается за машинную.
Масштаб ошибок и их причины
Согласно исследованиям, распространенные программы проверки допускают до 16 процентов ложных срабатываний на англоязычных студенческих работах, а для людей, для которых английский не родной, этот показатель возрастает до 61 процента. Ситуацию усложняет стремительное развитие самих нейросетей: тексты новых моделей звучат все более естественно, а специальные программы-«гуманизаторы» еще больше сбивают алгоритмы проверки с толку. По этой причине эксперты сходятся во мнении, что результаты автоматических детекторов нельзя рассматривать как окончательное доказательство использования ИИ.
Чем детекторы отличаются от антиплагиата
Ученые обращают внимание на принципиальное отличие детекторов генеративного текста от привычных систем проверки на плагиат. Если антиплагиат указывает конкретный источник заимствования, то детекторы ИИ не способны предъявить наглядное доказательство своего вывода. Ситуация осложняется и тем, что человеческий и машинный текст не исключают друг друга: раз нейросети обучались на миллиардах слов, написанных людьми, теоретически любое ее предложение мог составить и человек.
Что предлагают эксперты вместо детекторов
Специалисты рекомендуют учебным заведениям отказаться от слепой веры в технологии распознавания и пересмотреть саму систему оценки знаний, сосредоточившись на прозрачности процесса написания работы, а не только на готовом результате. Правда, у такого подхода есть побочный эффект — сокращается доля дистанционных тестов и домашних эссе, поскольку часть заданий приходится выполнять непосредственно в аудитории. Марзена Карпинска, лингвист и специалист по компьютерным наукам из Университета Саймона Фрейзера, изучающая масштабы применения ИИ, предостерегает от поспешных выводов на основе показаний алгоритмов: по ее словам, нельзя массово обвинять людей только потому, что детектор ИИ по какой-то причине счел их текст сгенерированным.
