Reddit ограничил доступ к своему контенту для большинства поисковых систем, кроме Google. Это стало заметно по результатам поиска в таких системах, как Microsoft Bing, DuckDuckGo и «Яндекс». Ссылки на Reddit либо перестали отображаться в выдаче, либо появляются в очень ограниченном количестве без описаний.
В «Яндексе» подтвердили, что в файле robots.txt Reddit установлен запрет на сканирование и индексирование контента для всех поисковых роботов, включая «Яндекс». При попытке открыть этот файл вручную появляется сообщение о том, что Reddit поддерживает свободный интернет, но выступает против злоупотребления публично доступным контентом.
Эксперты связывают такое решение Reddit с недавней сделкой с Google по использованию контента форума для обучения искусственного интеллекта. По информации Reuters, Reddit будет получать от Google около 60 миллионов долларов ежегодно. Подобное соглашение Reddit заключил и с OpenAI.
Ограничения в файле robots.txt часто используются для предотвращения использования контента сайта в целях обучения ИИ без разрешения. Например, российский сервис «Дзен» ввел подобный запрет для OpenAI, а некоторые сайты Skhulev Media Holding временно запрещали «Яндексу» использовать свой контент для нейросетевых продуктов.
Такие меры отражают растущую тенденцию к контролю над использованием интернет-контента для обучения искусственного интеллекта и защите интересов создателей контента.
Источник: kommersant.ru
