Cloudflare начнёт блокировать ботов, которые собирают данные с сайтов для ИИ

Раньше владельцы сайтов могли сами решать, пускать ли таких ботов, но теперь защита станет включаться по умолчанию. Глава Cloudflare объяснил это тем, что большая часть интернет-трафика сегодня «идёт от машин, а не от людей», и нужно «восстанавливать справедливый баланс».

Суть такова: если на странице сайта есть реклама, то боты, которые забирают текст для обучения ИИ, будут по умолчанию заблокированы. При этом поисковым роботам, которые просто собирают информацию для выдачи результатов поиска, доступ останется открытым.

пострадает от такого решения, например, Google, у которой один и тот же Googlebot и ищет сайты, и собирает данные для обучения модели Gemini.