Google сканирует веб в 3 раза больше, чем OpenAI: новые данные Cloudflare меняют SEO-ландшафт 2026 года

Данные компании раскрывают дисбаланс в гонке за доступ к данным для обучения ИИ-моделей. Что это значит для владельцев сайтов и SEO-специалистов.

Согласно последним данным Cloudflare, Googlebot сканирует веб-страницы в 3.2 раза чаще, чем краулеры OpenAI, и в 4.8 раза чаще, чем инструменты Microsoft и Anthropic. Эта статистика может оказаться критически важной в текущей гонке за доминирование в сфере генеративного искусственного интеллекта.

Преимущество Google: двойное назначение краулера

Мэттью Принс, генеральный директор Cloudflare, в интервью TechCrunch отметил ключевую проблему современного цифрового ландшафта: Google использует один и тот же краулер для двух различных целей — индексации поисковых результатов и сбора данных для обучения ИИ-моделей.

«Google говорит: «У нас есть абсолютное божественное право на весь контент в мире, даже если мы не платим за него, потому что посмотрите, что мы сделали за последние 27 лет». И они заявляют, что могут брать этот контент и использовать тот же краулер, что и для поиска, для питания своих ИИ-систем. И если вы хотите отказаться от одного, вам приходится отказываться от обоих», — заявил Принс.

Эта особенность ставит издателей перед невозможным выбором: разрешить Googlebot доступ и потерять контроль над использованием контента для обучения ИИ или заблокировать краулер и потерять видимость в поиске, что для многих означает потерю около 20% дохода.

Динамика роста AI-краулеров

Согласно данным Cloudflare Radar, с мая 2024 по май 2025 года наблюдался впечатляющий рост активности ИИ-ботов:

• GPTBot (OpenAI): +305%
• Googlebot: +96%
• Общий объем трафика от поисковых и ИИ-краулеров: +18%

При этом Googlebot остается доминирующим игроком, генерируя 4.5% всего HTML-трафика — больше, чем все другие ИИ-краулеры вместе взятые (4.2%).

Crawl-to-refer ratio: проблема справедливого обмена

Cloudflare ввела метрику, показывающую соотношение сканирований к реферальным переходам. По состоянию на июнь 2025 года:

• Google: 14:1 (сканирует в 14 раз чаще, чем направляет трафик)
• OpenAI: 1,700:1
• Anthropic: 73,000:1

Эти цифры демонстрируют кардинальное изменение в отношениях между издателями и поисковыми системами. Если раньше поисковые краулеры направляли трафик на сайты, создавая симбиотический обмен, то современные ИИ-боты собирают данные, практически не направляя посетителей обратно.

Ответ владельцев сайтов: массовые блокировки

В ответ на эксплуатацию контента без компенсации издатели начали активно блокировать ИИ-краулеры. По данным Cloudflare:

• Лишь 37% топ-10,000 доменов имеют файл robots.txt
• GPTBot запрещен всего в 7.8% файлов robots.txt
• Google-Extended (специальный краулер Google для обучения ИИ) запрещен лишь в 5.6% случаев

В июле 2024 года Cloudflare запустила функцию, позволяющую всем клиентам блокировать ИИ-сканеры одним кликом. Эту опцию активировали более 1 миллиона клиентов, что привело к значительному сокращению трафика от ряда краулеров. Например, Bytespider (ByteDance) снизил активность на 71.45% с первой недели июля 2024 года.

Новые инструменты Cloudflare для контроля контента

В январе 2026 года Cloudflare предлагает владельца сайтов два ключевых инструмента:

1. Управляемый robots.txt — автоматическое создание и обновление файла robots.txt с инструкциями для ИИ-боты, запрещающими использование контента для обучения моделей. Этот инструмент доступен всем клиентам, включая бесплатные тарифы.
2. Селективная блокировка по рекламным страницам — технология, позволяющая блокировать ИИ-сканеры только на тех страницах сайта, где размещена реклама. Это решение особенно важно для издателей, чей основной доход зависит от трафика.

Данные по Яндексу и другим региональным поисковикам

Для русскоязычного рынка ситуация выглядит иначе. Яндекс сохраняет доминирование в России с долей рынка около 72-73%, в то время как его глобальная доля составляет всего 1.56-2.78%.

YandexBot остается критически важным для SEO в русскоязычном сегменте интернета, но статистика по его использованию для обучения ИИ-моделей менее прозрачна по сравнению с данными по Google и OpenAI.

Последствия для SEO-специалистов в 2026 году

Эти изменения требуют пересмотра стратегий поисковой оптимизации:

1. Осознанный подход к robots.txt — необходимо пересмотреть файлы robots.txt для явного указания правил для ИИ-краулеров. Важно понимать разницу между блокировкой Googlebot (что влияет на видимость в поиске) и Google-Extended (специальный краулер для обучения ИИ).
2. Мониторинг ИИ-трафика — внедрение инструментов для анализа трафика от ИИ-боты и оценки их влияния на серверную нагрузку и потенциальные риски использования контента.
3. Оптимизация под новые условия — учитывая рост доли нулевых кликов (запросов, не приводящих к переходу на сайты), необходимо адаптировать контент-стратегии для сохранения видимости в условиях преобразования традиционного поиска в ответы ИИ.
4. Эксперименты с монетизацией ИИ-трафика — Cloudflare запустила экспериментальную функцию «Pay per crawl», позволяющую владельцам сайтов взимать плату за доступ ИИ-компаний к их контенту.

Перспективы и регуляторные инициативы

Мэттью Принс активно взаимодействует с регуляторами, включая Управление по конкуренции и рынкам Великобритании (CMA), призывая разделить поисковые и ИИ-краулеры Google для обеспечения справедливой конкуренции.

В США продолжается судебное разбирательство по антимонопольному иску против Google, где ключевым аргументом является незаконное использование доминирующего положения для получения преимущества в области искусственного интеллекта.

Как заявил Мэттью Принс в интервью, «кто имеет больше данных — тот побеждает в эпоху ИИ». Текущие данные подтверждают значительное преимущество Google в доступе к контенту, которое может определять расстановку сил в ИИ-индустрии на годы вперед.

Для владельцев сайтов и SEO-специалистов 2026 года критически важно осознавать эти изменения и использовать доступные инструменты для защиты своих интересов в условиях трансформации цифровой экосистемы.

Источники: данные Cloudflare за январь 2026 года, исследование Cloudflare Radar, интервью с Мэттью Принсом (TechCrunch, The Register), отчеты Cloudflare об ИИ-краулерах.