Как заблокировать AI-краулеров, не навредив позициям в Google

Блокировка краулеров для обучения ИИ — это безопасно и точно, если вы нацелены на отдельные строки user-agent. Googlebot, Bingbot и другие краулеры поисковых систем работают под совершенно другими идентификаторами user-agent, чем GPTBot от OpenAI или CCBot от Common Crawl, поэтому правильно написанный robots.txt блокирует одну группу, не затрагивая другую.

Что такое краулеры для обучения ИИ?#

Краулеры для обучения ИИ — это боты, которые извлекают общедоступный веб-контент для создания наборов данных для больших языковых моделей (LLM). Они отличаются от ботов индексирования поисковых систем. Распространенные примеры включают GPTBot (OpenAI), CCBot (Common Crawl), anthropic-ai (Anthropic) и Google-Extended (отдельный краулер Google для обучения ИИ, отличный от Googlebot).

Эти боты соблюдают директивы robots.txt — по крайней мере, основные из известных AI-лабораторий. Блокировка этих ботов — это законная и широко поддерживаемая практика.

Почему блокировка не влияет на позиции в Google?#

Google использует Googlebot и Googlebot-Image для индексации вашего контента для поиска. Это совершенно разные строки user-agent, чем Google-Extended, который является user-agent, используемым Google специально для продуктов обучения ИИ, таких как Bard и Vertex AI. Вы можете запретить Google-Extended, не влияя на свои позиции в поиске Google.

Ключевой принцип: директивы robots.txt зависят от user-agent. Правило Disallow для User-agent: GPTBot не оказывает никакого влияния на User-agent: Googlebot.

Как заблокировать AI-краулеров в robots.txt#

Добавьте отдельные блоки User-agent для каждого AI-краулера, которого нужно исключить. Разместите эти блоки после существующих правил Googlebot, чтобы не было двусмысленности.

# Блокировка краулера OpenAI для обучения
User-agent: GPTBot
Disallow: /

# Блокировка Common Crawl
User-agent: CCBot
Disallow: /

# Блокировка Anthropic
User-agent: anthropic-ai
Disallow: /

# Блокировка обучения ИИ Google (НЕ влияет на поиск Google)
User-agent: Google-Extended
Disallow: /

# Блокировка AI-краулера Apple
User-agent: Applebot-Extended
Disallow: /

Существующие блоки Googlebot и Bingbot останутся без изменений. Эти AI-специфичные блоки будут находиться рядом с ними независимо.

Пошаговое руководство: безопасное добавление правил

1. Откройте свой текущий robots.txt — обычно он находится по адресу https://yourdomain.com/robots.txt.
2. Найдите существующие правила для поисковых систем — убедитесь, что Googlebot разрешен или имеет определенные разрешения для путей, которые вы хотите сохранить.
3. Добавьте блоки для AI-краулеров — добавьте каждую пару User-agent / Disallow: / под существующими правилами.
4. Проверьте файл — используйте инструмент проверки robots.txt в Google Search Console или генератор robots.txt от SeoChatAI, чтобы убедиться в отсутствии синтаксических ошибок.
5. Разверните и проверьте — убедитесь, что https://yourdomain.com/robots.txt возвращает HTTP 200 и отображается правильно.

Каких AI-краулеров следует блокировать?#

Основные идентифицируемые краулеры для обучения ИИ с задокументированными строками user-agent включают:

• GPTBot — краулер OpenAI для обучения
• ChatGPT-User — бот OpenAI для просмотра/получения информации (отдельно от обучения)
• CCBot — Common Crawl, базовая база данных для многих LLM с открытым исходным кодом
• anthropic-ai — краулер Anthropic для обучения
• Google-Extended — средство для сканирования продуктов Google для обучения ИИ
• Applebot-Extended — расширение Apple для обучения ИИ
• Diffbot — используется для графа знаний и обучения AI-продуктов
• FacebookBot — краулер Meta для обучения

Примечание: некоторые скреперы вообще не соблюдают robots.txt. Для них единственным надежным вариантом является блокировка на уровне сервера (диапазоны IP-адресов, правила WAF).

Что насчет Google-Extended vs. Googlebot?#

Это различие наиболее важно для издателей, обеспокоенных видимостью в поиске Google. Google официально задокументировал Google-Extended как user-agent для своих генеративных AI-продуктов. Запрет этого user-agent не позволит вашему контенту использоваться в обучении AI Overviews и аналогичных продуктах, но Googlebot продолжит сканировать и индексировать ваши страницы для органического поиска в обычном режиме.

Если Вы хотите отказаться от AI Overviews, но оставаться полностью проиндексированными в поиске Google, заблокируйте Google-Extended и оставьте Googlebot открытым.

Как автоматически сгенерировать чистый robots.txt#

Ручное редактирование robots.txt сопряжено с риском — неправильно размещенный подстановочный знак или ошибка отступа может случайно заблокировать Googlebot. Генератор robots.txt от SeoChatAI позволяет Вам выбирать, каких краулеров разрешить или заблокировать, просматривать результат и отмечать синтаксические ошибки перед развертыванием. Это самый быстрый способ создать правильный файл без изучения документации RFC.

Можно ли частично заблокировать AI-краулеров (по путям)?#

Да. Вместо Disallow: / Вы можете ограничить AI-краулеров определенными каталогами:

User-agent: GPTBot
Disallow: /private/
Disallow: /members/

Это позволит GPTBot сканировать Ваши общедоступные маркетинговые страницы, защищая закрытый или проприетарный контент. Тот же контроль на уровне путей применим к любому user-agent.

Действительно ли работает блокировка robots.txt?#

Для авторитетных AI-лабораторий — OpenAI, Anthropic, Google, Apple — да. Они публично обязались соблюдать robots.txt. Common Crawl соблюдает его годами. Риск существует с меньшими и менее ответственными скреперами, которые рассматривают robots.txt как необязательный. Для этих субъектов объедините robots.txt со следующими средствами:

• Ограничение скорости на уровне edge/CDN
• Блокировка IP-адресов с использованием опубликованных диапазонов ASN для известных нарушителей
• Страницы запроса WAF, запускаемые необычными шаблонами сканирования

Для крупных компаний LLM robots.txt — Ваш основной и достаточный инструмент.

Основные выводы#

• Краулеры для обучения ИИ используют разные строки user-agent, чем Googlebot — блокировка является точечной, а не широкой.
• Google-Extended — это бот Google для обучения ИИ; запрет не влияет на рейтинг в поиске Google.
• Всегда проверяйте синтаксис robots.txt перед развертыванием — одна ошибка может повлиять не на того бота.
• Авторитетные AI-лаборатории соблюдают robots.txt; для недобросовестных скреперов требуются элементы управления на уровне сервера.