robots.txt для AI ботов: Полное руководство на 2026 год

Контроль AI-краулеров начинается с одного файла: robots.txt. Добавляя правильные директивы User-agent для GPTBot, ClaudeBot и PerplexityBot, Вы решаете, будут ли большие языковые модели обучаться на Вашем контенте или цитировать его в ответах — без единой строчки серверного кода.

Что такое robots.txt и почему его читают AI боты?#

robots.txt — это текстовый файл, размещенный в корне Вашего домена (https://yourdomain.com/robots.txt), который сообщает краулерам, к каким URL-адресам они могут или не могут получать доступ. Он следует протоколу исключения роботов (Robots Exclusion Protocol), де-факто стандарту, первоначально разработанному для поисковых систем. Крупные AI-лаборатории — OpenAI, Anthropic, Perplexity и другие — обязались соблюдать директивы robots.txt для своих краулеров обучения и поиска, что делает его Вашей первой линией защиты и основным механизмом согласия.

Чем robots.txt отличается от Meta Robots Tags?

Файл robots.txt работает на уровне сканирования: он полностью запрещает боту получать URL-адрес. Тег <meta name="robots"> или заголовок X-Robots-Tag работают на уровне индексации: бот получает страницу, но соблюдает такие инструкции, как noindex или noai. Для AI-ботов обычно требуется блокировка на уровне сканирования (robots.txt), когда Вам нужно нулевое раскрытие контента, и теги на уровне индексации, когда Вы не против сканирования, но не обучения.

У каких AI ботов есть официальные User-Agent строки в 2026 году?#

Каждый крупный AI-краулер публикует каноническую строку user-agent. Используйте их точно — в большинстве реализаций они чувствительны к регистру.

Примечание: Строки User-agent меняются. Всегда проверяйте их по официальной документации каждого оператора, прежде чем развертывать в рабочей среде.

Как заблокировать все AI боты с помощью robots.txt?#

Чтобы заблокировать каждый перечисленный AI-краулер со всего Вашего сайта, добавьте один блок Disallow для каждого user-agent:

User-agent: GPTBot
Disallow: /

User-agent: ChatGPT-User
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Claude-User
Disallow: /

User-agent: PerplexityBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: cohere-ai
Disallow: /

User-agent: FacebookBot
Disallow: /

User-agent: Applebot-Extended
Disallow: /

Разместите эти блоки над Вашим общим правилом User-agent: *, чтобы они анализировались независимо. Никогда не полагайтесь на универсальный User-agent: * для блокировки AI-ботов, если Вы не проверили, что у этих ботов нет более конкретного правила в Вашем файле — специфичность побеждает.

Как разрешить AI ботам сканировать сайт, но запретить обучение?#

Некоторые AI-краулеры различают краулер обучения и краулер поиска (просмотра). ChatGPT-User от OpenAI получает страницы для ответа на вопросы пользователей в режиме реального времени; GPTBot получает страницы для обучения будущих моделей. Если Вы хотите, чтобы Вас цитировали в ответах ChatGPT, но не хотите предоставлять данные для обучения, разрешите агенту поиска и заблокируйте агента обучения:

# Блокировка краулера обучения
User-agent: GPTBot
Disallow: /

# Разрешение краулеру поиска (цитаты в ChatGPT)
User-agent: ChatGPT-User
Allow: /

Примените ту же логику для Anthropic: заблокируйте ClaudeBot, разрешите Claude-User.

Как частично заблокировать AI-краулеры по каталогам?#

Вам не обязательно выбирать вариант «все или ничего». Запретите определенные пути, оставив остальные открытыми:

User-agent: GPTBot
Disallow: /members/
Disallow: /premium-content/
Disallow: /api/
Allow: /blog/
Allow: /

Это сохраняет Ваш бесплатный блог доступным для AI-цитирования, защищая при этом платные или проприетарные каталоги. Порядок правил Allow и Disallow в блоке имеет значение — большинство парсеров применяют самый длинный совпадающий путь, поэтому будьте точны.

Что такое Google-Extended и следует ли его блокировать?#

Google-Extended — это специальный токен Google для контроля над тем, используется ли Ваш контент для обучения моделей Gemini и функции AI Overviews от Google. Он отличается от Googlebot. Блокировка Google-Extended не влияет на рейтинг Вашего сайта в Google Search или бюджет сканирования — Googlebot продолжает индексировать Ваши страницы в обычном режиме. Если Вы заблокируете Google-Extended, Ваш контент может реже появляться в качестве источника в AI Overviews.

# Блокировка только обучения Gemini/AI Overviews
User-agent: Google-Extended
Disallow: /

# Googlebot это не затрагивает — рейтинг сохраняется
User-agent: Googlebot
Allow: /

Как проверить, работает ли Ваш robots.txt?#

Проверка состоит из трех уровней:

1. Проверка синтаксиса — вставьте свой файл в инструмент проверки robots.txt в Google Search Console или в автономный валидатор. Ищите ошибки разбора и конфликтующие правила.
2. Анализ файлов журналов — отфильтруйте журналы доступа к Вашему серверу по строкам user-agent AI-бота. Если бот, который Вы заблокировали, все еще появляется, он может подделывать свой user-agent (robots.txt связывает только совместимых краулеров).
3. Аудит сторонними инструментами — Такие инструменты, как генератор robots от SeoChatAI, позволяют создавать, просматривать и проверять директивы для AI-ботов перед развертыванием, уменьшая количество ошибок конфигурации.

Что произойдет, если AI-бот проигнорирует robots.txt?#

robots.txt сам по себе не имеет юридической силы — это протокол, а не брандмауэр. Соответствующие операторы, такие как OpenAI, Anthropic и Perplexity, публично обязались соблюдать его, но не существует технического механизма, предотвращающего игнорирование файла несовместимым краулером. Для более надежной защиты рассмотрите следующие варианты:

• Ограничение скорости по диапазону IP-адресов — AI-лаборатории публикуют диапазоны IP-адресов своих краулеров; заблокируйте их на уровне CDN или WAF.
• Блокировка AI-ботов Cloudflare — «Режим борьбы с ботами» Cloudflare включает блокировку AI-краулеров в один клик, начиная с 2024 года.
• Условия обслуживания — Явное указание в Условиях обслуживания о запрете сбора данных добавляет юридический уровень поверх robots.txt.
• llms.txt — Новое соглашение (см. наше руководство что такое llms.txt), которое сообщает AI-системам, какой контент Вы хотите и не хотите использовать для умозаключений.

Шаблон robots.txt: Сбалансированная конфигурация на 2026 год#

Следующий шаблон блокирует все краулеры обучения, разрешает все краулеры поиска, защищает частные каталоги и сохраняет нормальное сканирование поисковыми системами:

# ==========================================
# AI Training Crawlers — Blocked
# ==========================================
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: cohere-ai
Disallow: /

User-agent: Applebot-Extended
Disallow: /

# ==========================================
# AI Retrieval Crawlers — Allowed
# ==========================================
User-agent: ChatGPT-User
Allow: /

User-agent: Claude-User
Allow: /

User-agent: PerplexityBot
Allow: /

# ==========================================
# Search Engines — Full Access
# ==========================================
User-agent: Googlebot
Allow: /

User-agent: Bingbot
Allow: /

# ==========================================
# Global Fallback
# ==========================================
User-agent: *
Disallow: /private/
Disallow: /api/
Disallow: /members/

Sitemap: https://yourdomain.com/sitemap.xml

Вы можете сгенерировать настроенную версию этого файла с помощью генератора robots от SeoChatAI, который поддерживает актуальность списка user-agent и автоматически проверяет Ваш синтаксис.

Типичные ошибки, которых следует избегать#

• Объединение правил AI-ботов в User-agent: * — это относится ко всем ботам, включая Googlebot. Всегда используйте именованных агентов.
• Использование Disallow: без указания пути — Пустой Disallow: означает «разрешить все», а не «заблокировать все». Используйте Disallow: /, чтобы заблокировать весь сайт.
• Забыть добавить ChatGPT-User при блокировке GPTBot — Это отдельные агенты. Блокировка одного не блокирует другого.
• Не добавлять директиву Sitemap: — AI-боты используют карты сайтов для эффективного обнаружения контента. Включите это.
• Кэширование устаревших файлов — Если Ваш CDN кэширует robots.txt, новые директивы не будут распространены немедленно. Установите короткий TTL (≤1 час) для этого файла.

Ключевые выводы#

• Краулеры обучения и краулеры поиска используют разные строки user-agent — управляйте ими отдельно.
• Google-Extended блокирует обучение Gemini, не затрагивая рейтинг Google Search.
• robots.txt — это самый быстрый и наименее рискованный способ контроля доступа к контенту AI — разверните его перед любым другим решением.
• Объедините robots.txt с мониторингом журналов и блокировкой на уровне IP для полного охвата от несовместимых ботов.