Бесплатный генератор robots.txt

Что такое robots.txt и почему это важно?

robots.txt — текстовый файл в корне вашего домена, реализующий протокол исключения роботов (Robots Exclusion Protocol, REP). Когда краулер приходит на ваш сайт, он запрашивает https://yourdomain.com/robots.txt раньше любого другого URL и использует содержащиеся там правила, чтобы решить, какие пути ему можно запрашивать. Протокол — это публичная конвенция, а не принудительный стандарт: добросовестные боты вроде Googlebot, Bingbot и большинства легитимных SEO-инструментов его соблюдают, тогда как вредоносные парсеры могут полностью игнорировать.

Файл — это просьба, а не стена. Он не блокирует людей, не ограничивает доступ на уровне HTTP и не даёт никаких гарантий безопасности. Любой может открыть ваш robots.txt прямо в браузере и прочитать каждый указанный там путь. Относитесь к нему как к публичному документу. Если путь чувствителен, защитите его аутентификацией, а не строкой Disallow.

robots.txt также не удаляет страницы из результатов поиска. URL, заблокированный в robots.txt, всё равно может появиться в индексе Google, если на него ссылаются другие сайты. Google покажет URL без сниппета, поскольку не может получить страницу для чтения её содержимого. Чтобы страница полностью исчезла из индекса, оставьте её доступной для краулинга и добавьте директиву noindex через мета-тег или заголовок X-Robots-Tag.

Самая распространённая производственная катастрофа с robots.txt — одна строка: Disallow: /. Она блокирует все пути на сайте. Это стандартная настройка во многих тестовых средах, чтобы краулеры не индексировали разрабатываемые URL, и она попадает в продакшн по ошибке чаще, чем любой SEO-специалист хотел бы признать. В течение нескольких часов органический трафик начинает падать по мере того, как Google удаляет страницы из индекса. Всегда сравнивайте продакшн robots.txt со стейджинговым перед каждым деплоем и ведите файл как отслеживаемый артефакт в системе контроля версий.

Как использовать этот генератор

Генератор разработан так, чтобы вы перешли от пустого файла к проверенному, готовому к продакшну robots.txt менее чем за минуту.

Шаг 1 — Выберите пресет CMS. Выберите платформу, соответствующую вашему стеку: WordPress, Shopify, Next.js, Joomla или начните с пустого шаблона. Каждый пресет загружает стандартный набор правил для этой платформы, включая обычно блокируемые директории и расположение карты сайта, типичное для данной CMS.

Шаг 2 — Настройте правила. Добавьте или удалите пути Allow и Disallow, сгруппируйте правила по User-agent (используйте * для всех краулеров или нацельтесь на конкретных ботов, например Googlebot или Bingbot), и добавьте директиву Sitemap, указывающую на URL вашей карты сайта. Если нужно ограничить скорость конкретного краулера, добавьте строку Crawl-delay, но учтите, что Googlebot её игнорирует.

Шаг 3 — Проверьте соответствие рабочему сайту. Введите ваш домен, валидатор получит существующий /robots.txt, разберёт оба файла и покажет разницу. Вы увидите, какие именно пути меняют статус, какие правила конфликтуют и разрешается ли ссылка на карту сайта. Только после этого скопируйте результат и разверните его.

Результат — это обычный текст, отформатированный именно так, как ожидает парсер Google:

User-agent: *
Disallow: /admin/
Allow: /admin/public/
Sitemap: https://example.com/sitemap.xml

Типовые паттерны по CMS

WordPress

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-includes/
Sitemap: https://example.com/sitemap_index.xml

Директория wp-admin содержит панель администратора и не должна обходиться краулером, однако admin-ajax.php используется фронтенд-функциями, такими как поиск по теме и отправка комментариев, поэтому он явно разрешён. wp-includes содержит основные PHP-файлы, не имеющие SEO-ценности. Путь к карте сайта sitemap_index.xml задан по умолчанию как в Yoast SEO, так и в Rank Math, которые генерируют этот файл динамически; если вы используете другой SEO-плагин или статическую карту сайта, скорректируйте URL.

Shopify

User-agent: *
Disallow: /admin
Disallow: /cart
Disallow: /orders
Disallow: /checkout
Disallow: /search

Shopify поставляется с robots.txt по умолчанию, который уже блокирует /admin, /cart, /orders и /checkout, чтобы транзакционные страницы и страницы аккаунта не попадали в результаты поиска. С 2021 года Shopify позволяет переопределить файл, создав шаблон robots.txt.liquid в вашей теме. Блокировка /search необязательна, но распространена, поскольку страницы результатов поиска генерируют тонкий, почти дублирующийся контент, который может расходовать ваш краулинговый бюджет.

Next.js / Vercel

User-agent: *
Disallow: /api/
Disallow: /_next/
Sitemap: https://example.com/sitemap.xml

В App Router идиоматический подход — генерировать robots.txt программно с помощью app/robots.ts, который экспортирует объект MetadataRoute.Robots. Статический файл в /public/robots.txt тоже работает и имеет приоритет, если оба существуют. Блокируйте /api/, чтобы обработчики маршрутов не попадали в поиск, и /_next/, чтобы исключить артефакты сборки. На Vercel предварительные деплои доступны по уникальным поддоменам; отдавайте отдельный Disallow: / robots.txt в средах предпросмотра, чтобы они не индексировались.

Joomla

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /modules/

Joomla поставляется с файлом robots.txt.dist по умолчанию, который вы копируете в robots.txt при первом деплое. Стандартные правила блокируют панель администратора, директорию кэша и папки основных компонентов и модулей. Новые версии Joomla автогенерируют карты сайта через расширения вроде JSitemap или OSMap, и вам следует добавить получившийся URL директивой Sitemap:.

Распространённые ошибки, вредящие SEO

Большинство проблем с robots.txt — результат собственных ошибок. Описанные ниже паттерны являются причиной большинства инцидентов с органическим трафиком, которые мы наблюдаем в аудитах.

Блокировка CSS и JS. Google рендерит страницы с помощью настоящего движка Chromium уже более десяти лет, а значит, ему нужно получать ваши стили и скрипты, чтобы понять, как страница выглядит на самом деле. Блокировка /css/, /js/ или директории сборки вроде /_next/static/ заставляет Googlebot рендерить сломанную вёрстку. Адаптивность под мобильные устройства, смещение макета и видимость контента ухудшаются, что может негативно сказаться на позициях. Явно разрешайте эти директории, если ваша CMS блокирует их по умолчанию.

Оставшиеся блокировки стейджинга. Строка Disallow: / в продакшне — самая распространённая причина резкой потери трафика за ночь. Как правило, она появляется потому, что разработчик скопировал конфигурацию стейджинга, не обновив специфичные для среды значения. Используйте переменные окружения для задания политики роботов, генерируйте файл во время сборки и сделайте robots.txt для стейджинга отдельным артефактом, который физически не может попасть в продакшн.

Конфликтующие Allow и Disallow. Когда два правила в одной группе User-agent охватывают один и тот же путь, Google применяет наиболее специфичное правило по длине пути. Старые или более простые краулеры обрабатывают правила сверху вниз и берут первое совпадение. Эти две стратегии расходятся достаточно часто, чтобы порождать реальные сюрпризы, поэтому пишите правила так, чтобы результат был одинаковым в обоих случаях: сначала размещайте более специфичные строки Allow, затем более широкие Disallow.

Блокировка вашей карты сайта. Это происходит, когда сайт блокирует /sitemap/, а карта сайта фактически находится по адресу /sitemap.xml. Директива Disallow: /sitemap/ не соответствует файлу /sitemap.xml, но они достаточно похожи, чтобы ошибки при копировании создавали совпадения вроде Disallow: /sitemap. Всегда проверяйте доступность реального URL карты сайта после развёртывания robots.txt.

Неправильное использование Crawl-delay. Googlebot игнорирует Crawl-delay. Bingbot его учитывает. Установка Crawl-delay: 30 на крупном сайте даёт Bing команду получать один URL каждые тридцать секунд, то есть Bing сможет обойти примерно 2 880 URL в день. Для сайта со 100 000 URL это означает более месяца между полными обходами, и актуальность данных падает. Если вам действительно нужно ограничить скорость, используйте настройку скорости обхода в Bing Webmaster Tools и не задавайте Crawl-delay без необходимости.

Безопасность: не полагайтесь на robots.txt для защиты секретов

robots.txt находится в открытом доступе. Любой может открыть https://yourdomain.com/robots.txt в браузере и увидеть каждый указанный там путь. Злоумышленники знают об этом и регулярно получают robots.txt в ходе разведки, поскольку файл нередко прямо указывает на панели администратора, внутренние инструменты, директории с резервными копиями и предварительные разделы сайта.

Указание Disallow: /admin/ не скрывает вашу панель администратора; оно сообщает, что панель администратора существует по адресу /admin/. То же самое справедливо для Disallow: /staging/, Disallow: /old-site/ или любого пути, который вы предпочли бы скрыть от злоумышленников. Если путь должен оставаться приватным, защитите его HTTP-аутентификацией, ограничением по IP или полноценным уровнем авторизации. Веб-сервер должен возвращать 401 или 403 на неаутентифицированные запросы, независимо от содержимого robots.txt.

Когда нужно скрыть страницу от Google, но сам URL не является чувствительным, используйте директиву noindex. Добавьте <meta name="robots" content="noindex"> в <head> страницы или отправьте HTTP-заголовок ответа X-Robots-Tag: noindex. Краулеры должны иметь возможность получить страницу, чтобы увидеть директиву, поэтому оставьте путь доступным для краулинга в robots.txt. Сочетание — доступность для краулинга плюс noindex — исключает URL из индекса, не раскрывая его местоположение никому, кто читает robots.txt.