Générateur Robots.txt Gratuit

Qu'est-ce que robots.txt et pourquoi est-ce important ?

robots.txt est un fichier texte brut servi depuis la racine de votre domaine qui implémente le protocole d'exclusion des robots (REP). Lorsqu'un robot d'exploration atteint votre site, il demande https://yourdomain.com/robots.txt avant toute autre URL et utilise les règles qu'il contient pour décider quels chemins il peut récupérer. Ce protocole est une convention publique, et non un standard imposé, ce qui signifie que les bots bien configurés comme Googlebot, Bingbot et la plupart des outils SEO légitimes le respectent, tandis que les scrapers malveillants peuvent l'ignorer totalement.

Le fichier est une demande, pas un mur. Il ne bloque pas les humains, ne restreint pas l'accès au niveau HTTP et ne fournit aucune garantie de sécurité. N'importe qui peut récupérer votre robots.txt directement dans un navigateur et lire chaque chemin que vous y avez listé. Traitez-le comme un document public. Si un chemin est sensible, protégez-le par authentification, pas avec une ligne Disallow.

robots.txt ne supprime pas non plus les pages des résultats de recherche. Une URL bloquée dans robots.txt peut tout de même apparaître dans l'index de Google si d'autres sites y font référence. Google affichera l'URL sans extrait, car il ne peut pas récupérer la page pour en lire le contenu. Pour exclure complètement une page de l'index, laissez-la explorable et ajoutez une directive noindex via une balise meta ou un en-tête X-Robots-Tag.

La catastrophe de production la plus courante avec robots.txt est une seule ligne : Disallow: /. Elle bloque tous les chemins du site. C'est la valeur par défaut dans de nombreux environnements de recette pour empêcher les robots d'indexer des URLs de développement, et elle se retrouve en production par accident plus souvent qu'aucun SEO ne voudrait l'admettre. En quelques heures, le trafic organique commence à chuter à mesure que Google retire les pages de son index. Comparez toujours le robots.txt de production avec celui de recette avant chaque déploiement, et traitez ce fichier comme un artefact versionné dans votre système de contrôle de source.

Comment utiliser ce générateur

Le générateur est conçu pour vous amener d'un fichier vierge à un robots.txt validé et prêt pour la production en moins d'une minute.

Étape 1 — Choisissez un préréglage CMS. Sélectionnez la plateforme correspondant à votre stack : WordPress, Shopify, Next.js, Joomla, ou commencez avec un modèle vierge. Chaque préréglage charge l'ensemble standard de règles pour cette plateforme, notamment les répertoires généralement bloqués et l'emplacement du sitemap couramment utilisé par ce CMS.

Étape 2 — Personnalisez les règles. Ajoutez ou supprimez des chemins Allow et Disallow, regroupez les règles par User-agent (utilisez * pour tous les robots, ou ciblez des bots spécifiques comme Googlebot ou Bingbot), et ajoutez une directive Sitemap pointant vers l'URL de votre sitemap. Si vous devez limiter la vitesse d'un robot spécifique, ajoutez une ligne Crawl-delay, mais sachez que Googlebot l'ignore.

Étape 3 — Validez par rapport à votre site en production. Saisissez votre domaine : le validateur récupère votre /robots.txt existant, analyse les deux fichiers et affiche le diff. Vous voyez exactement quels chemins changent de statut, quelles règles entrent en conflit et si votre référence de sitemap est accessible. C'est seulement à ce moment que vous copiez le résultat et le déployez.

Le résultat est du texte brut, formaté exactement comme l'analyseur de Google l'attend :

User-agent: *
Disallow: /admin/
Allow: /admin/public/
Sitemap: https://example.com/sitemap.xml

Configurations courantes par CMS

WordPress

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-includes/
Sitemap: https://example.com/sitemap_index.xml

Le répertoire wp-admin contient le panneau d'administration et ne doit pas être exploré, mais admin-ajax.php est utilisé par des fonctionnalités front-end comme la recherche dans le thème et la soumission de commentaires, il est donc explicitement autorisé. wp-includes contient des fichiers PHP du cœur de WordPress qui n'ont aucune valeur SEO. Le chemin du sitemap sitemap_index.xml est celui par défaut de Yoast SEO et Rank Math, qui génèrent le fichier dynamiquement ; si vous utilisez un plugin SEO différent ou un sitemap statique, ajustez l'URL.

Shopify

User-agent: *
Disallow: /admin
Disallow: /cart
Disallow: /orders
Disallow: /checkout
Disallow: /search

Shopify fournit un robots.txt par défaut qui bloque déjà /admin, /cart, /orders et /checkout pour exclure les pages transactionnelles et de compte des résultats de recherche. Depuis 2021, Shopify vous permet de remplacer ce fichier en créant un template robots.txt.liquid dans votre thème. Bloquer /search est facultatif mais courant, car les pages de résultats de recherche produisent un contenu mince et quasi-dupliqué qui peut diluer votre budget d'exploration.

Next.js / Vercel

User-agent: *
Disallow: /api/
Disallow: /_next/
Sitemap: https://example.com/sitemap.xml

Avec l'App Router, l'approche idiomatique consiste à générer robots.txt par programmation avec app/robots.ts, qui exporte un objet MetadataRoute.Robots. Un fichier statique dans /public/robots.txt fonctionne également et prend la priorité si les deux coexistent. Bloquez /api/ pour exclure les gestionnaires de routes de la recherche et /_next/ pour ignorer les artefacts de build. Sur Vercel, les déploiements de prévisualisation sont exposés sur des sous-domaines uniques ; servez un Disallow: / distinct dans robots.txt sur les environnements de prévisualisation pour éviter qu'ils soient indexés.

Joomla

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /modules/

Joomla est livré avec un fichier robots.txt.dist par défaut que vous copiez en robots.txt lors du premier déploiement. Les règles standard bloquent le panneau d'administration, le répertoire de cache, et les dossiers de composants et modules du cœur. Les versions récentes de Joomla génèrent automatiquement des sitemaps via des extensions comme JSitemap ou OSMap ; vous devez ajouter l'URL résultante avec une directive Sitemap:.

Erreurs courantes qui nuisent au SEO

La plupart des dommages causés par robots.txt sont auto-infligés. Les schémas ci-dessous sont à l'origine de la majorité des incidents de trafic organique constatés lors d'audits.

Bloquer CSS et JS. Google rend les pages avec un vrai moteur Chromium depuis plus d'une décennie, ce qui signifie qu'il doit récupérer vos feuilles de style et scripts pour comprendre l'apparence réelle de vos pages. Bloquer /css/, /js/, ou un répertoire de build comme /_next/static/ pousse Googlebot à rendre une mise en page cassée. La compatibilité mobile, le cumulative layout shift et la visibilité du contenu se dégradent, et le classement peut chuter en conséquence. Autorisez explicitement ces répertoires si votre CMS les bloque par défaut.

Blocs de recette oubliés. Une ligne Disallow: / en production est la cause la plus fréquente de perte de trafic du jour au lendemain. Elle arrive généralement parce qu'un développeur a copié une configuration de recette sans mettre à jour les valeurs spécifiques à l'environnement. Utilisez des variables d'environnement pour définir la politique robots, générez le fichier au moment du build, et faites du robots de recette un artefact distinct qui ne peut physiquement pas être livré en production.

Conflits entre Allow et Disallow. Lorsque deux règles dans le même groupe User-agent couvrent le même chemin, Google utilise la règle la plus spécifique par longueur de chemin. Les robots plus anciens ou plus simples traitent les règles de haut en bas et prennent la première correspondance. Ces deux stratégies divergent suffisamment souvent pour causer de vraies surprises : rédigez les règles de sorte que le résultat soit identique dans les deux cas — listez d'abord les lignes Allow plus spécifiques, puis les lignes Disallow plus larges.

Bloquer votre sitemap. Cela arrive quand un site bloque /sitemap/ alors que le sitemap se trouve réellement à /sitemap.xml. La directive Disallow: /sitemap/ ne correspond pas au fichier /sitemap.xml, mais la proximité est suffisante pour que des erreurs de copier-coller créent des correspondances comme Disallow: /sitemap. Vérifiez toujours que l'URL du sitemap en production est accessible après avoir déployé robots.txt.

Mauvaise utilisation de Crawl-delay. Googlebot ignore Crawl-delay. Bingbot le respecte. Définir Crawl-delay: 30 sur un grand site indique à Bing de récupérer une URL toutes les trente secondes, soit environ 2 880 URLs par jour. Pour un site avec 100 000 URLs, cela représente plus d'un mois entre deux explorations complètes, et la fraîcheur des données chute. Utilisez le paramètre de vitesse d'exploration de Bing Webmaster Tools si vous avez réellement besoin de limiter le débit, et omettez Crawl-delay dans les autres cas.

Sécurité : ne comptez pas sur robots.txt pour protéger des secrets

robots.txt est lisible publiquement. N'importe qui peut ouvrir https://yourdomain.com/robots.txt dans un navigateur et voir chaque chemin que vous y avez listé. Les attaquants le savent et récupèrent systématiquement robots.txt lors d'une phase de reconnaissance, car ce fichier pointe souvent directement vers des panneaux d'administration, des outils internes, des répertoires de sauvegarde et des sections en pré-lancement.

Lister Disallow: /admin/ ne cache pas votre panneau d'administration ; cela annonce qu'un panneau d'administration existe à /admin/. Il en va de même pour Disallow: /staging/, Disallow: /old-site/, ou tout chemin que vous préféreriez que les attaquants ne découvrent pas. Si un chemin doit rester privé, protégez-le par authentification HTTP, liste d'autorisation d'IP, ou une vraie couche d'autorisation. Le serveur web doit retourner 401 ou 403 aux requêtes non authentifiées, indépendamment de ce que dit robots.txt.

Lorsque vous souhaitez exclure une page de Google sans que l'URL elle-même soit sensible, utilisez la directive noindex. Ajoutez <meta name="robots" content="noindex"> dans le <head> de la page, ou envoyez un en-tête HTTP X-Robots-Tag: noindex. Les robots doivent pouvoir récupérer la page pour voir la directive, laissez donc le chemin explorable dans robots.txt. La combinaison — explorable avec noindex — maintient l'URL hors de l'index sans révéler son emplacement à quiconque lisant robots.txt.