robots.txt pour les bots d'IA : Guide complet 2026

Le contrôle des robots d'IA commence dans un seul fichier : robots.txt. En ajoutant les directives User-agent correctes pour GPTBot, ClaudeBot et PerplexityBot, vous décidez si les grands modèles linguistiques s'entraînent sur votre contenu ou le citent dans leurs réponses — sans toucher une seule ligne de code serveur.

Qu'est-ce que robots.txt et pourquoi les bots d'IA le lisent-ils ?#

robots.txt est un fichier en texte brut hébergé à la racine de votre domaine (https://yourdomain.com/robots.txt) qui indique aux robots d'indexation les URL auxquelles ils peuvent ou non accéder. Il suit le protocole d'exclusion des robots, une norme de facto initialement conçue pour les moteurs de recherche. Les principaux laboratoires d'IA — OpenAI, Anthropic, Perplexity et autres — se sont engagés à respecter les directives robots.txt pour leurs robots d'indexation d'entraînement et de récupération, ce qui en fait votre première ligne de défense et votre principal mécanisme d'adhésion.

En quoi robots.txt diffère-t-il des balises Meta Robots ?

Un fichier robots.txt fonctionne au niveau de l'exploration : il empêche un bot de récupérer entièrement une URL. Une balise <meta name="robots"> ou un en-tête X-Robots-Tag fonctionne au niveau de l'indexation : le bot récupère la page mais respecte les instructions telles que noindex ou noai. Pour les bots d'IA, vous souhaitez généralement un blocage au niveau de l'exploration (robots.txt) lorsque vous ne voulez aucune exposition du contenu, et des balises au niveau de l'indexation lorsque l'exploration ne vous pose pas de problème, mais pas l'entraînement.

Quels bots d'IA ont des chaînes User-Agent officielles en 2026 ?#

Chaque robot d'IA majeur publie une chaîne user-agent canonique. Utilisez-les exactement — elles sont sensibles à la casse dans la plupart des implémentations.

Remarque : Les chaînes User-agent changent. Vérifiez toujours par rapport à la documentation officielle de chaque opérateur avant de déployer en production.

Comment bloquer tous les bots d'IA avec robots.txt ?#

Pour bloquer tous les robots d'IA répertoriés de l'ensemble de votre site, ajoutez un bloc Disallow par User-agent :

User-agent: GPTBot
Disallow: /

User-agent: ChatGPT-User
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Claude-User
Disallow: /

User-agent: PerplexityBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: cohere-ai
Disallow: /

User-agent: FacebookBot
Disallow: /

User-agent: Applebot-Extended
Disallow: /

Placez ces blocs au-dessus de votre règle générale User-agent: * afin qu'ils soient analysés indépendamment. Ne vous fiez jamais à une règle fourre-tout User-agent: * pour bloquer les bots d'IA, sauf si vous avez vérifié que ces bots n'ont pas de règle plus spécifique dans votre fichier — la spécificité l'emporte.

Comment autoriser les bots d'IA mais bloquer l'entraînement ?#

Certains robots d'IA font la distinction entre un robot d'indexation d'entraînement et un robot d'indexation de récupération (navigation). ChatGPT-User d'OpenAI récupère des pages pour répondre aux questions des utilisateurs en temps réel ; GPTBot récupère des pages pour entraîner de futurs modèles. Si vous souhaitez des citations dans les réponses de ChatGPT sans fournir de données d'entraînement, autorisez l'agent de récupération et bloquez l'agent d'entraînement :

# Bloquer le robot d'indexation d'entraînement
User-agent: GPTBot
Disallow: /

# Autoriser le robot d'indexation de récupération (citations dans ChatGPT)
User-agent: ChatGPT-User
Allow: /

Appliquez la même logique pour Anthropic : bloquez ClaudeBot, autorisez Claude-User.

Comment bloquer partiellement les robots d'IA par répertoire ?#

Vous n'êtes pas obligé de choisir le tout ou rien. Interdisez des chemins spécifiques tout en laissant le reste ouvert :

User-agent: GPTBot
Disallow: /members/
Disallow: /premium-content/
Disallow: /api/
Allow: /blog/
Allow: /

Cela permet de garder votre blog gratuit accessible pour les citations d'IA tout en protégeant les répertoires payants ou propriétaires. L'ordre des règles Allow et Disallow dans un bloc est important — la plupart des analyseurs appliquent le chemin correspondant le plus long, alors soyez explicite.

Qu'est-ce que Google-Extended et faut-il le bloquer ?#

Google-Extended est le jeton dédié de Google pour contrôler si votre contenu entraîne des modèles Gemini et la fonctionnalité AI Overviews de Google. Il est distinct de Googlebot. Le blocage de Google-Extended n'affecte pas votre classement dans la recherche Google ni votre budget d'exploration — Googlebot continue d'indexer vos pages normalement. Si vous bloquez Google-Extended, votre contenu peut apparaître moins fréquemment comme source dans AI Overviews.

# Bloquer uniquement l'entraînement Gemini/AI Overviews
User-agent: Google-Extended
Disallow: /

# Googlebot n'est pas affecté — classement préservé
User-agent: Googlebot
Allow: /

Comment vérifier que votre robots.txt fonctionne ?#

La vérification comporte trois niveaux :

1. Vérification de la syntaxe — Collez votre fichier dans le testeur robots.txt de Google Search Console ou dans un validateur autonome. Recherchez les erreurs d'analyse et les règles conflictuelles.
2. Analyse du fichier journal — Filtrez les journaux d'accès de votre serveur pour les chaînes User-agent du bot d'IA. Si un bot que vous avez bloqué apparaît toujours, il se peut qu'il usurpe son User-agent (robots.txt ne lie que les robots d'indexation conformes).
3. Audit tiers — Les outils comme le générateur de robots SeoChatAI vous permettent de créer, de prévisualiser et de valider vos directives de bot d'IA avant le déploiement, ce qui réduit les erreurs de configuration.

Que se passe-t-il si un bot d'IA ignore robots.txt ?#

robots.txt n'est pas juridiquement exécutoire en soi — c'est un protocole, pas un pare-feu. Les opérateurs conformes comme OpenAI, Anthropic et Perplexity se sont publiquement engagés à le respecter, mais il n'existe aucun mécanisme technique empêchant un robot d'indexation non conforme d'ignorer le fichier. Pour une protection plus forte, envisagez :

• La limitation du débit par plage d'adresses IP — Les laboratoires d'IA publient leurs plages d'adresses IP de robots d'indexation ; bloquez-les au niveau du CDN ou du WAF.
• Le blocage des bots d'IA de Cloudflare — Le « Bot Fight Mode » de Cloudflare inclut un blocage des robots d'IA en un clic depuis 2024.
• Les conditions d'utilisation — Un langage explicite des conditions d'utilisation interdisant le scraping ajoute une couche juridique en plus de robots.txt.
• llms.txt — Une convention plus récente (consultez notre guide sur qu'est-ce que llms.txt) qui indique aux systèmes d'IA quel contenu vous souhaitez ou non utiliser dans l'inférence.

Modèle robots.txt : Configuration équilibrée pour 2026#

Le modèle suivant bloque tous les robots d'indexation d'entraînement, autorise tous les robots d'indexation de récupération, protège les répertoires privés et préserve l'indexation normale des moteurs de recherche :

# ==========================================
# Robots d'indexation d'entraînement d'IA — Bloqués
# ==========================================
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: cohere-ai
Disallow: /

User-agent: Applebot-Extended
Disallow: /

# ==========================================
# Robots d'indexation de récupération d'IA — Autorisés
# ==========================================
User-agent: ChatGPT-User
Allow: /

User-agent: Claude-User
Allow: /

User-agent: PerplexityBot
Allow: /

# ==========================================
# Moteurs de recherche — Accès complet
# ==========================================
User-agent: Googlebot
Allow: /

User-agent: Bingbot
Allow: /

# ==========================================
# Règle de repli globale
# ==========================================
User-agent: *
Disallow: /private/
Disallow: /api/
Disallow: /members/

Sitemap: https://yourdomain.com/sitemap.xml

Vous pouvez générer une version personnalisée de ce fichier à l'aide du générateur de robots SeoChatAI, qui maintient la liste des User-agent à jour et valide automatiquement votre syntaxe.

Erreurs courantes à éviter#

• Fusionner les règles de bot d'IA dans User-agent: * — Cela s'applique à tous les bots, y compris Googlebot. Utilisez toujours des agents nommés.
• Utiliser Disallow: sans chemin — Un Disallow: vide signifie « tout autoriser », pas « tout bloquer ». Utilisez Disallow: / pour bloquer l'ensemble du site.
• Oublier ChatGPT-User lors du blocage de GPTBot — Ce sont des agents distincts. Le blocage de l'un ne bloque pas l'autre.
• Ne pas ajouter de directive Sitemap: — Les bots de récupération d'IA utilisent les sitemaps pour découvrir efficacement le contenu. Incluez-le.
• Mettre en cache des fichiers obsolètes — Si votre CDN met en cache robots.txt, les nouvelles directives ne se propageront pas immédiatement. Définissez une durée de vie courte (≤ 1 heure) sur ce fichier.

Points clés à retenir#

• Les robots d'indexation d'entraînement et les robots d'indexation de récupération utilisent des chaînes User-agent différentes — contrôlez-les séparément.
• Google-Extended bloque l'entraînement Gemini sans toucher au classement dans la recherche Google.
• robots.txt est le moyen le plus rapide et le moins risqué de contrôler l'accès au contenu de l'IA — déployez-le avant toute autre solution.
• Associez robots.txt à la surveillance des journaux et au blocage au niveau de l'adresse IP pour une couverture complète contre les bots non conformes.