robots.txt für KI-Bots: Vollständiger Leitfaden 2026

Die Steuerung von KI-Crawlern beginnt in einer einzigen Datei: robots.txt. Indem Sie die richtigen User-agent-Direktiven für GPTBot, ClaudeBot und PerplexityBot hinzufügen, entscheiden Sie, ob große Sprachmodelle mit Ihren Inhalten trainiert werden oder diese in Antworten zitieren – ohne eine einzige Zeile Server-Code anzurühren.

Was ist robots.txt und warum lesen KI-Bots diese?#

robots.txt ist eine Klartextdatei, die im Stammverzeichnis Ihrer Domain gehostet wird (https://yourdomain.com/robots.txt) und Crawlern mitteilt, auf welche URLs sie zugreifen dürfen und auf welche nicht. Sie folgt dem Robots Exclusion Protocol, einem De-facto-Standard, der ursprünglich für Suchmaschinen entwickelt wurde. Die großen KI-Labore – OpenAI, Anthropic, Perplexity und andere – haben sich verpflichtet, die robots.txt-Direktiven für ihre Trainings- und Retrieval-Crawler zu befolgen. Dies macht sie zu Ihrer ersten Verteidigungslinie und Ihrem primären Opt-in-Mechanismus.

Wie unterscheidet sich robots.txt von Meta-Robots-Tags?

Eine robots.txt-Datei arbeitet auf der Crawl-Ebene: Sie hindert einen Bot daran, eine URL überhaupt abzurufen. Ein <meta name="robots">-Tag oder ein X-Robots-Tag-Header arbeitet auf der Indexierungsebene: Der Bot ruft die Seite ab, berücksichtigt aber Anweisungen wie noindex oder noai. Für KI-Bots wollen Sie normalerweise eine Blockierung auf Crawl-Ebene (robots.txt), wenn Sie keine Inhaltsverbreitung wünschen, und Tags auf Indexebene, wenn Sie mit dem Crawlen einverstanden sind, aber nicht mit dem Training.

Welche KI-Bots haben offizielle User-Agent-Strings im Jahr 2026?#

Jeder größere KI-Crawler veröffentlicht einen kanonischen User-Agent-String. Verwenden Sie diese exakt – in den meisten Implementierungen wird zwischen Groß- und Kleinschreibung unterschieden.

Hinweis: User-Agent-Strings ändern sich. Überprüfen Sie diese immer anhand der offiziellen Dokumentation des jeweiligen Betreibers, bevor Sie sie in der Produktion einsetzen.

Wie blockiert man alle KI-Bots mit robots.txt?#

Um jeden aufgeführten KI-Crawler von Ihrer gesamten Website zu blockieren, fügen Sie für jeden User-Agent einen Disallow-Block hinzu:

User-agent: GPTBot
Disallow: /

User-agent: ChatGPT-User
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Claude-User
Disallow: /

User-agent: PerplexityBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: cohere-ai
Disallow: /

User-agent: FacebookBot
Disallow: /

User-agent: Applebot-Extended
Disallow: /

Platzieren Sie diese Blöcke oberhalb Ihrer allgemeinen User-agent: *-Regel, damit sie unabhängig voneinander analysiert werden. Verlassen Sie sich niemals auf eine Catch-all-Regel User-agent: *, um KI-Bots zu blockieren, es sei denn, Sie haben überprüft, dass diese Bots keine spezifischere Regel in Ihrer Datei haben – die Spezifität gewinnt.

Wie erlaubt man KI-Bots, blockiert aber das Training?#

Einige KI-Crawler unterscheiden zwischen einem Trainings-Crawler und einem Retrieval-(Browse-)Crawler. Der ChatGPT-User von OpenAI ruft Seiten ab, um Benutzerfragen in Echtzeit zu beantworten; GPTBot ruft Seiten ab, um zukünftige Modelle zu trainieren. Wenn Sie Zitate in ChatGPT-Antworten wünschen, ohne Trainingsdaten beizusteuern, erlauben Sie den Retrieval-Agenten und blockieren Sie den Trainings-Agenten:

# Trainings-Crawler blockieren
User-agent: GPTBot
Disallow: /

# Retrieval-Crawler erlauben (Zitate in ChatGPT)
User-agent: ChatGPT-User
Allow: /

Wenden Sie die gleiche Logik für Anthropic an: Blockieren Sie ClaudeBot, erlauben Sie Claude-User.

Wie blockiert man KI-Crawler teilweise nach Verzeichnis?#

Sie müssen sich nicht für alles oder nichts entscheiden. Verbieten Sie bestimmte Pfade, während Sie den Rest offen lassen:

User-agent: GPTBot
Disallow: /members/
Disallow: /premium-content/
Disallow: /api/
Allow: /blog/
Allow: /

Dies hält Ihren kostenlosen Blog für KI-Zitate zugänglich, während es gleichzeitig kostenpflichtige oder proprietäre Verzeichnisse schützt. Die Reihenfolge der Allow- und Disallow-Regeln innerhalb eines Blocks ist wichtig – die meisten Parser wenden den längsten übereinstimmenden Pfad an, seien Sie also explizit.

Was ist Google-Extended und sollte man es blockieren?#

Google-Extended ist Googles dediziertes Token, um zu steuern, ob Ihre Inhalte Gemini-Modelle und Googles AI Overviews-Funktion trainieren. Es ist getrennt von Googlebot. Das Blockieren von Google-Extended hat keine Auswirkungen auf Ihr Google Search-Ranking oder Ihr Crawl-Budget – Googlebot indexiert Ihre Seiten weiterhin normal. Wenn Sie Google-Extended blockieren, werden Ihre Inhalte möglicherweise seltener als Quelle in AI Overviews angezeigt.

# Nur Gemini/AI Overviews-Training blockieren
User-agent: Google-Extended
Disallow: /

# Googlebot ist nicht betroffen – Rankings bleiben erhalten
User-agent: Googlebot
Allow: /

Wie überprüfen Sie, ob Ihre robots.txt funktioniert?#

Die Überprüfung erfolgt in drei Schritten:

1. Syntaxprüfung – Fügen Sie Ihre Datei in den robots.txt-Tester der Google Search Console oder einen eigenständigen Validator ein. Suchen Sie nach Syntaxfehlern und widersprüchlichen Regeln.
2. Logfile-Analyse – Filtern Sie Ihre Server-Zugriffsprotokolle nach den User-Agent-Strings der KI-Bots. Wenn ein Bot, den Sie blockiert haben, dennoch auftaucht, kann es sein, dass er seinen User-Agent fälscht (robots.txt bindet nur konforme Crawler).
3. Audit durch Dritte – Tools wie der SeoChatAI Robots Generator ermöglichen es Ihnen, Ihre KI-Bot-Direktiven vor dem Einsatz zu erstellen, in der Vorschau anzuzeigen und zu validieren, wodurch Konfigurationsfehler reduziert werden.

Was passiert, wenn ein KI-Bot robots.txt ignoriert?#

robots.txt ist an sich nicht rechtsverbindlich – es ist ein Protokoll, keine Firewall. Konforme Betreiber wie OpenAI, Anthropic und Perplexity haben sich öffentlich dazu verpflichtet, es zu respektieren, aber es gibt keinen technischen Mechanismus, der einen nicht-konformen Crawler daran hindert, die Datei zu ignorieren. Für einen stärkeren Schutz sollten Sie Folgendes in Betracht ziehen:

• Rate-Limiting nach IP-Bereich – KI-Labore veröffentlichen ihre Crawler-IP-Bereiche; blockieren Sie diese auf der CDN- oder WAF-Ebene.
• Cloudflares KI-Bot-Block – Der "Bot Fight Mode" von Cloudflare enthält seit 2024 einen Ein-Klick-KI-Crawler-Block.
• Nutzungsbedingungen – Eine explizite ToS-Formulierung, die das Scraping verbietet, fügt eine rechtliche Ebene zusätzlich zu robots.txt hinzu.
• llms.txt – Eine neuere Konvention (siehe unseren Leitfaden Was ist llms.txt), die KI-Systemen mitteilt, welche Inhalte Sie für die Inferenz verwenden möchten und welche nicht.

robots.txt-Vorlage: Ausgewogene Konfiguration für 2026#

Die folgende Vorlage blockiert alle Trainings-Crawler, erlaubt alle Retrieval-Crawler, schützt private Verzeichnisse und bewahrt das normale Suchmaschinen-Crawling:

# ==========================================
# KI-Trainings-Crawler — Blockiert
# ==========================================
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: cohere-ai
Disallow: /

User-agent: Applebot-Extended
Disallow: /

# ==========================================
# KI-Retrieval-Crawler — Erlaubt
# ==========================================
User-agent: ChatGPT-User
Allow: /

User-agent: Claude-User
Allow: /

User-agent: PerplexityBot
Allow: /

# ==========================================
# Suchmaschinen — Voller Zugriff
# ==========================================
User-agent: Googlebot
Allow: /

User-agent: Bingbot
Allow: /

# ==========================================
# Globaler Fallback
# ==========================================
User-agent: *
Disallow: /private/
Disallow: /api/
Disallow: /members/

Sitemap: https://yourdomain.com/sitemap.xml

Sie können mit dem SeoChatAI Robots Generator eine angepasste Version dieser Datei erstellen, die die User-Agent-Liste aktuell hält und Ihre Syntax automatisch validiert.

Häufige Fehler, die Sie vermeiden sollten#

• KI-Bot-Regeln in User-agent: * zusammenführen – Dies gilt für jeden Bot, einschließlich Googlebot. Verwenden Sie immer benannte Agenten.
• Disallow: ohne Pfad verwenden – Ein leeres Disallow: bedeutet "alles erlauben", nicht "alles blockieren". Verwenden Sie Disallow: /, um die gesamte Website zu blockieren.
• ChatGPT-User vergessen, wenn GPTBot blockiert wird – Dies sind separate Agenten. Die Blockierung des einen blockiert nicht den anderen.
• Keine Sitemap:-Direktive hinzufügen – KI-Retrieval-Bots verwenden Sitemaps, um Inhalte effizient zu finden. Fügen Sie sie hinzu.
• Veraltete Dateien zwischenspeichern – Wenn Ihr CDN robots.txt zwischenspeichert, werden neue Direktiven nicht sofort übernommen. Legen Sie eine kurze TTL (≤ 1 Stunde) für diese Datei fest.

Wichtigste Erkenntnisse#

• Trainings-Crawler und Retrieval-Crawler verwenden unterschiedliche User-Agent-Strings – steuern Sie diese separat.
• Google-Extended blockiert das Gemini-Training, ohne die Google Search-Rankings zu berühren.
• robots.txt ist der schnellste und risikoärmste Weg, um den KI-Content-Zugriff zu steuern – setzen Sie es vor jeder anderen Lösung ein.
• Kombinieren Sie robots.txt mit Log-Monitoring und IP-basierter Blockierung, um eine vollständige Abdeckung gegen nicht-konforme Bots zu gewährleisten.