KI-Crawler blockieren, ohne Google-Rankings zu gefährden

Das Blockieren von KI-Trainings-Crawlern ist sicher und präzise, wenn Sie einzelne User-Agent-Strings ansprechen. Googlebot, Bingbot und andere Suchmaschinen-Crawler arbeiten mit völlig anderen User-Agent-Kennungen als GPTBot von OpenAI oder CCBot von Common Crawl – eine gut geschriebene robots.txt blockiert also die eine Gruppe, ohne die andere zu berühren.

Was sind KI-Trainings-Crawler?#

KI-Trainings-Crawler sind Bots, die öffentlich zugängliche Webinhalte scrapen, um Datensätze für große Sprachmodelle (LLMs) zu erstellen. Sie unterscheiden sich von Suchmaschinen-Indexierungs-Bots. Häufige Beispiele sind GPTBot (OpenAI), CCBot (Common Crawl), anthropic-ai (Anthropic) und Google-Extended (der separate KI-Trainings-Crawler von Google, der sich von Googlebot unterscheidet).

Diese Bots respektieren robots.txt-Direktiven – zumindest die wichtigsten von bekannten KI-Laboren. Sie zu blockieren ist eine legitime, weitgehend unterstützte Vorgehensweise.

Warum beeinträchtigt das Blockieren nicht die Google-Rankings?#

Google verwendet Googlebot und Googlebot-Image, um Ihre Inhalte für die Suche zu indexieren. Dies sind völlig separate User-Agent-Strings von Google-Extended, dem User-Agent, den Google speziell für KI-Trainingsprodukte wie Bard und Vertex AI verwendet. Sie können Google-Extended deaktivieren, ohne Ihre Google-Suchrankings zu beeinträchtigen.

Das wichtigste Prinzip: robots.txt-Direktiven sind User-Agent-spezifisch. Eine Disallow-Regel unter User-agent: GPTBot hat keine Auswirkung auf User-agent: Googlebot.

So blockieren Sie KI-Crawler in robots.txt#

Fügen Sie separate User-agent-Blöcke für jeden KI-Crawler hinzu, den Sie ausschließen möchten. Platzieren Sie diese Blöcke nach Ihren bestehenden Googlebot-Regeln, damit es keine Unklarheiten gibt.

# OpenAI-Trainings-Crawler blockieren
User-agent: GPTBot
Disallow: /

# Common Crawl blockieren
User-agent: CCBot
Disallow: /

# Anthropic blockieren
User-agent: anthropic-ai
Disallow: /

# Google KI-Training blockieren (beeinträchtigt NICHT die Google-Suche)
User-agent: Google-Extended
Disallow: /

# Apple KI-Crawler blockieren
User-agent: Applebot-Extended
Disallow: /

Ihre bestehenden Googlebot- und Bingbot-Blöcke bleiben unverändert. Diese KI-spezifischen Blöcke stehen unabhängig daneben.

Schritt-für-Schritt: So fügen Sie die Regeln sicher hinzu

1. Öffnen Sie Ihre aktuelle robots.txt – typischerweise unter https://yourdomain.com/robots.txt.
2. Suchen Sie Ihre bestehenden Suchmaschinen-Regeln – bestätigen Sie, dass Googlebot erlaubt ist oder über bestimmte Pfadberechtigungen verfügt, die Sie beibehalten möchten.
3. Fügen Sie die KI-Crawler-Blöcke hinzu – fügen Sie jedes User-agent / Disallow: /-Paar unterhalb Ihrer bestehenden Regeln hinzu.
4. Validieren Sie die Datei – verwenden Sie den robots.txt-Tester der Google Search Console oder den SeoChatAI robots.txt Generator, um eine saubere Syntax zu bestätigen.
5. Bereitstellen und überprüfen – prüfen Sie, ob https://yourdomain.com/robots.txt HTTP 200 zurückgibt und korrekt gerendert wird.

Welche KI-Crawler sollten Sie blockieren?#

Zu den wichtigsten identifizierbaren KI-Trainings-Crawlern mit dokumentierten User-Agent-Strings gehören:

• GPTBot – Der Trainings-Crawler von OpenAI
• ChatGPT-User – Der Browsing-/Retrieval-Bot von OpenAI (getrennt vom Training)
• CCBot – Common Crawl, der Basisdatensatz für viele Open-Source-LLMs
• anthropic-ai – Der Trainings-Crawler von Anthropic
• Google-Extended – Der Crawler für das KI-Trainingsprodukt von Google
• Applebot-Extended – Die KI-Trainingserweiterung von Apple
• Diffbot – Wird für Knowledge Graph- und KI-Produkttraining verwendet
• FacebookBot – Der Trainings-Crawler von Meta

Hinweis: Einige Scraper respektieren robots.txt überhaupt nicht. Für diese ist die Blockierung auf Serverebene (IP-Bereiche, WAF-Regeln) die einzig verlässliche Option.

Was ist mit Google-Extended vs. Googlebot?#

Diese Unterscheidung ist vor allem für Publisher wichtig, die sich Sorgen um die Sichtbarkeit in der Google-Suche machen. Google hat Google-Extended offiziell als User-Agent für seine generativen KI-Produkte dokumentiert. Das Blockieren verhindert, dass Ihre Inhalte im KI-gestützten Überblickstraining und ähnlichen Produkten verwendet werden – aber Googlebot crawlt und indexiert Ihre Seiten weiterhin normal für die organische Suche.

Wenn Sie sich von KI-gestützten Übersichten abmelden, aber weiterhin vollständig in der Google-Suche indexiert werden möchten, blockieren Sie Google-Extended und lassen Sie Googlebot offen.

So erstellen Sie automatisch eine saubere robots.txt#

Das manuelle Bearbeiten von robots.txt birgt Risiken – ein falsch platzierter Platzhalter oder Einrückungsfehler kann versehentlich Googlebot blockieren. Mit dem SeoChatAI robots.txt Generator können Sie auswählen, welche Crawler Sie zulassen oder blockieren möchten, eine Vorschau der Ausgabe anzeigen und Syntaxfehler vor der Bereitstellung kennzeichnen. Es ist der schnellste Weg, eine korrekte Datei auszuliefern, ohne die RFC-Dokumentation zu lesen.

Können Sie KI-Crawler teilweise (nach Pfad) blockieren?#

Ja. Anstelle von Disallow: / können Sie KI-Crawler auf bestimmte Verzeichnisse beschränken:

User-agent: GPTBot
Disallow: /private/
Disallow: /members/

Dies ermöglicht es GPTBot, Ihre öffentlichen Marketingseiten zu crawlen, während geschützte oder proprietäre Inhalte geschützt werden. Die gleiche Pfadebenensteuerung gilt für jeden User-Agent.

Funktioniert die robots.txt-Blockierung tatsächlich?#

Für seriöse KI-Labore – OpenAI, Anthropic, Google, Apple – ja. Sie haben sich öffentlich dazu verpflichtet, robots.txt zu respektieren. Common Crawl respektiert es seit Jahren. Das Risiko besteht bei kleineren, weniger rechenschaftspflichtigen Scrapern, die robots.txt als optional behandeln. Für diese Akteure kombinieren Sie robots.txt mit:

• Ratenbegrenzung auf Edge-/CDN-Ebene
• IP-Sperrliste unter Verwendung veröffentlichter ASN-Bereiche für bekannte Täter
• WAF-Challenge-Seiten, die durch ungewöhnliche Crawl-Muster ausgelöst werden

Für die großen LLM-Unternehmen ist robots.txt Ihr primäres und ausreichendes Werkzeug.

Wichtigste Erkenntnisse#

• KI-Trainings-Crawler verwenden andere User-Agent-Strings als Googlebot – das Blockieren ist chirurgisch, nicht breit gefächert.
• Google-Extended ist der KI-Trainings-Bot von Google; das Blockieren hat keine Auswirkungen auf die Google-Suchrankings.
• Validieren Sie immer die robots.txt-Syntax, bevor Sie sie bereitstellen – ein Fehler kann den falschen Bot betreffen.
• Seriöse KI-Labore respektieren robots.txt; Schurken-Scraper benötigen Kontrollen auf Serverebene.