Kostenloses Robots.txt-Generator

Was ist robots.txt und warum ist sie wichtig?

robots.txt ist eine einfache Textdatei, die vom Stammverzeichnis deiner Domain bereitgestellt wird und das Robots Exclusion Protocol (REP) implementiert. Wenn ein Crawler deine Website erreicht, ruft er https://yourdomain.com/robots.txt vor jeder anderen URL ab und nutzt die darin enthaltenen Regeln, um zu entscheiden, welche Pfade er abrufen darf. Das Protokoll ist eine öffentliche Konvention, kein durchgesetzter Standard – das bedeutet, wohlverhaltende Bots wie Googlebot, Bingbot und die meisten seriösen SEO-Tools halten sich daran, während böswillige Scraper es vollständig ignorieren können.

Die Datei ist eine Bitte, keine Mauer. Sie blockiert keine Menschen, schränkt den Zugriff nicht auf HTTP-Ebene ein und bietet keinerlei Sicherheitsgarantie. Jeder kann deine robots.txt direkt im Browser abrufen und jeden darin aufgeführten Pfad lesen. Behandle sie als öffentliches Dokument. Ist ein Pfad sensibel, schütze ihn durch Authentifizierung – nicht durch eine Disallow-Zeile.

robots.txt entfernt auch keine Seiten aus den Suchergebnissen. Eine in robots.txt gesperrte URL kann trotzdem im Index von Google erscheinen, wenn andere Websites auf sie verlinken. Google zeigt dann die URL ohne Snippet an, da die Seite nicht abgerufen werden kann. Um eine Seite vollständig aus dem Index fernzuhalten, lasse sie crawlbar und füge eine noindex-Direktive per Meta-Tag oder X-Robots-Tag-Header hinzu.

Die häufigste Produktionskatastrophe mit robots.txt ist eine einzige Zeile: Disallow: /. Diese sperrt jeden Pfad der Website. Sie ist in vielen Staging-Umgebungen standardmäßig gesetzt, um zu verhindern, dass Crawler Entwicklungs-URLs indexieren – und landet häufiger als jeder SEO zugeben möchte versehentlich in der Produktion. Innerhalb weniger Stunden beginnt der organische Traffic zu sinken, da Google Seiten aus dem Index entfernt. Vergleiche die robots.txt der Produktion immer mit der des Stagings vor jedem Deployment, und behandle die Datei als nachverfolgtes Artefakt in der Versionsverwaltung.

So verwendest du diesen Generator

Der Generator ist darauf ausgelegt, dich in unter einer Minute von einer leeren Datei zu einer validierten, produktionsfertigen robots.txt zu bringen.

Schritt 1 — CMS-Vorlage auswählen. Wähle die Plattform, die zu deinem Stack passt: WordPress, Shopify, Next.js, Joomla oder starte mit einer leeren Vorlage. Jede Vorlage lädt den Standardsatz an Regeln für diese Plattform, einschließlich der üblicherweise gesperrten Verzeichnisse und des von diesem CMS standardmäßig verwendeten Sitemap-Pfads.

Schritt 2 — Regeln anpassen. Füge Allow- und Disallow-Pfade hinzu oder entferne sie, gruppiere Regeln nach User-agent (verwende * für alle Crawler oder ziele auf bestimmte Bots wie Googlebot oder Bingbot ab), und füge eine Sitemap-Direktive mit deiner Sitemap-URL hinzu. Wenn du einen bestimmten Crawler drosseln möchtest, füge eine Crawl-delay-Zeile ein – beachte jedoch, dass Googlebot diese ignoriert.

Schritt 3 — Gegen die Live-Site validieren. Gib deine Domain ein, und der Validator ruft deine vorhandene /robots.txt ab, parst beide Dateien und zeigt den Diff an. Du siehst genau, welche Pfade ihren Status ändern, welche Regeln in Konflikt stehen und ob deine Sitemap-Referenz auflösbar ist. Erst dann kopierst du die Ausgabe und deployest sie.

Die Ausgabe ist reiner Text, formatiert genau so, wie Googles Parser es erwartet:

User-agent: *
Disallow: /admin/
Allow: /admin/public/
Sitemap: https://example.com/sitemap.xml

Häufige Muster nach CMS

WordPress

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-includes/
Sitemap: https://example.com/sitemap_index.xml

Das Verzeichnis wp-admin enthält das Admin-Panel und sollte nicht gecrawlt werden, aber admin-ajax.php wird von Frontend-Funktionen wie Theme-Suche und Kommentarübermittlung verwendet und ist daher explizit erlaubt. wp-includes enthält PHP-Kerndateien ohne SEO-Wert. Der Sitemap-Pfad sitemap_index.xml ist der Standard für Yoast SEO und Rank Math, die die Datei dynamisch erzeugen. Wenn du ein anderes SEO-Plugin oder eine statische Sitemap verwendest, passe die URL an.

Shopify

User-agent: *
Disallow: /admin
Disallow: /cart
Disallow: /orders
Disallow: /checkout
Disallow: /search

Shopify liefert eine Standard-robots.txt aus, die /admin, /cart, /orders und /checkout bereits sperrt, um transaktionale und Account-Seiten aus den Suchergebnissen fernzuhalten. Seit 2021 erlaubt Shopify das Überschreiben der Datei durch eine robots.txt.liquid-Vorlage im Theme. Das Sperren von /search ist optional, aber verbreitet, da Suchergebnisseiten dünnen, nahezu duplizierten Content erzeugen, der das Crawl-Budget verwässern kann.

Next.js / Vercel

User-agent: *
Disallow: /api/
Disallow: /_next/
Sitemap: https://example.com/sitemap.xml

Im App Router besteht der idiomatische Ansatz darin, robots.txt programmatisch mit app/robots.ts zu generieren, die ein MetadataRoute.Robots-Objekt exportiert. Eine statische Datei unter /public/robots.txt funktioniert ebenfalls und hat Vorrang, wenn beide vorhanden sind. Sperre /api/, um Route Handler aus der Suche herauszuhalten, und /_next/, um Build-Artefakte zu überspringen. Auf Vercel werden Vorschau-Deployments unter eindeutigen Subdomains bereitgestellt; stelle eine separate Disallow: /-robots.txt in Vorschau-Umgebungen bereit, um deren Indexierung zu verhindern.

Joomla

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /modules/

Joomla wird mit einer Standard-robots.txt.dist-Datei ausgeliefert, die du beim ersten Deployment nach robots.txt kopierst. Die Standardregeln sperren das Admin-Panel, das Cache-Verzeichnis sowie die Kern-Komponenten- und Modulordner. Neuere Joomla-Versionen erzeugen Sitemaps automatisch über Erweiterungen wie JSitemap oder OSMap; füge die resultierende URL mit einer Sitemap:-Direktive hinzu.

Häufige Fehler, die SEO schaden

Der meiste robots.txt-Schaden ist selbst verursacht. Die folgenden Muster verursachen den Großteil der organischen Traffic-Vorfälle, die wir bei Audits sehen.

CSS und JS sperren. Google rendert Seiten seit über einem Jahrzehnt mit einer echten Chromium-Engine – das bedeutet, es muss deine Stylesheets und Skripte abrufen, um zu verstehen, wie deine Seite tatsächlich aussieht. Das Sperren von /css/, /js/ oder einem Build-Verzeichnis wie /_next/static/ führt dazu, dass Googlebot ein defektes Layout rendert. Mobile-Freundlichkeit, Layout-Verschiebung und Content-Sichtbarkeit verschlechtern sich, und Rankings können entsprechend sinken. Erlaube diese Verzeichnisse explizit, wenn dein CMS sie standardmäßig sperrt.

Verbliebene Staging-Sperren. Eine Disallow: /-Zeile in der Produktion ist die häufigste Ursache für über-Nacht-Traffic-Verluste. Sie landet dort meist, weil ein Entwickler eine Staging-Konfiguration kopiert hat, ohne die umgebungsspezifischen Werte zu aktualisieren. Verwende Umgebungsvariablen für die Robots-Policy, generiere die Datei zur Build-Zeit und mache die Staging-robots zu einem separaten Artefakt, das physisch nicht in die Produktion geliefert werden kann.

Konfligierende Allow- und Disallow-Regeln. Wenn zwei Regeln in derselben User-agent-Gruppe denselben Pfad abdecken, verwendet Google die spezifischste Regel gemessen an der Pfadlänge. Ältere oder einfachere Crawler verarbeiten Regeln von oben nach unten und nehmen den ersten Treffer. Beide Strategien stimmen oft genug nicht überein, um reale Überraschungen zu verursachen. Schreibe Regeln daher so, dass das Ergebnis auf beide Weisen gleich ist: Liste spezifischere Allow-Zeilen zuerst, dann breitere Disallow-Zeilen.

Die Sitemap sperren. Das passiert, wenn eine Website /sitemap/ sperrt und die Sitemap tatsächlich unter /sitemap.xml liegt. Die Direktive Disallow: /sitemap/ trifft die Datei /sitemap.xml nicht, aber sie ist nah genug, dass Copy-Paste-Fehler Treffer wie Disallow: /sitemap erzeugen. Überprüfe immer, ob die Live-Sitemap-URL nach dem Deployment von robots.txt erreichbar ist.

Crawl-delay missbrauchen. Googlebot ignoriert Crawl-delay. Bingbot hält es ein. Crawl-delay: 30 auf einer großen Website anzugeben, weist Bing an, alle dreißig Sekunden eine URL abzurufen – das bedeutet, Bing kann etwa 2.880 URLs pro Tag crawlen. Bei einer Website mit 100.000 URLs dauert ein vollständiger Crawl über einen Monat, und die Aktualität sinkt. Verwende die Crawl-Rate-Einstellung in den Bing Webmaster Tools, wenn du tatsächlich drosseln musst, und lasse Crawl-delay sonst weg.

Sicherheit: Verlasse dich nicht auf robots.txt für Geheimnisse

robots.txt ist öffentlich lesbar. Jeder kann https://yourdomain.com/robots.txt im Browser öffnen und jeden darin aufgeführten Pfad sehen. Angreifer wissen das und rufen robots.txt routinemäßig als Aufklärungsschritt ab, weil die Datei oft direkt auf Admin-Panels, interne Tools, Backup-Verzeichnisse und Pre-Launch-Bereiche hinweist.

Disallow: /admin/ zu listen verbirgt dein Admin-Panel nicht – es macht bekannt, dass unter /admin/ ein Admin-Panel existiert. Dasselbe gilt für Disallow: /staging/, Disallow: /old-site/ oder jeden Pfad, den Angreifer lieber nicht entdecken sollen. Wenn ein Pfad privat bleiben muss, schütze ihn mit HTTP-Authentifizierung, IP-Allowlisting oder einer echten Autorisierungsschicht. Der Webserver sollte nicht authentifizierten Anfragen 401 oder 403 zurückgeben, unabhängig davon, was robots.txt sagt.

Wenn du eine Seite aus Google heraushalten möchtest, die URL selbst aber nicht sensibel ist, verwende die noindex-Direktive. Füge <meta name="robots" content="noindex"> im <head> der Seite ein oder sende einen X-Robots-Tag: noindex-HTTP-Response-Header. Crawler müssen die Seite abrufen können, um die Direktive zu sehen, lasse den Pfad also in robots.txt crawlbar. Die Kombination – crawlbar plus noindex – hält die URL aus dem Index heraus, ohne ihren Speicherort für jeden sichtbar zu machen, der robots.txt liest.