robots.txt pentru boții AI: Ghid complet 2026

Controlul crawlerilor AI începe cu un singur fișier: robots.txt. Adăugând directivele User-agent corecte pentru GPTBot, ClaudeBot și PerplexityBot, Вы decideți dacă modelele lingvistice ample se antrenează pe conținutul Вы sau îl citează în răspunsuri — fără a modifica o singură linie de cod pe server.

Ce este robots.txt și de ce îl citesc boții AI?#

robots.txt este un fișier text simplu, găzduit la rădăcina domeniului dvs. (https://yourdomain.com/robots.txt), care le spune crawlerilor la ce URL-uri pot sau nu pot accesa. Acesta respectă Robots Exclusion Protocol, un standard de facto conceput inițial pentru motoarele de căutare. Laboratoarele majore de AI — OpenAI, Anthropic, Perplexity și altele — s-au angajat să respecte directivele robots.txt pentru crawlerii lor de antrenament și recuperare, făcându-l prima dvs. linie de apărare și mecanismul dvs. primar de optare.

Cum diferă robots.txt de Meta Robots Tags?

Un fișier robots.txt funcționează la nivel de crawl: oprește un bot să acceseze complet un URL. O etichetă <meta name="robots"> sau un antet X-Robots-Tag funcționează la nivel de indexare: bot-ul accesează pagina, dar respectă instrucțiuni precum noindex sau noai. Pentru boții AI, de obicei, doriți blocarea la nivel de crawl (robots.txt) atunci când doriți o expunere zero a conținutului și etichete la nivel de indexare atunci când sunteți de acord cu crawling-ul, dar nu și cu antrenamentul.

Ce boți AI au șiruri User-Agent oficiale în 2026?#

Fiecare crawler AI important publică un șir user-agent canonic. Folosiți-le exact — sunt sensibile la majuscule și minuscule în majoritatea implementărilor.

Notă: Șirurile User-agent se schimbă. Verificați întotdeauna cu documentația oficială a fiecărui operator înainte de a implementa în producție.

Cum blocați toți boții AI cu robots.txt?#

Pentru a bloca fiecare crawler AI listat de pe întregul dvs. site, adăugați un bloc Disallow pentru fiecare user-agent:

User-agent: GPTBot
Disallow: /

User-agent: ChatGPT-User
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Claude-User
Disallow: /

User-agent: PerplexityBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: cohere-ai
Disallow: /

User-agent: FacebookBot
Disallow: /

User-agent: Applebot-Extended
Disallow: /

Așezați aceste blocuri deasupra regulii dvs. generale User-agent: *, astfel încât să fie analizate independent. Nu vă bazați niciodată pe o regulă universală User-agent: * pentru a bloca boții AI, decât dacă ați verificat că acești boți nu au o regulă mai specifică în fișierul dvs. — specificitatea câștigă.

Cum permiteți boții AI, dar blocați antrenamentul?#

Unii crawleri AI fac distincție între un crawler de antrenament și un crawler de recuperare (browse). ChatGPT-User de la OpenAI accesează pagini pentru a răspunde la întrebările utilizatorilor în timp real; GPTBot accesează pagini pentru a antrena modele viitoare. Dacă doriți citări în răspunsurile ChatGPT fără a contribui cu date de antrenament, permiteți agentul de recuperare și blocați agentul de antrenament:

# Blochează crawlerul de antrenament
User-agent: GPTBot
Disallow: /

# Permite crawlerul de recuperare (citări în ChatGPT)
User-agent: ChatGPT-User
Allow: /

Aplicați aceeași logică pentru Anthropic: blocați ClaudeBot, permiteți Claude-User.

Cum blocați parțial crawlerii AI după director?#

Nu trebuie să alegeți totul sau nimic. Nu permiteți anumite căi, lăsând restul deschis:

User-agent: GPTBot
Disallow: /members/
Disallow: /premium-content/
Disallow: /api/
Allow: /blog/
Allow: /

Acest lucru păstrează blogul Вы gratuit accesibil pentru citările AI, protejând în același timp directoarele cu plată sau proprietare. Ordinea regulilor Allow și Disallow într-un bloc contează — majoritatea parserelor aplică cea mai lungă cale de potrivire, așa că fiți explicit.

Ce este Google-Extended și ar trebui să-l blocați?#

Google-Extended este simbolul dedicat al Google pentru a controla dacă conținutul Вы antrenează modelele Gemini și funcția AI Overviews a Google. Este separat de Googlebot. Blocarea Google-Extended nu afectează clasamentele căutării Google sau bugetul de crawl — Googlebot continuă să vă indexeze paginile în mod normal. Dacă blocați Google-Extended, conținutul Вы poate apărea mai rar ca sursă în AI Overviews.

# Blochează doar antrenamentul Gemini/AI Overviews
User-agent: Google-Extended
Disallow: /

# Googlebot nu este afectat — clasamentele sunt păstrate
User-agent: Googlebot
Allow: /

Cum verificați dacă robots.txt funcționează?#

Verificarea are trei straturi:

1. Verificarea sintaxei — Lipiți fișierul în instrumentul de testare robots.txt al Google Search Console sau într-un validator de sine stătător. Căutați erori de analiză și reguli conflictuale.
2. Analiza fișierului jurnal — Filtrați jurnalele de acces ale serverului dvs. pentru șirurile user-agent ale botului AI. Dacă un bot pe care l-ați blocat încă apare, este posibil să își falsifice user-agent-ul (robots.txt leagă doar crawlerii conformi).
3. Audit terță parte — Instrumente precum generatorul de roboți SeoChatAI vă permit să construiți, să previzualizați și să vă validați directivele de boți AI înainte de implementare, reducând erorile de configurare.

Ce se întâmplă dacă un bot AI ignoră robots.txt?#

robots.txt nu este opozabil legal de unul singur — este un protocol, nu un firewall. Operatorii conformi, precum OpenAI, Anthropic și Perplexity, s-au angajat public să îl respecte, dar nu există niciun mecanism tehnic care să împiedice un crawler neconform să ignore fișierul. Pentru o protecție mai puternică, luați în considerare:

• Limitarea ratei după intervalul IP — Laboratoarele AI publică intervalele IP ale crawlerului lor; blocați-le la nivelul CDN sau WAF.
• Blocarea boților AI de la Cloudflare — "Bot Fight Mode" de la Cloudflare include o blocare a boților AI cu un singur clic începând cu 2024.
• Termeni și condiții — Limbajul explicit din Termeni și condiții care interzice scraping-ul adaugă un strat legal deasupra robots.txt.
• llms.txt — O convenție mai nouă (consultați ghidul nostru despre ce este llms.txt) care spune sistemelor AI ce conținut doriți sau nu doriți să fie utilizat în inferență.

Șablon robots.txt: Configurare echilibrată pentru 2026#

Următorul șablon blochează toți crawlerii de antrenament, permite toți crawlerii de recuperare, protejează directoarele private și păstrează crawling-ul normal al motorului de căutare:

# ==========================================
# Crawleri AI de antrenament — Blocați
# ==========================================
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: cohere-ai
Disallow: /

User-agent: Applebot-Extended
Disallow: /

# ==========================================
# Crawleri AI de recuperare — Permiși
# ==========================================
User-agent: ChatGPT-User
Allow: /

User-agent: Claude-User
Allow: /

User-agent: PerplexityBot
Allow: /

# ==========================================
# Motoare de căutare — Acces complet
# ==========================================
User-agent: Googlebot
Allow: /

User-agent: Bingbot
Allow: /

# ==========================================
# Rezervă globală
# ==========================================
User-agent: *
Disallow: /private/
Disallow: /api/
Disallow: /members/

Sitemap: https://yourdomain.com/sitemap.xml

Puteți genera o versiune personalizată a acestui fișier folosind generatorul de roboți SeoChatAI, care păstrează lista user-agent-ilor actualizată și vă validează sintaxa automat.

Greșeli comune de evitat#

• Îmbinarea regulilor boților AI în User-agent: * — Aceasta se aplică fiecărui bot, inclusiv Googlebot. Folosiți întotdeauna agenți numiți.
• Folosirea Disallow: fără cale — Un Disallow: gol înseamnă "permite totul", nu "blochează totul". Folosiți Disallow: / pentru a bloca întregul site.
• Uitați de ChatGPT-User când blocați GPTBot — Sunt agenți separați. Blocarea unuia nu-l blochează pe celălalt.
• Nu adăugați o directivă Sitemap: — Boții AI de recuperare folosesc sitemap-uri pentru a descoperi conținut eficient. Includeți-o.
• Stocarea în cache a fișierelor învechite — Dacă rețeaua dvs. CDN stochează în cache robots.txt, noile directive nu se vor propaga imediat. Setați un TTL scurt (≤1 oră) pentru acest fișier.

Principalele concluzii#

• Crawlerii de antrenament și crawlerii de recuperare folosesc șiruri user-agent diferite — controlați-i separat.
• Google-Extended blochează antrenamentul Gemini fără a afecta clasamentele Google Search.
• robots.txt este cea mai rapidă modalitate cu cel mai mic risc de a controla accesul la conținutul AI — implementați-o înainte de orice altă soluție.
• Asociați robots.txt cu monitorizarea jurnalelor și blocarea la nivel de IP pentru o acoperire completă împotriva boților neconformi.