Generator Robots.txt Gratuit

Ce este robots.txt și de ce contează?

robots.txt este un fișier text simplu servit de la rădăcina domeniului tău care implementează Protocolul de Excludere a Roboților (REP). Când un crawler ajunge pe site-ul tău, solicită https://yourdomain.com/robots.txt înaintea oricărei alte adrese URL și folosește regulile din interior pentru a decide ce căi poate accesa. Protocolul este o convenție publică, nu un standard impus, ceea ce înseamnă că boții bine-comportați precum Googlebot, Bingbot și majoritatea instrumentelor SEO legitime îl respectă, în timp ce scraperele malițioase îl pot ignora complet.

Fișierul este o solicitare, nu un zid. Nu blochează oamenii, nu restricționează accesul la nivel HTTP și nu oferă nicio garanție de securitate. Oricine poate accesa robots.txt direct într-un browser și poate citi fiecare cale pe care ai listat-o. Tratează-l ca pe un document public. Dacă o cale este sensibilă, protejează-o cu autentificare, nu cu o linie Disallow.

robots.txt nu elimină nici paginile din rezultatele de căutare. Un URL dezautorizat în robots.txt poate apărea în continuare în indexul Google dacă alte site-uri fac linkuri către el. Google va afișa URL-ul fără fragment, deoarece nu poate accesa pagina pentru a-i citi conținutul. Pentru a ține o pagină complet în afara indexului, las-o crawlabilă și adaugă o directivă noindex prin meta tag sau antet X-Robots-Tag.

Cea mai frecventă catastrofă de producție cu robots.txt este o singură linie: Disallow: /. Aceasta blochează fiecare cale de pe site. Este setarea implicită în multe medii de staging pentru a împiedica crawlerele să indexeze URL-uri de dezvoltare, și ajunge în producție din greșeală mai des decât și-ar dori orice specialist SEO. În câteva ore, traficul organic începe să scadă pe măsură ce Google elimină paginile din index. Compară întotdeauna robots.txt de producție cu cel de staging înaintea fiecărui deploy și tratează fișierul ca pe un artefact urmărit în controlul versiunilor.

Cum să folosești acest generator

Generatorul este conceput să te ducă de la un fișier gol la un robots.txt validat, gata de producție, în mai puțin de un minut.

Pasul 1 — Alege o presetare CMS. Selectează platforma care se potrivește cu stack-ul tău: WordPress, Shopify, Next.js, Joomla, sau începe cu un șablon gol. Fiecare presetare încarcă setul standard de reguli pentru acea platformă, inclusiv directoarele dezautorizate de obicei și locația sitemap-ului folosită frecvent de acel CMS.

Pasul 2 — Personalizează regulile. Adaugă sau elimină căi Allow și Disallow, grupează regulile pe User-agent (folosește * pentru toți crawlerele, sau vizează boți specifici precum Googlebot sau Bingbot) și adaugă o directivă Sitemap care să indice URL-ul sitemap-ului tău. Dacă trebuie să limitezi un crawler specific, adaugă o linie Crawl-delay, dar reține că Googlebot o ignoră.

Pasul 3 — Validează față de site-ul tău live. Introdu domeniul tău și validatorul preia /robots.txt-ul tău existent, parsează ambele fișiere și afișează diferențele. Vei vedea exact ce căi își schimbă statusul, care reguli sunt în conflict și dacă referința sitemap-ului se rezolvă. Abia atunci copiezi rezultatul și îl deploy-ezi.

Rezultatul este text simplu, formatat exact cum se așteaptă parserul Google:

User-agent: *
Disallow: /admin/
Allow: /admin/public/
Sitemap: https://example.com/sitemap.xml

Tipare comune pe CMS

WordPress

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-includes/
Sitemap: https://example.com/sitemap_index.xml

Directorul wp-admin conține panoul de administrare și nu ar trebui crawlat, dar admin-ajax.php este folosit de funcționalități front-end precum căutarea temei și trimiterea comentariilor, deci este permis explicit. wp-includes conține fișierele PHP de bază care nu au nicio valoare SEO. Calea sitemap-ului sitemap_index.xml este cea implicită atât pentru Yoast SEO, cât și pentru Rank Math, care generează fișierul dinamic; dacă folosești un alt plugin SEO sau un sitemap static, ajustează URL-ul.

Shopify

User-agent: *
Disallow: /admin
Disallow: /cart
Disallow: /orders
Disallow: /checkout
Disallow: /search

Shopify livrează un robots.txt implicit care blochează deja /admin, /cart, /orders și /checkout pentru a ține paginile tranzacționale și de cont în afara rezultatelor de căutare. Din 2021, Shopify îți permite să suprascrii fișierul creând un șablon robots.txt.liquid în tema ta. Dezautorizarea /search este opțională, dar frecventă, deoarece paginile cu rezultate de căutare produc conținut subțire, aproape duplicat, care poate dilua bugetul de crawlare.

Next.js / Vercel

User-agent: *
Disallow: /api/
Disallow: /_next/
Sitemap: https://example.com/sitemap.xml

În App Router, abordarea idiomatică este să generezi robots.txt programatic cu app/robots.ts, care exportă un obiect MetadataRoute.Robots. Un fișier static în /public/robots.txt funcționează de asemenea și are prioritate dacă ambele există. Dezautorizează /api/ pentru a ține route handler-ele din căutare și /_next/ pentru a omite artefactele de build. Pe Vercel, deployment-urile de previzualizare sunt expuse la subdomenii unice; servește un robots.txt separat cu Disallow: / pe mediile de previzualizare pentru a preveni indexarea lor.

Joomla

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /modules/

Joomla vine cu un fișier implicit robots.txt.dist pe care îl copiezi în robots.txt la primul deploy. Regulile standard blochează panoul de administrare, directorul de cache și folderele de componente și module de bază. Versiunile mai noi de Joomla generează automat sitemap-uri prin extensii precum JSitemap sau OSMap, iar tu ar trebui să adaugi URL-ul rezultat cu o directivă Sitemap:.

Greșeli frecvente care afectează SEO

Majoritatea daunelor provocate de robots.txt sunt auto-infligiate. Tiparele de mai jos cauzează majoritatea incidentelor de trafic organic pe care le vedem în audituri.

Blocarea CSS și JS. Google redă paginile cu un motor Chromium real de peste un deceniu, ceea ce înseamnă că trebuie să acceseze stilurile și scripturile tale pentru a înțelege cum arată pagina în realitate. Blocarea /css/, /js/ sau a unui director de build precum /_next/static/ face ca Googlebot să redea un layout defect. Compatibilitatea mobilă, schimbarea layout-ului și vizibilitatea conținutului se degradează toate, iar clasamentele pot scădea în consecință. Permite explicit aceste directoare dacă CMS-ul tău le blochează implicit.

Blocuri de staging rămase. O linie Disallow: / în producție este cea mai frecventă cauză de pierdere de trafic peste noapte. De obicei apare pentru că un dezvoltator a copiat o configurație de staging fără a actualiza valorile specifice mediului. Folosește variabile de mediu pentru a seta politica de roboți, generează fișierul la momentul build-ului și fă din robots-ul de staging un artefact separat care nu poate fi livrat fizic în producție.

Allow și Disallow în conflict. Când două reguli din același grup User-agent acoperă aceeași cale, Google folosește regula cea mai specifică după lungimea căii. Crawlerele mai vechi sau mai simple procesează regulile de sus în jos și iau prima potrivire. Cele două strategii diferă suficient de des pentru a crea surprize reale, deci scrie regulile astfel încât rezultatul să fie același în ambele cazuri: listează mai întâi regulile Allow mai specifice, apoi regulile Disallow mai generale.

Blocarea sitemap-ului tău. Se întâmplă când un site dezautorizează /sitemap/ iar sitemap-ul se află de fapt la /sitemap.xml. Directiva Disallow: /sitemap/ nu se potrivește cu fișierul /sitemap.xml, dar este suficient de apropiată încât erorile de copiere-lipire creează potriviri precum Disallow: /sitemap. Verifică întotdeauna că URL-ul sitemap-ului live este accesibil după deployment-ul robots.txt.

Utilizarea greșită a Crawl-delay. Googlebot ignoră Crawl-delay. Bingbot îl respectă. Setarea Crawl-delay: 30 pe un site mare îi spune lui Bing să acceseze un URL la fiecare treizeci de secunde, ceea ce înseamnă că Bing poate crawla aproximativ 2.880 de URL-uri pe zi. Pentru un site cu 100.000 de URL-uri, asta înseamnă peste o lună între crawlări complete, iar prospețimea scade. Folosește setarea de rată de crawlare din Bing Webmaster Tools dacă ai cu adevărat nevoie să limitezi, și lasă Crawl-delay în afară altfel.

Securitate: nu te baza pe robots.txt pentru secrete

robots.txt este citibil public. Oricine poate deschide https://yourdomain.com/robots.txt într-un browser și poate vedea fiecare cale pe care ai listat-o. Atacatorii știu acest lucru și accesează în mod obișnuit robots.txt ca pas de recunoaștere, deoarece fișierul indică adesea direct spre panouri de administrare, instrumente interne, directoare de backup și secțiuni pre-lansare.

Listarea Disallow: /admin/ nu ascunde panoul tău de administrare; anunță că există un panou de administrare la /admin/. Același lucru se aplică pentru Disallow: /staging/, Disallow: /old-site/ sau orice cale pe care ai prefera ca atacatorii să nu o descopere. Dacă o cale trebuie să rămână privată, pune-o în spatele autentificării HTTP, al listei de IP-uri permise sau al unui strat real de autorizare. Serverul web ar trebui să returneze 401 sau 403 la solicitările neautentificate, indiferent de ce spune robots.txt.

Când vrei să ții o pagină departe de Google, dar URL-ul în sine nu este sensibil, folosește directiva noindex. Adaugă <meta name="robots" content="noindex"> în <head>-ul paginii sau trimite un antet de răspuns HTTP X-Robots-Tag: noindex. Crawlerele trebuie să poată accesa pagina pentru a vedea directiva, deci lasă calea crawlabilă în robots.txt. Combinația — crawlabilă plus noindex — ține URL-ul în afara indexului fără a dezvălui locația sa oricui citește robots.txt.