Generador Robots.txt Gratuito

¿Qué es robots.txt y por qué importa?

robots.txt es un archivo de texto plano servido desde la raíz de tu dominio que implementa el Protocolo de Exclusión de Robots (REP). Cuando un crawler llega a tu sitio, solicita https://yourdomain.com/robots.txt antes que cualquier otra URL y utiliza las reglas del archivo para decidir qué rutas puede rastrear. El protocolo es una convención pública, no un estándar aplicado, lo que significa que los bots bien comportados como Googlebot, Bingbot y la mayoría de las herramientas SEO legítimas lo respetan, mientras que los scrapers maliciosos pueden ignorarlo por completo.

El archivo es una solicitud, no un muro. No bloquea a los humanos, no restringe el acceso a nivel HTTP y no ofrece ninguna garantía de seguridad. Cualquiera puede obtener tu robots.txt directamente en un navegador y leer cada ruta que hayas listado. Trátalo como un documento público. Si una ruta es sensible, protégela con autenticación, no con una línea Disallow.

robots.txt tampoco elimina páginas de los resultados de búsqueda. Una URL bloqueada en robots.txt puede seguir apareciendo en el índice de Google si otros sitios enlazan a ella. Google mostrará la URL sin fragmento, ya que no puede rastrear la página para leer su contenido. Para mantener una página fuera del índice por completo, déjala rastreable y añade una directiva noindex mediante etiqueta meta o cabecera X-Robots-Tag.

La catástrofe de producción más común con robots.txt es una sola línea: Disallow: /. Esto bloquea todas las rutas del sitio. Es el valor predeterminado en muchos entornos de staging para evitar que los crawlers indexen URLs de desarrollo, y llega a producción por accidente con más frecuencia de la que cualquier SEO quisiera admitir. En cuestión de horas, el tráfico orgánico empieza a caer a medida que Google elimina páginas del índice. Siempre compara el robots.txt de producción con el de staging antes de cada despliegue, y trata el archivo como un artefacto rastreado en el control de versiones.

Cómo usar este generador

El generador está diseñado para llevarte de un archivo en blanco a un robots.txt validado y listo para producción en menos de un minuto.

Paso 1 — Elige un preset de CMS. Selecciona la plataforma que corresponde a tu stack: WordPress, Shopify, Next.js, Joomla, o empieza con una plantilla en blanco. Cada preset carga el conjunto estándar de reglas para esa plataforma, incluidos los directorios que habitualmente se bloquean y la ubicación del sitemap que ese CMS suele utilizar.

Paso 2 — Personaliza las reglas. Añade o elimina rutas Allow y Disallow, agrupa las reglas por User-agent (usa * para todos los crawlers, o apunta a bots específicos como Googlebot o Bingbot), y añade una directiva Sitemap que apunte a la URL de tu sitemap. Si necesitas limitar un crawler específico, añade una línea Crawl-delay, pero ten en cuenta que Googlebot la ignora.

Paso 3 — Valida contra tu sitio en producción. Introduce tu dominio y el validador obtiene tu /robots.txt existente, analiza ambos archivos y muestra la diferencia. Verás exactamente qué rutas cambian de estado, qué reglas entran en conflicto y si tu referencia al sitemap se resuelve correctamente. Solo entonces copia el resultado y despliégalo.

El resultado es texto plano, formateado exactamente como espera el parser de Google:

User-agent: *
Disallow: /admin/
Allow: /admin/public/
Sitemap: https://example.com/sitemap.xml

Patrones comunes por CMS

WordPress

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-includes/
Sitemap: https://example.com/sitemap_index.xml

El directorio wp-admin contiene el panel de administración y no debería rastrearse, pero admin-ajax.php es utilizado por funciones del front-end como la búsqueda de temas y el envío de comentarios, por lo que se permite explícitamente. wp-includes contiene archivos PHP del núcleo que no tienen valor SEO. La ruta del sitemap sitemap_index.xml es la predeterminada tanto para Yoast SEO como para Rank Math, que generan el archivo de forma dinámica; si usas un plugin SEO diferente o un sitemap estático, ajusta la URL.

Shopify

User-agent: *
Disallow: /admin
Disallow: /cart
Disallow: /orders
Disallow: /checkout
Disallow: /search

Shopify incluye un robots.txt predeterminado que ya bloquea /admin, /cart, /orders y /checkout para mantener las páginas transaccionales y de cuenta fuera de los resultados de búsqueda. Desde 2021, Shopify permite sobrescribir el archivo creando una plantilla robots.txt.liquid en tu tema. Bloquear /search es opcional pero habitual, ya que las páginas de resultados de búsqueda generan contenido escaso y casi duplicado que puede diluir tu presupuesto de rastreo.

Next.js / Vercel

User-agent: *
Disallow: /api/
Disallow: /_next/
Sitemap: https://example.com/sitemap.xml

En el App Router, el enfoque idiomático es generar robots.txt de forma programática con app/robots.ts, que exporta un objeto MetadataRoute.Robots. Un archivo estático en /public/robots.txt también funciona y tiene precedencia si ambos existen. Bloquea /api/ para mantener los manejadores de rutas fuera de la búsqueda y /_next/ para omitir los artefactos de compilación. En Vercel, los despliegues de vista previa se exponen en subdominios únicos; sirve un robots.txt con Disallow: / independiente en los entornos de vista previa para evitar que sean indexados.

Joomla

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /modules/

Joomla incluye un archivo robots.txt.dist predeterminado que copias a robots.txt en el primer despliegue. Las reglas estándar bloquean el panel de administración, el directorio de caché y las carpetas de componentes y módulos del núcleo. Las versiones más recientes de Joomla generan sitemaps automáticamente a través de extensiones como JSitemap u OSMap, y deberías añadir la URL resultante con una directiva Sitemap:.

Errores comunes que perjudican el SEO

La mayoría del daño en robots.txt es autoinfligido. Los patrones siguientes provocan la mayor parte de los incidentes de tráfico orgánico que vemos en las auditorías.

Bloquear CSS y JS. Google lleva más de una década renderizando páginas con un motor Chromium real, lo que significa que necesita obtener tus hojas de estilo y scripts para entender cómo se ve realmente tu página. Bloquear /css/, /js/ o un directorio de compilación como /_next/static/ hace que Googlebot renderice un diseño roto. La compatibilidad con dispositivos móviles, el desplazamiento de diseño y la visibilidad del contenido se degradan, y el posicionamiento puede caer en consecuencia. Permite estos directorios explícitamente si tu CMS los bloquea por defecto.

Bloques de staging olvidados. Una línea Disallow: / en producción es la causa más común de pérdida de tráfico de un día para otro. Suele aparecer porque un desarrollador copió una configuración de staging sin actualizar los valores específicos del entorno. Usa variables de entorno para establecer la política de robots, genera el archivo en el momento de la compilación y convierte el robots de staging en un artefacto separado que físicamente no pueda llegar a producción.

Conflictos entre Allow y Disallow. Cuando dos reglas en el mismo grupo User-agent cubren la misma ruta, Google usa la regla más específica según la longitud de la ruta. Los crawlers más antiguos o simples procesan las reglas de arriba a abajo y toman la primera coincidencia. Las dos estrategias discrepan con suficiente frecuencia como para causar sorpresas en el mundo real, así que escribe las reglas de modo que el resultado sea el mismo en ambos casos: lista primero las líneas Allow más específicas y luego las líneas Disallow más amplias.

Bloquear tu sitemap. Ocurre cuando un sitio bloquea /sitemap/ y el sitemap en realidad está en /sitemap.xml. La directiva Disallow: /sitemap/ no coincide con el archivo /sitemap.xml, pero la similitud es suficiente para que los errores de copiar y pegar creen coincidencias como Disallow: /sitemap. Verifica siempre que la URL del sitemap en producción sea accesible después de desplegar robots.txt.

Usar mal Crawl-delay. Googlebot ignora Crawl-delay. Bingbot sí lo respeta. Configurar Crawl-delay: 30 en un sitio grande le indica a Bing que obtenga una URL cada treinta segundos, lo que significa que Bing puede rastrear aproximadamente 2.880 URLs al día. Para un sitio con 100.000 URLs, eso supone más de un mes entre rastreos completos y la frescura del contenido se resiente. Usa la configuración de velocidad de rastreo de Bing Webmaster Tools si realmente necesitas limitar el rastreo, y omite Crawl-delay en los demás casos.

Seguridad: no confíes en robots.txt para proteger secretos

robots.txt es de lectura pública. Cualquiera puede abrir https://yourdomain.com/robots.txt en un navegador y ver cada ruta que hayas listado. Los atacantes lo saben y habitualmente obtienen robots.txt como paso de reconocimiento, porque el archivo suele apuntar directamente a paneles de administración, herramientas internas, directorios de copias de seguridad y secciones previas al lanzamiento.

Listar Disallow: /admin/ no oculta tu panel de administración; anuncia que existe un panel de administración en /admin/. Lo mismo aplica a Disallow: /staging/, Disallow: /old-site/ o cualquier ruta que preferirías que los atacantes no descubrieran. Si una ruta debe mantenerse privada, protégela con autenticación HTTP, listas de IPs permitidas o una capa de autorización real. El servidor web debe devolver 401 o 403 a las solicitudes no autenticadas, independientemente de lo que diga robots.txt.

Cuando quieras mantener una página fuera de Google pero la URL en sí no sea sensible, usa la directiva noindex. Añade <meta name="robots" content="noindex"> en el <head> de la página, o envía una cabecera de respuesta HTTP X-Robots-Tag: noindex. Los crawlers deben poder rastrear la página para ver la directiva, así que deja la ruta rastreable en robots.txt. La combinación —rastreable más noindex— mantiene la URL fuera del índice sin revelar su ubicación a quien lea robots.txt.