robots.txt para bots de IA: Guía completa 2026

El control de los rastreadores de IA comienza en un archivo: robots.txt. Al agregar las directivas User-agent correctas para GPTBot, ClaudeBot y PerplexityBot, usted decide si los modelos de lenguaje grande se entrenan con su contenido o lo citan en las respuestas, sin tocar una sola línea de código del servidor.

¿Qué es robots.txt y por qué lo leen los bots de IA?#

robots.txt es un archivo de texto sin formato alojado en la raíz de su dominio (https://yourdomain.com/robots.txt) que indica a los rastreadores a qué URL pueden o no pueden acceder. Sigue el Protocolo de Exclusión de Robots, un estándar de facto diseñado originalmente para los motores de búsqueda. Los principales laboratorios de IA (OpenAI, Anthropic, Perplexity y otros) se han comprometido a respetar las directivas robots.txt para sus rastreadores de entrenamiento y recuperación, lo que lo convierte en su primera línea de defensa y su principal mecanismo de inclusión voluntaria.

¿En qué se diferencia robots.txt de las metaetiquetas de robots?

Un archivo robots.txt opera a nivel de rastreo: impide que un bot obtenga una URL por completo. Una etiqueta <meta name="robots"> o un encabezado X-Robots-Tag opera a nivel de indexación: el bot obtiene la página, pero respeta instrucciones como noindex o noai. Para los bots de IA, normalmente se desea el bloqueo a nivel de rastreo (robots.txt) cuando se desea una exposición cero del contenido, y las etiquetas a nivel de índice cuando está de acuerdo con el rastreo, pero no con el entrenamiento.

¿Qué bots de IA tienen cadenas User-Agent oficiales en 2026?#

Cada rastreador de IA importante publica una cadena de agente de usuario canónica. Utilice estos exactamente; distinguen entre mayúsculas y minúsculas en la mayoría de las implementaciones.

Note: Las cadenas de agente de usuario cambian. Siempre verifique con la documentación oficial de cada operador antes de implementar en producción.

¿Cómo bloquear todos los bots de IA con robots.txt?#

Para bloquear cada rastreador de IA enumerado de todo su sitio, agregue un bloque Disallow por agente de usuario:

User-agent: GPTBot
Disallow: /

User-agent: ChatGPT-User
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Claude-User
Disallow: /

User-agent: PerplexityBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: cohere-ai
Disallow: /

User-agent: FacebookBot
Disallow: /

User-agent: Applebot-Extended
Disallow: /

Coloque estos bloques encima de su regla general User-agent: * para que se analicen de forma independiente. Nunca confíe en un User-agent: * de tipo catch-all para bloquear los bots de IA a menos que haya verificado que esos bots no tienen una regla más específica en su archivo: la especificidad gana.

¿Cómo permitir los bots de IA pero bloquear el entrenamiento?#

Algunos rastreadores de IA distinguen entre un rastreador de entrenamiento y un rastreador de recuperación (navegación). ChatGPT-User de OpenAI busca páginas para responder a las preguntas de los usuarios en tiempo real; GPTBot busca páginas para entrenar modelos futuros. Si desea citas en las respuestas de ChatGPT sin contribuir con datos de entrenamiento, permita el agente de recuperación y bloquee el agente de entrenamiento:

# Bloquear rastreador de entrenamiento
User-agent: GPTBot
Disallow: /

# Permitir rastreador de recuperación (citas en ChatGPT)
User-agent: ChatGPT-User
Allow: /

Aplique la misma lógica para Anthropic: bloquee ClaudeBot, permita Claude-User.

¿Cómo bloquear parcialmente los rastreadores de IA por directorio?#

No tiene que elegir todo o nada. No permita rutas específicas mientras deja el resto abierto:

User-agent: GPTBot
Disallow: /members/
Disallow: /premium-content/
Disallow: /api/
Allow: /blog/
Allow: /

Esto mantiene su blog gratuito accesible para citas de IA al tiempo que protege los directorios de pago o patentados. El orden de las reglas Allow y Disallow dentro de un bloque importa: la mayoría de los analizadores aplican la ruta coincidente más larga, así que sea explícito.

¿Qué es Google-Extended y debería bloquearlo?#

Google-Extended es el token dedicado de Google para controlar si su contenido entrena modelos Gemini y la función de IA Overviews de Google. Es independiente de Googlebot. El bloqueo de Google-Extended no afecta a sus clasificaciones de búsqueda de Google ni al presupuesto de rastreo: Googlebot continúa indexando sus páginas normalmente. Si bloquea Google-Extended, su contenido puede aparecer con menos frecuencia como fuente en las IA Overviews.

# Bloquear solo el entrenamiento de Gemini/AI Overviews
User-agent: Google-Extended
Disallow: /

# Googlebot no se ve afectado: las clasificaciones se conservan
User-agent: Googlebot
Allow: /

¿Cómo verificar que su robots.txt está funcionando?#

La verificación tiene tres capas:

1. Verificación de sintaxis: pegue su archivo en el probador robots.txt de Google Search Console o en un validador independiente. Busque errores de análisis y reglas en conflicto.
2. Análisis de archivos de registro: filtre los registros de acceso a su servidor para las cadenas de agente de usuario de bot de IA. Si aparece un bot que bloqueó, es posible que esté suplantando su agente de usuario (robots.txt solo vincula a los rastreadores compatibles).
3. Auditoría de terceros: herramientas como el generador de robots de SeoChatAI le permiten crear, previsualizar y validar sus directivas de bot de IA antes de la implementación, lo que reduce los errores de configuración.

¿Qué sucede si un bot de IA ignora robots.txt?#

robots.txt no es legalmente ejecutable por sí solo: es un protocolo, no un firewall. Los operadores compatibles como OpenAI, Anthropic y Perplexity se han comprometido públicamente a respetarlo, pero no existe un mecanismo técnico que impida que un rastreador no compatible ignore el archivo. Para una mayor protección, considere lo siguiente:

• Limitación de velocidad por rango de IP: los laboratorios de IA publican sus rangos de IP de rastreadores; bloquéelos en la capa CDN o WAF.
• Bloqueo de bots de IA de Cloudflare: el "Modo de lucha contra bots" de Cloudflare incluye un bloqueo de rastreador de IA con un solo clic a partir de 2024.
• Términos de servicio: el lenguaje ToS explícito que prohíbe el scraping agrega una capa legal sobre robots.txt.
• llms.txt: una convención más reciente (consulte nuestra guía sobre qué es llms.txt) que indica a los sistemas de IA qué contenido desea y no desea que se utilice en la inferencia.

Plantilla de robots.txt: configuración equilibrada para 2026#

La siguiente plantilla bloquea todos los rastreadores de entrenamiento, permite todos los rastreadores de recuperación, protege los directorios privados y conserva el rastreo normal de los motores de búsqueda:

# ==========================================
# Rastreadores de entrenamiento de IA: bloqueados
# ==========================================
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: cohere-ai
Disallow: /

User-agent: Applebot-Extended
Disallow: /

# ==========================================
# Rastreadores de recuperación de IA: permitidos
# ==========================================
User-agent: ChatGPT-User
Allow: /

User-agent: Claude-User
Allow: /

User-agent: PerplexityBot
Allow: /

# ==========================================
# Motores de búsqueda: acceso completo
# ==========================================
User-agent: Googlebot
Allow: /

User-agent: Bingbot
Allow: /

# ==========================================
# Fallback global
# ==========================================
User-agent: *
Disallow: /private/
Disallow: /api/
Disallow: /members/

Sitemap: https://yourdomain.com/sitemap.xml

Puede generar una versión personalizada de este archivo utilizando el generador de robots de SeoChatAI, que mantiene la lista de agentes de usuario actualizada y valida su sintaxis automáticamente.

Errores comunes que se deben evitar#

• Combinar reglas de bots de IA en User-agent: *: esto se aplica a todos los bots, incluido Googlebot. Utilice siempre agentes con nombre.
• Usar Disallow: sin ruta: un Disallow: vacío significa "permitir todo", no "bloquear todo". Use Disallow: / para bloquear todo el sitio.
• Olvidar ChatGPT-User al bloquear GPTBot: son agentes separados. Bloquear uno no bloquea al otro.
• No agregar una directiva Sitemap:: los bots de recuperación de IA utilizan mapas de sitio para descubrir contenido de manera eficiente. Inclúyalo.
• Almacenar en caché archivos obsoletos: si su CDN almacena en caché robots.txt, las nuevas directivas no se propagarán de inmediato. Establezca un TTL corto (≤1 hora) en este archivo.

Conclusiones clave#

• Los rastreadores de entrenamiento y los rastreadores de recuperación utilizan diferentes cadenas de agente de usuario: contrólelos por separado.
• Google-Extended bloquea el entrenamiento de Gemini sin tocar las clasificaciones de búsqueda de Google.
• robots.txt es la forma más rápida y de menor riesgo de controlar el acceso al contenido de IA: implemente antes que cualquier otra solución.
• Combine robots.txt con la supervisión de registros y el bloqueo a nivel de IP para una cobertura completa contra bots no compatibles.