Bloquea los rastreadores de IA sin perjudicar el ranking de Google

Bloquear los rastreadores de entrenamiento de IA es seguro y preciso cuando se apunta a cadenas de user-agent individuales. Googlebot, Bingbot y otros rastreadores de motores de búsqueda operan bajo identificadores de user-agent completamente diferentes a los de GPTBot de OpenAI o CCBot de Common Crawl; por lo tanto, un robots.txt bien escrito bloquea un grupo sin tocar al otro.

¿Qué son los rastreadores de entrenamiento de IA?#

Los rastreadores de entrenamiento de IA son bots que rastrean contenido web de acceso público para crear conjuntos de datos para grandes modelos de lenguaje (LLM). Son distintos de los bots de indexación de motores de búsqueda. Algunos ejemplos comunes son GPTBot (OpenAI), CCBot (Common Crawl), anthropic-ai (Anthropic) y Google-Extended (el rastreador de entrenamiento de IA independiente de Google, diferente de Googlebot).

Estos bots respetan las directivas de robots.txt; al menos los principales de los laboratorios de IA más conocidos. Bloquearlos es una práctica legítima y ampliamente respaldada.

¿Por qué bloquearlos no afecta el ranking de Google?#

Google usa Googlebot y Googlebot-Image para indexar tu contenido para la Búsqueda. Estas son cadenas de user-agent completamente separadas de Google-Extended, que es el user-agent que Google utiliza específicamente para productos de entrenamiento de IA como Bard y Vertex AI. Puedes rechazar Google-Extended sin afectar en absoluto tu ranking en la Búsqueda de Google.

El principio clave: las directivas de robots.txt son específicas del user-agent. Una regla Disallow bajo User-agent: GPTBot no tiene ningún efecto en User-agent: Googlebot.

Cómo bloquear rastreadores de IA en robots.txt#

Añade bloques User-agent separados para cada rastreador de IA que quieras excluir. Coloca estos bloques después de tus reglas de Googlebot existentes para que no haya ambigüedad.

# Bloquea el rastreador de entrenamiento de OpenAI
User-agent: GPTBot
Disallow: /

# Bloquea Common Crawl
User-agent: CCBot
Disallow: /

# Bloquea Anthropic
User-agent: anthropic-ai
Disallow: /

# Bloquea el entrenamiento de Google AI (NO afecta a la Búsqueda de Google)
User-agent: Google-Extended
Disallow: /

# Bloquea el rastreador de IA de Apple
User-agent: Applebot-Extended
Disallow: /

Los bloques existentes de Googlebot y Bingbot permanecen sin cambios. Estos bloques específicos de IA se encuentran junto a ellos de forma independiente.

Paso a paso: cómo añadir las reglas de forma segura

1. Abre tu robots.txt actual, normalmente en https://yourdomain.com/robots.txt.
2. Localiza tus reglas existentes de motores de búsqueda: confirma que Googlebot está permitido o tiene permisos de ruta específicos que quieras conservar.
3. Añade los bloques de rastreadores de IA: añade cada par User-agent / Disallow: / debajo de tus reglas existentes.
4. Valida el archivo: utiliza el verificador de robots.txt de Google Search Console o el generador de robots.txt de SeoChatAI para confirmar que la sintaxis es correcta.
5. Implementa y verifica: comprueba que https://yourdomain.com/robots.txt devuelve HTTP 200 y se renderiza correctamente.

¿Qué rastreadores de IA debes bloquear?#

Los principales rastreadores de entrenamiento de IA identificables con cadenas de user-agent documentadas incluyen:

• GPTBot: el rastreador de entrenamiento de OpenAI
• ChatGPT-User: el bot de navegación/recuperación de OpenAI (independiente del entrenamiento)
• CCBot: Common Crawl, el conjunto de datos base para muchos LLM de código abierto
• anthropic-ai: el rastreador de entrenamiento de Anthropic
• Google-Extended: el rastreador de productos de entrenamiento de IA de Google
• Applebot-Extended: la extensión de entrenamiento de IA de Apple
• Diffbot: utilizado para el grafo de conocimiento y el entrenamiento de productos de IA
• FacebookBot: el rastreador de entrenamiento de Meta

Nota: algunos scrapers no respetan robots.txt en absoluto. Para estos, el bloqueo a nivel de servidor (rangos de IP, reglas WAF) es la única opción fiable.

¿Qué ocurre con Google-Extended frente a Googlebot?#

Esta distinción es más importante para los editores preocupados por la visibilidad en la Búsqueda de Google. Google documentó oficialmente Google-Extended como el user-agent para sus productos de IA generativa. Desautorizarlo impide que tu contenido se utilice en el entrenamiento de AI Overviews y productos similares, pero Googlebot continúa rastreando e indexando tus páginas para la búsqueda orgánica con normalidad.

Si quieres inhabilitar AI Overviews pero seguir estando totalmente indexado en la Búsqueda de Google, bloquea Google-Extended y deja Googlebot abierto.

Cómo generar un robots.txt limpio automáticamente#

Editar manualmente robots.txt conlleva un riesgo: un comodín mal colocado o un error de sangría pueden bloquear accidentalmente a Googlebot. El generador de robots.txt de SeoChatAI te permite seleccionar qué rastreadores permitir o bloquear, previsualiza la salida e identifica los errores de sintaxis antes de implementarlo. Es la forma más rápida de enviar un archivo correcto sin tener que leer la documentación RFC.

¿Se pueden bloquear parcialmente los rastreadores de IA (por ruta)?#

Sí. En lugar de Disallow: /, puedes restringir los rastreadores de IA a directorios específicos:

User-agent: GPTBot
Disallow: /private/
Disallow: /members/

Esto permite a GPTBot rastrear tus páginas de marketing públicas mientras protege el contenido cerrado o propietario. El mismo control a nivel de ruta se aplica a cualquier user-agent.

¿El bloqueo de robots.txt realmente funciona?#

Para los laboratorios de IA de renombre (OpenAI, Anthropic, Google, Apple), sí. Se han comprometido públicamente a respetar robots.txt. Common Crawl lo ha respetado durante años. El riesgo está en los scrapers más pequeños y menos responsables que tratan robots.txt como opcional. Para estos actores, combina robots.txt con:

• Limitación de velocidad a nivel de periferia/CDN
• Listas de bloqueo de IP utilizando rangos ASN publicados para infractores conocidos
• Páginas de desafío WAF activadas por patrones de rastreo inusuales

Para las principales empresas de LLM, robots.txt es tu herramienta principal y suficiente.

Conclusiones clave#

• Los rastreadores de entrenamiento de IA utilizan diferentes cadenas de user-agent que Googlebot; bloquearlos es quirúrgico, no general.
• Google-Extended es el bot de entrenamiento de IA de Google; desautorizarlo no afecta al ranking de la Búsqueda de Google.
• Valida siempre la sintaxis de robots.txt antes de implementarlo: un error puede afectar al bot equivocado.
• Los laboratorios de IA de renombre respetan robots.txt; los scrapers no autorizados requieren controles a nivel de servidor.