Como fazer

robots.txt para Bots de IA: Guia Completo para 2026

Os crawlers de IA agora rivalizam com os bots de busca em volume. Este guia mostra as diretivas exatas de robots.txt para bloquear ou permitir GPTBot, ClaudeBot e PerplexityBot — protegendo o conteúdo e permanecendo…

Por Daniel MercerPublicado em 22 de maio de 20267 min de leitura

O controle de crawlers de IA começa em um arquivo: robots.txt. Ao adicionar as diretivas corretas de User-agent para GPTBot, ClaudeBot e PerplexityBot, Você decide se os grandes modelos de linguagem são treinados em Seu conteúdo ou o citam em respostas — sem tocar em uma única linha de código do servidor.

O que é robots.txt e por que os Bots de IA o leem?#

robots.txt é um arquivo de texto simples hospedado na raiz do Seu domínio (https://seusite.com/robots.txt) que informa aos crawlers quais URLs eles podem ou não acessar. Ele segue o Protocolo de Exclusão de Robôs, um padrão de facto originalmente projetado para mecanismos de busca. Os principais laboratórios de IA — OpenAI, Anthropic, Perplexity e outros — se comprometeram a honrar as diretivas robots.txt para seus crawlers de treinamento e recuperação, tornando-o sua primeira linha de defesa e seu principal mecanismo de adesão.

Como o robots.txt difere das Meta Tags Robots?

Um arquivo robots.txt opera no nível de rastreamento: ele impede que um bot busque um URL por completo. Uma tag <meta name="robots"> ou cabeçalho X-Robots-Tag opera no nível de indexação: o bot busca a página, mas respeita instruções como noindex ou noai. Para bots de IA, Você geralmente deseja o bloqueio no nível de rastreamento (robots.txt) quando deseja zero exposição de conteúdo e tags no nível de índice quando Você está bem com o rastreamento, mas não com o treinamento.

Quais Bots de IA têm Strings de User-Agent oficiais em 2026?#

Cada crawler de IA importante publica uma string de user-agent canônica. Use-as exatamente — elas diferenciam maiúsculas de minúsculas na maioria das implementações.

Bot	String de User-agent	Operador
Crawler de treinamento da OpenAI	`GPTBot`	OpenAI
Navegação/recuperação da OpenAI	`ChatGPT-User`	OpenAI
Crawler de treinamento da Anthropic	`ClaudeBot`	Anthropic
Navegação/recuperação da Anthropic	`Claude-User`	Anthropic
Recuperação da Perplexity	`PerplexityBot`	Perplexity AI
Rastreamento estendido do Google	`Google-Extended`	Google
Common Crawl	`CCBot`	Common Crawl
Treinamento da Cohere	`cohere-ai`	Cohere
Crawler de IA da Meta	`FacebookBot`	Meta
Crawler de IA da Apple	`Applebot-Extended`	Apple

Nota: As strings de user-agent mudam. Sempre verifique na documentação oficial de cada operador antes de implantar na produção.

Como Bloquear Todos os Bots de IA com robots.txt?#

Para bloquear todos os crawlers de IA listados de todo o Seu site, adicione um bloco Disallow por user-agent:

User-agent: GPTBot
Disallow: /

User-agent: ChatGPT-User
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Claude-User
Disallow: /

User-agent: PerplexityBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: cohere-ai
Disallow: /

User-agent: FacebookBot
Disallow: /

User-agent: Applebot-Extended
Disallow: /

Coloque esses blocos acima da Sua regra geral User-agent: * para que eles sejam analisados independentemente. Nunca confie em um User-agent: * genérico para bloquear bots de IA, a menos que Você tenha verificado se esses bots não têm uma regra mais específica em Seu arquivo — a especificidade vence.

Como Permitir Bots de IA, mas Bloquear o Treinamento?#

Alguns crawlers de IA distinguem entre um crawler de treinamento e um crawler de recuperação (navegação). O ChatGPT-User da OpenAI busca páginas para responder a perguntas de usuários em tempo real; GPTBot busca páginas para treinar modelos futuros. Se Você quiser citações nas respostas do ChatGPT sem contribuir com dados de treinamento, permita o agente de recuperação e bloqueie o agente de treinamento:

# Bloquear crawler de treinamento
User-agent: GPTBot
Disallow: /

# Permitir crawler de recuperação (citações no ChatGPT)
User-agent: ChatGPT-User
Allow: /

Aplique a mesma lógica para a Anthropic: bloqueie ClaudeBot, permita Claude-User.

Como Bloquear Parcialmente os Crawlers de IA por Diretório?#

Você não precisa escolher tudo ou nada. Proíba caminhos específicos, deixando o resto aberto:

User-agent: GPTBot
Disallow: /members/
Disallow: /premium-content/
Disallow: /api/
Allow: /blog/
Allow: /

Isso mantém Seu blog gratuito acessível para citações de IA, protegendo diretórios pagos ou proprietários. A ordem das regras Allow e Disallow dentro de um bloco é importante — a maioria dos analisadores aplica o caminho correspondente mais longo, então seja explícito.

O que é Google-Extended e Você Deve Bloqueá-lo?#

Google-Extended é o token dedicado do Google para controlar se Seu conteúdo treina os modelos Gemini e o recurso AI Overviews do Google. É separado do Googlebot. Bloquear Google-Extended não afeta Suas classificações de pesquisa do Google ou orçamento de rastreamento — o Googlebot continua a indexar Suas páginas normalmente. Se Você bloquear Google-Extended, Seu conteúdo pode aparecer com menos frequência como uma fonte no AI Overviews.

# Bloquear apenas o treinamento do Gemini/AI Overviews
User-agent: Google-Extended
Disallow: /

# Googlebot não é afetado — classificações preservadas
User-agent: Googlebot
Allow: /

Como Verificar se Seu robots.txt está Funcionando?#

A verificação tem três camadas:

Verificação de sintaxe — Cole Seu arquivo no Testador de robots.txt do Google Search Console ou em um validador independente. Procure por erros de análise e regras conflitantes.
Análise de arquivo de log — Filtre seus logs de acesso ao servidor para as strings de user-agent do bot de IA. Se um bot que Você bloqueou ainda aparecer, ele pode estar falsificando seu user-agent (robots.txt apenas vincula crawlers compatíveis).
Auditoria de terceiros — Ferramentas como o gerador de robôs SeoChatAI permitem que Você crie, visualize e valide Suas diretivas de bot de IA antes da implantação, reduzindo erros de configuração.

O que Acontece se um Bot de IA Ignorar robots.txt?#

robots.txt não é legalmente aplicável por si só — é um protocolo, não um firewall. Operadores compatíveis como OpenAI, Anthropic e Perplexity se comprometeram publicamente a honrá-lo, mas não há nenhum mecanismo técnico que impeça um crawler não compatível de ignorar o arquivo. Para uma proteção mais forte, considere:

Limitação de taxa por intervalo de IP — Os laboratórios de IA publicam seus intervalos de IP de rastreador; bloqueie-os na camada CDN ou WAF.
Bloco de bots de IA do Cloudflare — O "Bot Fight Mode" do Cloudflare inclui um bloco de crawler de IA com um clique a partir de 2024.
Termos de Serviço — A linguagem explícita dos Termos de Serviço que proíbe a raspagem adiciona uma camada legal em cima do robots.txt.
llms.txt — Uma convenção mais recente (consulte nosso guia sobre o que é llms.txt) que informa aos sistemas de IA qual conteúdo Você deseja e não deseja que seja usado na inferência.

Modelo de robots.txt: Configuração Balanceada para 2026#

O modelo a seguir bloqueia todos os crawlers de treinamento, permite todos os crawlers de recuperação, protege diretórios privados e preserva o rastreamento normal do mecanismo de busca:

# ==========================================
# Crawlers de Treinamento de IA — Bloqueados
# ==========================================
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: cohere-ai
Disallow: /

User-agent: Applebot-Extended
Disallow: /

# ==========================================
# Crawlers de Recuperação de IA — Permitidos
# ==========================================
User-agent: ChatGPT-User
Allow: /

User-agent: Claude-User
Allow: /

User-agent: PerplexityBot
Allow: /

# ==========================================
# Mecanismos de Busca — Acesso Total
# ==========================================
User-agent: Googlebot
Allow: /

User-agent: Bingbot
Allow: /

# ==========================================
# Fallback Global
# ==========================================
User-agent: *
Disallow: /private/
Disallow: /api/
Disallow: /members/

Sitemap: https://seusite.com/sitemap.xml

Você pode gerar uma versão personalizada deste arquivo usando o gerador de robôs SeoChatAI, que mantém a lista de user-agent atualizada e valida sua sintaxe automaticamente.

Erros Comuns a Evitar#

Mesclar regras de bot de IA em User-agent: * — Isso se aplica a todos os bots, incluindo o Googlebot. Sempre use agentes nomeados.
Usar Disallow: sem nenhum caminho — Um Disallow: vazio significa "permitir tudo", não "bloquear tudo". Use Disallow: / para bloquear o site completo.
Esquecer ChatGPT-User ao bloquear GPTBot — Eles são agentes separados. Bloquear um não bloqueia o outro.
Não adicionar uma diretiva Sitemap: — Bots de recuperação de IA usam sitemaps para descobrir conteúdo de forma eficiente. Inclua-o.
Armazenar em cache arquivos desatualizados — Se o Seu CDN armazena robots.txt em cache, novas diretivas não serão propagadas imediatamente. Defina um TTL curto (≤1 hora) neste arquivo.

Principais Conclusões#

Crawlers de treinamento e crawlers de recuperação usam strings de user-agent diferentes — controle-os separadamente.
Google-Extended bloqueia o treinamento do Gemini sem afetar as classificações de pesquisa do Google.
robots.txt é a maneira mais rápida e de menor risco de controlar o acesso ao conteúdo de IA — implante-o antes de qualquer outra solução.
Combine robots.txt com monitoramento de log e bloqueio no nível de IP para cobertura total contra bots não compatíveis.

robots.txt for AI Bots: Complete 2026 Guide — illustration 1

Experimente o nosso robots.txt generator gratuito

Ler artigo

Partilhar este artigoX LinkedIn

Publicado em 22 de mai. de 2026

Perguntas frequentes

Como eu bloqueio o GPTBot no robots.txt?

Adicione um bloco dedicado: `User-agent: GPTBot` em uma linha e, em seguida, `Disallow: /` na seguinte. Isso impede que o crawler de treinamento da OpenAI acesse qualquer página em Seu site. Para também bloquear o crawler de navegação/recuperação do ChatGPT, adicione um bloco separado para `ChatGPT-User`.

Bloquear bots de IA no robots.txt prejudica minhas classificações no Google?

Não — desde que Você direcione user-agents de bot de IA específicos e deixe `Googlebot` irrestrito. Bloquear `Google-Extended` afeta apenas o treinamento do modelo Gemini e o fornecimento de conteúdo para AI Overviews; não afeta Sua classificação de pesquisa orgânica ou orçamento de rastreamento.

Qual é a diferença entre GPTBot e ChatGPT-User?

`GPTBot` é o crawler da OpenAI para coletar dados de treinamento para modelos futuros. `ChatGPT-User` é o crawler de recuperação da OpenAI que busca páginas em tempo real para responder a perguntas de usuários. Você pode bloquear um sem bloquear o outro, dando a Você controle granular sobre treinamento versus citação.

O PerplexityBot respeita o robots.txt?

A Perplexity AI se comprometeu publicamente a honrar as diretivas robots.txt. Adicione `User-agent: PerplexityBot` com a diretiva `Allow` ou `Disallow` apropriada. Observe que, como todas as regras de robots.txt, a conformidade é voluntária — monitore Seus logs do servidor para confirmar se está sendo respeitada.

Posso bloquear crawlers de IA de algumas páginas, mas não de outras?

Sim. Use diretivas `Disallow` específicas do caminho dentro do bloco de cada bot — por exemplo, `Disallow: /premium/` bloqueia apenas esse diretório, deixando o resto do Seu site acessível. Combine com regras `Allow:` para exceções dentro de um caminho bloqueado.

robots.txt é suficiente para impedir que bots de IA raspem meu site?

robots.txt apenas vincula crawlers compatíveis. Para uma proteção mais forte, combine-o com bloqueio de intervalo de IP em Sua CDN ou WAF, o recurso de bloco de bot de IA do Cloudflare e a linguagem explícita dos Termos de Serviço. robots.txt é o primeiro passo necessário, não a solução completa.

Com que frequência devo atualizar meu robots.txt para novos bots de IA?

Revise Seu robots.txt pelo menos trimestralmente. Novos laboratórios de IA lançam crawlers regularmente, e os operadores existentes às vezes mudam ou adicionam strings de user-agent. Assinar o changelog de desenvolvedores de cada operador e auditar Seus logs do servidor mensalmente ajuda Você a detectar novos bots antes que eles acumulem atividade de rastreamento significativa.