Claude-User e Claude-SearchBot são user-agents distintos da Anthropic que executam funções específicas: Claude-User processa solicitações diretas de usuários, enquanto Claude-SearchBot indexa conteúdo para alimentar as capacidades de busca do Claude. Essa diferenciação técnica permite controle granular via robots.txt sobre qual bot pode acessar cada área do seu site.

A Anthropic documentou oficialmente Claude-User e Claude-SearchBot como user-agents distintos em sua developer documentation (2024), reconhecendo que diferentes casos de uso exigem diferentes protocolos de acesso. Dados de mercado indicam que crawlers de busca de IA representam entre 15-25% do tráfego de bots em sites B2B técnicos, tornando esta configuração crítica para gestores de conteúdo.

O que é Claude-User e para que serve

Claude-User é o user-agent utilizado quando um usuário faz uma pergunta direta ao Claude que requer busca de informações atualizadas na web. Este bot opera sob demanda, ativado apenas quando o contexto da conversa exige acesso a conteúdo externo específico.

Diferente de crawlers tradicionais, Claude-User não indexa proativamente. Ele acessa URLs específicas mencionadas pelo usuário ou descobertas através de pesquisas contextuais. Por exemplo, se um usuário pergunta "qual o preço atual do produto X no site da empresa Y", Claude-User pode acessar diretamente a página de produto para fornecer informação atualizada.

Este bot mantém comportamento mais próximo ao de um navegador humano, seguindo links naturalmente e respeitando estruturas de navegação. Na minha experiência implementando AEO, Claude-User tende a gerar menos requisições por sessão, mas com padrões de acesso mais imprevisíveis que crawlers sistemáticos.

O volume de requisições do Claude-User varia dramaticamente conforme a popularidade do seu conteúdo nas conversas dos usuários. Sites de referência técnica e documentação frequentemente recebem mais visitas deste bot que sites comerciais convencionais.

O que é Claude-SearchBot e como difere do Claude-User

Claude-SearchBot opera como crawler proativo, indexando conteúdo sistematicamente para alimentar a base de conhecimento que suporta as respostas do Claude. Este bot segue padrões mais previsíveis, similar ao Googlebot ou outros crawlers de busca tradicionais.

Claude-SearchBot segue o padrão RFC 9309 de robots.txt, respeitando integralmente as diretrizes de crawling definidas no arquivo. Ele opera em horários distribuídos, mantém intervalos regulares entre requisições e respeita rate limiting automaticamente para evitar sobrecarga nos servidores.

Este crawler prioriza conteúdo textual estruturado, particularmente páginas com markup semântico claro. Na implementação de diversos projetos de AEO, observo que Claude-SearchBot demonstra preferência por conteúdo com Schema.org bem implementado e hierarquia de headings consistente.

A principal diferença operacional é que Claude-SearchBot pode operar independentemente de solicitações específicas de usuários, construindo um índice abrangente que posteriormente suporta tanto respostas diretas quanto capacidades de pesquisa contextual do Claude. Este modelo híbrido entre indexação proativa e busca reativa é característico dos motores de resposta modernos.

Tabela comparativa: Claude-User vs Claude-SearchBot

Quando você precisa bloquear ou permitir cada bot

Cenário 1: Site público de referência - Permita ambos os bots. Sites de documentação, tutoriais e conteúdo educacional se beneficiam da indexação pelo Claude-SearchBot e da capacidade de resposta direta via Claude-User. Esta configuração maximiza visibilidade em respostas de IA.

Cenário 2: Conteúdo proprietário limitado - Bloqueie Claude-SearchBot mas permita Claude-User seletivamente. Quando você quer evitar indexação ampla mas ainda permitir que usuários específicos obtenham informações pontuais através de conversas com Claude.

Cenário 3: Área de membros/paywall - Bloqueie ambos completamente. Conteúdo pago ou restrito não deve ser acessível por crawlers de IA, independentemente do propósito. Google Webmaster Guidelines (2024) recomendam configuração específica por user-agent quando há múltiplos bots de um mesmo provedor.

Cenário 4: API ou dados estruturados - Configure acesso granular por diretório. Permita Claude-SearchBot em documentação pública (/docs/) mas bloqueie ambos em endpoints de API (/api/) ou dados sensíveis (/admin/).

O padrão mais comum que implemento é a estratégia de três camadas para robots.txt, adaptada especificamente para os diferentes comportamentos destes bots Claude.

Como configurar robots.txt para Claude-User

Para configurar especificamente o Claude-User, utilize o user-agent exato nos seus rules robots.txt:

User-agent: Claude-User Disallow: /admin/ Disallow: /api/ Allow: /docs/ Allow: /blog/ Crawl-delay: 1

**Bloqueio completo do Claude-User:**

User-agent: Claude-User Disallow: /

**Acesso seletivo com restrições de rate:**

User-agent: Claude-User Disallow: /private/ Disallow: /temp/ Allow: / Crawl-delay: 2

A configuração de `Crawl-delay` para Claude-User é particularmente importante porque este bot pode gerar rajadas de requisições quando usuários fazem perguntas complexas que exigem consulta a múltiplas páginas do seu site sequencialmente.

Para sites com tráfego alto, recomendo definir crawl-delay entre 1-3 segundos para Claude-User. Valores menores que 1 segundo raramente são respeitados, enquanto valores acima de 5 segundos podem resultar em timeouts que prejudicam a experiência do usuário final no Claude.

## Como configurar robots.txt para Claude-SearchBot

**Claude-SearchBot** segue as convenções padrão de robots.txt, facilitando sua configuração através de regras familiares:

User-agent: Claude-SearchBot Disallow: /admin/ Disallow: /login/ Disallow: /search? Allow: / Crawl-delay: 1 Sitemap: https://seusite.com/sitemap.xml

**Configuração para acesso prioritário:**

User-agent: Claude-SearchBot Allow: / Disallow: /temp/ Crawl-delay: 0.5 Sitemap: https://seusite.com/sitemap.xml Sitemap: https://seusite.com/news-sitemap.xml

**Bloqueio específico mantendo acesso geral:**

User-agent: Claude-SearchBot Disallow: /api/ Disallow: /admin/ Disallow: /.json$ Disallow: /?print=1 Allow: /

Claude-SearchBot processa múltiplos sitemaps eficientemente, então declare todos os sitemaps relevantes na seção correspondente. Na minha experiência, sites que fornecem sitemaps específicos por tipo de conteúdo (produtos, artigos, páginas estáticas) recebem indexação mais completa e organizada.

## Configurações avançadas: bloqueio seletivo por diretório

Para controle granular sobre ambos os bots, implemente regras por diretório específico. Esta abordagem é essencial para sites complexos com múltiplas áreas funcionais:

Configuração Claude-User - Acesso limitado

User-agent: Claude-User Disallow: /admin/ Disallow: /api/ Disallow: /checkout/ Disallow: /account/ Allow: /docs/ Allow: /blog/ Allow: /produtos/ Crawl-delay: 2

Configuração Claude-SearchBot - Indexação ampla

User-agent: Claude-SearchBot Disallow: /admin/ Disallow: /api/ Disallow: /account/ Disallow: /checkout/ Disallow: /temp/ Disallow: *.pdf$ Allow: / Crawl-delay: 1 Sitemap: https://seusite.com/sitemap.xml

Fallback para outros bots Claude

User-agent: ClaudeBot Disallow: /

**Configuração para e-commerce:**

User-agent: Claude-SearchBot Disallow: /cart/ Disallow: /checkout/ Disallow: /my-account/ Disallow: /?add-to-cart= Disallow: /?orderby= Allow: /produto/ Allow: /categoria/ Allow: /blog/

User-agent: Claude-User Disallow: /cart/ Disallow: /checkout/ Disallow: /my-account/ Allow: /produto/ Allow: /categoria/ Crawl-delay: 3

Esta configuração permite que Claude-SearchBot indexe produtos e categorias para responder perguntas sobre seu catálogo, enquanto Claude-User pode acessar produtos específicos quando usuários perguntam sobre itens particulares, mas ambos são bloqueados de áreas transacionais.

## Como testar se suas regras estão funcionando

**Método 1: Análise de logs de servidor**

Monitore seus logs de acesso procurando especificamente pelos user-agents:
- `Claude-User` 
- `Claude-SearchBot`
- `ClaudeBot` (user-agent genérico)

Configure alertas para [identificar tentativas de acesso a diretórios](/blog/bytespider-bots-ia-nao-conformes-detectar-ignoram-robots-txt/) que deveriam estar bloqueados.

**Método 2: Ferramenta robots.txt tester**

Use o Google Search Console robots.txt Tester como base, mas adapte para validar especificamente os user-agents Claude:

1. Acesse a ferramenta robots.txt tester
2. Cole o conteúdo do seu robots.txt
3. Digite `Claude-SearchBot` como user-agent
4. Teste URLs específicas que devem ser permitidas/bloqueadas
5. Repita o processo para `Claude-User`

**Método 3: Monitoramento contínuo**

Implemente monitoramento automatizado que detecte:
- Alterações no comportamento de crawling dos bots Claude
- Violações das regras definidas no robots.txt
- Picos incomuns de tráfego dos user-agents Claude

Para a [configuração básica de robots.txt para crawlers de IA](/blog/configurar-robots-txt-gptbot-claudebot-perplexitybot/), recomendo verificação semanal dos logs durante as primeiras 4 semanas após implementação, depois monitoramento mensal.

## Erros comuns ao configurar robots.txt para bots Claude

**Erro 1: Usar apenas "ClaudeBot" genérico**

Muitos administradores configuram apenas:

User-agent: ClaudeBot Disallow: /

Esta regra pode não capturar Claude-User e Claude-SearchBot especificamente, pois estes user-agents são mais específicos que o genérico ClaudeBot.

**Erro 2: Conflito de regras entre user-agents**

CONFIGURAÇÃO PROBLEMÁTICA

User-agent: Claude-SearchBot Allow: /blog/

User-agent: * Disallow: /blog/

A regra `User-agent: *` pode conflitar com regras específicas. Sempre declare regras específicas antes do wildcard genérico.

**Erro 3: Crawl-delay inconsistente**

Definir crawl-delay muito baixo (menos de 0.5s) para Claude-User pode resultar em sobrecarga, pois este bot pode fazer múltiplas requisições sequenciais rápidas durante uma única sessão de usuário.

**Erro 4: Não considerar URLs com parâmetros**

Claude-User frequentemente acessa URLs com parâmetros de busca. Configure adequadamente:

User-agent: Claude-User Disallow: /?debug= Disallow: /?test= Allow: /?page= Allow: /?category= ```

Erro 5: Esquecer de atualizar sitemaps

Claude-SearchBot utiliza sitemaps intensivamente. Manter sitemaps desatualizados resulta em indexação incompleta ou tentativas de acesso a URLs inexistentes.

Como você pode ver na explicação sobre como funciona o Claude-SearchBot, a configuração adequada destes crawlers exige compreensão técnica dos diferentes padrões operacionais de cada bot.

Perguntas frequentes

Posso bloquear Claude-User mas permitir Claude-SearchBot?

Sim, é perfeitamente possível e uma estratégia comum. Configure user-agents específicos no robots.txt: bloqueie Claude-User completamente com Disallow: / e permita Claude-SearchBot em diretórios específicos. Esta configuração evita acesso pontual por usuários mas mantém indexação sistemática.

Claude-User respeita o robots.txt como Claude-SearchBot?

Claude-User tem comportamento variável dependendo do contexto de uso, enquanto Claude-SearchBot segue integralmente o padrão RFC 9309 de robots.txt. Na prática, Claude-User geralmente respeita bloqueios explícitos, mas pode operar fora do escopo tradicional de crawling quando processando requisições diretas de usuários.

O que acontece se eu bloquear apenas ClaudeBot no robots.txt?

Bloquear apenas o user-agent genérico ClaudeBot pode não ser suficiente, pois Claude-User e Claude-SearchBot são user-agents específicos que podem não herdar automaticamente essa regra. Configure regras explícitas para cada user-agent que você deseja controlar.

Como saber qual bot Claude está acessando meu site nos logs?

Analise o campo User-Agent nos logs do servidor. Procure especificamente por Claude-User, Claude-SearchBot ou ClaudeBot. Cada um aparece distintamente nos logs, permitindo identificar o propósito do acesso e ajustar configurações conforme necessário.

Preciso bloquear ambos os bots Claude para impedir treinamento de IA?

Bloquear crawlers não garante que seu conteúdo não seja usado para treinamento, pois o conteúdo pode ser acessado por outros meios. Para proteção efetiva contra uso em treinamento, considere implementar termos de uso específicos, headers HTTP adequados e, quando necessário, autenticação para conteúdo sensível.