Crawlers de IA: deve bloqueá-los?

As empresas de IA enviam três tipos de bots para os websites, e estes exigem decisões diferentes.

Crawlers de treino

Recolhem páginas públicas que podem ser utilizadas para treinar modelos de IA. Exemplos: GPTBot, ClaudeBot, CCBot, Bytespider. Algumas empresas utilizam um token separado apenas para permissão de treino, como o Google-Extended ou o Applebot-Extended: bloqueá-lo não o remove da Pesquisa Google ou das funcionalidades de pesquisa da Apple.

Bloqueie-os se não pretender que o seu conteúdo faça parte de futuros dados de treino. Isto não afeta os resultados de pesquisa clássicos.

Crawlers de pesquisa

Constroem o índice que a pesquisa e os assistentes de IA citam, como o OAI-SearchBot, o Claude-SearchBot ou o PerplexityBot.

Permita-os se quiser aparecer, com uma ligação, quando alguém pergunta a um assistente sobre o seu tópico. Bloqueá-los é como bloquear um motor de pesquisa.

Fetchers acionados pelo utilizador

Recuperam uma página no momento em que alguém pede a um assistente para a ler: ChatGPT-User, Claude-User, Perplexity-User. Várias empresas afirmam que estes nem sempre seguem o robots.txt, porque foi uma pessoa que solicitou a página.

Uma configuração padrão sensata

Muitos sites permitem crawlers de pesquisa e fetchers de utilizador, mas bloqueiam crawlers de treino:

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: CCBot
Disallow: /

O robots.txt é um pedido, não um bloqueio. Para os bots que o ignoram, bloqueie-os no seu servidor ou firewall pelo user agent e, quando a empresa os publica, pelo intervalo de IP.

Aparecem nas suas estatísticas?

Os crawlers não executam o seu script de estatísticas da mesma forma que um browser, e o Statsdot também exclui bots conhecidos no servidor, para que não inflem o número de visitantes. Para ver todos os bots de IA com o seu user agent e regras de robots.txt, consulte o nosso diretório de crawlers de IA.