Common Crawl · Crawlers de treino

CCBot

Rastreador da Common Crawl, uma organização sem fins lucrativos que mantém um arquivo aberto da web, que qualquer pessoa pode descarregar. O arquivo é muito usado como fonte de dados de treino para modelos de linguagem, por isso bloquear o CCBot deixa as suas páginas futuras fora dele.

Nome no robots.txt

CCBot

User agent

CCBot/2.0 (https://commoncrawl.org/faq/)

Categoria

Crawlers de treino: Recolher páginas públicas que podem ser utilizadas para treinar modelos de IA.

Respeita o robots.txt

Sim

Documentação oficial

https://commoncrawl.org/ccbot

Intervalos de IP publicados

https://index.commoncrawl.org/ccbot.json

Verificado com a documentação oficial em 17 de outubro de 2026.

Bloqueie ou permita no robots.txt

Adicione estas linhas ao ficheiro robots.txt na raiz do seu domínio. Para bloquear em todo o lado:

User-agent: CCBot
Disallow: /

Para o permitir em todo o lado exceto numa pasta:

User-agent: CCBot
Disallow: /private/

É realmente este bot?

Qualquer pessoa pode copiar um user agent. Para ter a certeza de que um pedido provém da Common Crawl, compare o seu endereço IP com os intervalos publicados pela empresa.