Common Crawl · Rastreadores de entrenamiento

CCBot

Rastreador de Common Crawl, una organización sin ánimo de lucro que mantiene un archivo abierto de la web que cualquiera puede descargar. El archivo se usa mucho como fuente de datos de entrenamiento para modelos de lenguaje, así que bloquear CCBot deja tus páginas futuras fuera de él.

Nombre en robots.txt

CCBot

Agente de usuario

CCBot/2.0 (https://commoncrawl.org/faq/)

Categoría

Rastreadores de entrenamiento: Recopilan páginas públicas que pueden usarse para entrenar modelos de IA.

Respeta robots.txt

Sí

Documentación oficial

https://commoncrawl.org/ccbot

Rangos de IP publicados

https://index.commoncrawl.org/ccbot.json

Verificado con la documentación oficial el 17 de octubre de 2026.

Bloquearlo o permitirlo en robots.txt

Añade estas líneas al archivo robots.txt en la raíz de tu dominio. Para bloquearlo en todas partes:

User-agent: CCBot
Disallow: /

Para permitirlo en todas partes excepto en una carpeta:

User-agent: CCBot
Disallow: /private/

¿Se trata realmente de este bot?

Cualquiera puede copiar un agente de usuario. Para asegurarte de que una solicitud procede de Common Crawl, compara su dirección IP con los rangos que publica la empresa.