Common Crawl · Crawler per l'addestramento

CCBot

Crawler di Common Crawl, un'organizzazione senza scopo di lucro che mantiene un archivio aperto del web scaricabile liberamente. L'archivio è molto usato come fonte di dati di addestramento per modelli linguistici, quindi bloccare CCBot ne tiene fuori le tue pagine future.

Nome in robots.txt

CCBot

User agent

CCBot/2.0 (https://commoncrawl.org/faq/)

Categoria

Crawler per l'addestramento: Raccoglie pagine pubbliche che potrebbero essere usate per addestrare modelli IA.

Rispetta robots.txt

Sì

Documentazione ufficiale

https://commoncrawl.org/ccbot

Intervalli IP pubblicati

https://index.commoncrawl.org/ccbot.json

Verificato con la documentazione ufficiale il 17 ottobre 2026.

Bloccalo o autorizzalo in robots.txt

Aggiungi queste righe al file robots.txt nella radice del tuo dominio. Per bloccarlo ovunque:

User-agent: CCBot
Disallow: /

Per autorizzarlo ovunque tranne in una cartella:

User-agent: CCBot
Disallow: /private/

Si tratta davvero di questo bot?

Chiunque può copiare uno user agent. Per accertarti che una richiesta provenga da Common Crawl, confronta il suo indirizzo IP con gli intervalli pubblicati dall'azienda.