Common Crawl · Trainings-Crawler

CCBot

Crawler von Common Crawl, einer gemeinnützigen Organisation, die ein offenes, frei herunterladbares Archiv des Webs pflegt. Das Archiv wird häufig als Trainingsquelle für Sprachmodelle genutzt; eine Sperre von CCBot hält künftige Seiten daraus heraus.

robots.txt-Name

CCBot

User-Agent

CCBot/2.0 (https://commoncrawl.org/faq/)

Kategorie

Trainings-Crawler: Erfasst öffentliche Seiten, die zum Trainieren von KI-Modellen verwendet werden können.

Befolgt robots.txt

Ja

Offizielle Dokumentation

https://commoncrawl.org/ccbot

Veröffentlichte IP-Bereiche

https://index.commoncrawl.org/ccbot.json

Geprüft anhand der offiziellen Dokumentation am 17. Oktober 2026.

In robots.txt blockieren oder zulassen

Fügen Sie diese Zeilen in die Datei robots.txt im Stammverzeichnis Ihrer Domain ein. Um ihn überall zu blockieren:

User-agent: CCBot
Disallow: /

Um ihn überall außer in einem Ordner zuzulassen:

User-agent: CCBot
Disallow: /private/

Handelt es sich wirklich um diesen Bot?

Jeder kann einen User-Agent kopieren. Um sicherzustellen, dass eine Anfrage von Common Crawl stammt, vergleichen Sie deren IP-Adresse mit den von dem Unternehmen veröffentlichten Bereichen.