Common Crawl · Crawlers d'entraînement

CCBot

Robot de Common Crawl, une organisation à but non lucratif qui maintient une archive ouverte du web, téléchargeable librement. Cette archive sert souvent de source de données d'entraînement pour les modèles de langage ; bloquer CCBot en tient vos futures pages à l'écart.

Nom dans robots.txt

CCBot

User-agent

CCBot/2.0 (https://commoncrawl.org/faq/)

Catégorie

Crawlers d'entraînement: Collecte les pages publiques susceptibles d'être utilisées pour entraîner des modèles d'IA.

Respecte robots.txt

Oui

Documentation officielle

https://commoncrawl.org/ccbot

Plages d'adresses IP publiées

https://index.commoncrawl.org/ccbot.json

Vérifié par rapport à la documentation officielle le 17 octobre 2026.

Le bloquer ou l'autoriser dans robots.txt

Ajoutez ces lignes au fichier robots.txt situé à la racine de votre domaine. Pour le bloquer partout :

User-agent: CCBot
Disallow: /

Pour l'autoriser partout sauf dans un dossier :

User-agent: CCBot
Disallow: /private/

S'agit-il vraiment de ce bot ?

N'importe qui peut copier un user-agent. Pour vous assurer qu'une requête provient de Common Crawl, comparez son adresse IP avec les plages publiées par l'entreprise.