Robots d'indexation IA : faut-il les bloquer ?

Les entreprises d'IA envoient trois types de robots sur les sites web, et ils nécessitent des décisions différentes.

Robots d'entraînement

Ils collectent des pages publiques qui peuvent être utilisées pour entraîner des modèles d'IA. Exemples : GPTBot, ClaudeBot, CCBot, Bytespider. Certaines entreprises utilisent un jeton distinct uniquement pour l'autorisation d'entraînement, comme Google-Extended ou Applebot-Extended : les bloquer ne vous supprime pas de la recherche Google ou des fonctionnalités de recherche d'Apple.

Bloquez-les si vous ne souhaitez pas que votre contenu soit intégré aux futures données d'entraînement. Cela n'affecte pas les résultats de recherche classiques.

Robots de recherche

Ils construisent l'index que les recherches et assistants IA citent, comme OAI-SearchBot, Claude-SearchBot ou PerplexityBot.

Autorisez-les si vous souhaitez apparaître, avec un lien, lorsque des utilisateurs posent une question sur votre sujet à un assistant. Les bloquer revient à bloquer un moteur de recherche.

Extracteurs déclenchés par l'utilisateur

Ils récupèrent une page au moment précis où un utilisateur demande à un assistant de la lire : ChatGPT-User, Claude-User, Perplexity-User. Plusieurs entreprises indiquent que ces robots ne respectent pas toujours le fichier robots.txt, car la requête provient d'une action humaine.

Une configuration par défaut raisonnable

De nombreux sites autorisent les robots de recherche et les extracteurs utilisateur, tout en bloquant les robots d'entraînement :

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: CCBot
Disallow: /

Le fichier robots.txt est une requête, pas un verrou. Pour les robots qui l'ignorent, bloquez-les sur votre serveur ou votre pare-feu via leur user agent et, lorsque l'entreprise les publie, par plage d'adresses IP.

Apparaissent-ils dans vos statistiques ?

Les robots d'indexation n'exécutent pas votre script d'analyse comme le ferait un navigateur, et Statsdot exclut également les robots connus au niveau du serveur afin qu'ils ne gonflent pas vos chiffres de fréquentation. Pour consulter chaque robot IA avec son user agent et ses règles robots.txt, parcourez notre répertoire des robots d'indexation IA.