Diffbot · Index de recherche

Diffbot

Explore le web pour construire le Knowledge Graph de Diffbot et ses services de recherche, où les sites peuvent être trouvés et cités. Diffbot indique ne pas explorer de pages pour entraîner des modèles de fondation d'IA générative.

Nom dans robots.txt

Diffbot

User-agent

Diffbot

Catégorie

Index de recherche: Explore le Web pour construire l'index d'un moteur de recherche ou d'une recherche IA.

Respecte robots.txt

Partiellement. Diffbot suit le robots.txt par défaut, mais indique que les règles peuvent être ignorées dans certains cas, en général à cause d'un accord avec le site exploré.

Documentation officielle

https://docs.diffbot.com/docs/does-crawl-respect-robotstxt

Vérifié par rapport à la documentation officielle le 17 octobre 2026.

Le bloquer ou l'autoriser dans robots.txt

Ajoutez ces lignes au fichier robots.txt situé à la racine de votre domaine. Pour le bloquer partout :

User-agent: Diffbot
Disallow: /

Pour l'autoriser partout sauf dans un dossier :

User-agent: Diffbot
Disallow: /private/

Ce bot ne respecte pas toujours robots.txt. Pour l'exclure à coup sûr, bloquez-le sur votre serveur ou pare-feu par user-agent et, lorsqu'elles sont publiées, par plage d'adresses IP.

S'agit-il vraiment de ce bot ?

N'importe qui peut copier un user-agent, et Diffbot ne publie pas de plages d'adresses IP pour ce bot. Une recherche DNS inverse de l'adresse IP peut vous aider ; consultez la documentation officielle.