Diffbot · Suchindizes

Diffbot

Crawlt das Web für den Diffbot Knowledge Graph und dessen Websuche, in der Websites gefunden und zitiert werden können. Laut Diffbot crawlt er keine Seiten für das Training generativer KI-Basismodelle.

robots.txt-Name

Diffbot

User-Agent

Diffbot

Kategorie

Suchindizes: Durchsucht das Web, um den Index einer Suchmaschine oder KI-Suche aufzubauen.

Befolgt robots.txt

Teilweise. Diffbot befolgt die robots.txt standardmäßig, gibt aber an, dass die Regeln in bestimmten Fällen übergangen werden können, meist aufgrund einer Vereinbarung mit der Website.

Offizielle Dokumentation

https://docs.diffbot.com/docs/does-crawl-respect-robotstxt

Geprüft anhand der offiziellen Dokumentation am 17. Oktober 2026.

In robots.txt blockieren oder zulassen

Fügen Sie diese Zeilen in die Datei robots.txt im Stammverzeichnis Ihrer Domain ein. Um ihn überall zu blockieren:

User-agent: Diffbot
Disallow: /

Um ihn überall außer in einem Ordner zuzulassen:

User-agent: Diffbot
Disallow: /private/

Dieser Bot befolgt robots.txt nicht immer. Um ihn zuverlässig fernzuhalten, blockieren Sie ihn auf Ihrem Server oder Ihrer Firewall nach User-Agent und, sofern veröffentlicht, nach IP-Bereich.

Handelt es sich wirklich um diesen Bot?

Jeder kann einen User-Agent kopieren, und Diffbot veröffentlicht keine IP-Bereiche für diesen Bot. Ein Reverse-DNS-Lookup der IP-Adresse kann helfen; prüfen Sie die offizielle Dokumentation.