Diffbot · Indici di ricerca

Diffbot

Scansiona il web per costruire il Knowledge Graph di Diffbot e i suoi servizi di ricerca, dove i siti possono essere trovati e citati. Diffbot afferma che non scansiona pagine per addestrare modelli di base di IA generativa.

Nome in robots.txt

Diffbot

User agent

Diffbot

Categoria

Indici di ricerca: Esegue il crawling del web per creare l'indice di un motore di ricerca o di una ricerca IA.

Rispetta robots.txt

Parzialmente. Diffbot segue il robots.txt per impostazione predefinita, ma afferma che le regole possono essere ignorate in casi specifici, di solito per un accordo con il sito.

Documentazione ufficiale

https://docs.diffbot.com/docs/does-crawl-respect-robotstxt

Verificato con la documentazione ufficiale il 17 ottobre 2026.

Bloccalo o autorizzalo in robots.txt

Aggiungi queste righe al file robots.txt nella radice del tuo dominio. Per bloccarlo ovunque:

User-agent: Diffbot
Disallow: /

Per autorizzarlo ovunque tranne in una cartella:

User-agent: Diffbot
Disallow: /private/

Questo bot non sempre rispetta robots.txt. Per tenerlo fuori con certezza, bloccalo sul tuo server o firewall tramite user agent e, se pubblicati, tramite intervallo IP.

Si tratta davvero di questo bot?

Chiunque può copiare uno user agent e Diffbot non pubblica gli intervalli IP per questo bot. Un controllo DNS inverso dell'indirizzo IP potrebbe essere d'aiuto; verifica la documentazione ufficiale.