Diffbot · Índices de pesquisa

Diffbot

Rastreia a web para construir o Knowledge Graph da Diffbot e os seus serviços de pesquisa, onde os sites podem ser encontrados e citados. A Diffbot indica que não rastreia páginas para treinar modelos de base de IA generativa.

Nome no robots.txt

Diffbot

User agent

Diffbot

Categoria

Índices de pesquisa: Percorrer a web para criar o índice de um motor de pesquisa ou pesquisa de IA.

Respeita o robots.txt

Parcialmente. A Diffbot segue o robots.txt por predefinição, mas indica que as regras podem ser ignoradas em casos específicos, normalmente por um acordo com o site rastreado.

Documentação oficial

https://docs.diffbot.com/docs/does-crawl-respect-robotstxt

Verificado com a documentação oficial em 17 de outubro de 2026.

Bloqueie ou permita no robots.txt

Adicione estas linhas ao ficheiro robots.txt na raiz do seu domínio. Para bloquear em todo o lado:

User-agent: Diffbot
Disallow: /

Para o permitir em todo o lado exceto numa pasta:

User-agent: Diffbot
Disallow: /private/

Este bot nem sempre respeita o robots.txt. Para o manter de fora com certeza, bloqueie-o no seu servidor ou firewall por user agent e, onde publicado, por intervalo de IP.

É realmente este bot?

Qualquer pessoa pode copiar um user agent e a Diffbot não publica intervalos de IP para este bot. Uma pesquisa de DNS inverso do endereço IP pode ajudar; consulte a documentação oficial.