Diffbot · Índices de búsqueda

Diffbot

Rastrea la web para construir el Knowledge Graph de Diffbot y sus servicios de búsqueda, donde los sitios pueden encontrarse y citarse. Diffbot indica que no rastrea páginas para entrenar modelos fundacionales de IA generativa.

Nombre en robots.txt

Diffbot

Agente de usuario

Diffbot

Categoría

Índices de búsqueda: Rastrean la web para crear el índice de un motor de búsqueda o búsqueda con IA.

Respeta robots.txt

Parcialmente. Diffbot sigue robots.txt por defecto, pero indica que las reglas pueden omitirse en casos concretos, normalmente por un acuerdo con el sitio rastreado.

Documentación oficial

https://docs.diffbot.com/docs/does-crawl-respect-robotstxt

Verificado con la documentación oficial el 17 de octubre de 2026.

Bloquearlo o permitirlo en robots.txt

Añade estas líneas al archivo robots.txt en la raíz de tu dominio. Para bloquearlo en todas partes:

User-agent: Diffbot
Disallow: /

Para permitirlo en todas partes excepto en una carpeta:

User-agent: Diffbot
Disallow: /private/

Este bot no siempre respeta el archivo robots.txt. Para mantenerlo fuera de forma segura, bloquéalo en tu servidor o cortafuegos por agente de usuario y, cuando estén publicados, por rango de IP.

¿Se trata realmente de este bot?

Cualquiera puede copiar un agente de usuario, y Diffbot no publica rangos de IP para este bot. Una búsqueda DNS inversa de la dirección IP puede ser de ayuda; consulta la documentación oficial.