Firecrawl · Otros bots de IA

FirecrawlAgent

Firecrawl es una API de extracción y rastreo que los desarrolladores usan para convertir páginas web en datos para aplicaciones de IA. Lee robots.txt antes de rastrear un sitio y aplica las reglas para FirecrawlAgent y *.

Nombre en robots.txt

FirecrawlAgent

Agente de usuario

FirecrawlAgent

Categoría

Otros bots de IA: Otros agentes automatizados relacionados con servicios de IA.

Respeta robots.txt

Sí

Documentación oficial

https://docs.firecrawl.dev/advanced-scraping-guide

Verificado con la documentación oficial el 17 de octubre de 2026.

Bloquearlo o permitirlo en robots.txt

Añade estas líneas al archivo robots.txt en la raíz de tu dominio. Para bloquearlo en todas partes:

User-agent: FirecrawlAgent
Disallow: /

Para permitirlo en todas partes excepto en una carpeta:

User-agent: FirecrawlAgent
Disallow: /private/

¿Se trata realmente de este bot?

Cualquiera puede copiar un agente de usuario, y Firecrawl no publica rangos de IP para este bot. Una búsqueda DNS inversa de la dirección IP puede ser de ayuda; consulta la documentación oficial.