Firecrawl · Outros bots de IA

FirecrawlAgent

A Firecrawl é uma API de extração e rastreio que os programadores usam para transformar páginas web em dados para aplicações de IA. Lê o robots.txt antes de rastrear um site e aplica as regras para FirecrawlAgent e *.

Nome no robots.txt

FirecrawlAgent

User agent

FirecrawlAgent

Categoria

Outros bots de IA: Outros agentes automatizados relacionados com serviços de IA.

Respeita o robots.txt

Sim

Documentação oficial

https://docs.firecrawl.dev/advanced-scraping-guide

Verificado com a documentação oficial em 17 de outubro de 2026.

Bloqueie ou permita no robots.txt

Adicione estas linhas ao ficheiro robots.txt na raiz do seu domínio. Para bloquear em todo o lado:

User-agent: FirecrawlAgent
Disallow: /

Para o permitir em todo o lado exceto numa pasta:

User-agent: FirecrawlAgent
Disallow: /private/

É realmente este bot?

Qualquer pessoa pode copiar um user agent e a Firecrawl não publica intervalos de IP para este bot. Uma pesquisa de DNS inverso do endereço IP pode ajudar; consulte a documentação oficial.