Firecrawl · Altri bot IA

FirecrawlAgent

Firecrawl è un'API di scraping e scansione che gli sviluppatori usano per trasformare pagine web in dati per applicazioni di IA. Legge il robots.txt prima di scansionare un sito e applica le regole per FirecrawlAgent e *.

Nome in robots.txt

FirecrawlAgent

User agent

FirecrawlAgent

Categoria

Altri bot IA: Altri agenti automatizzati legati ai servizi IA.

Rispetta robots.txt

Sì

Documentazione ufficiale

https://docs.firecrawl.dev/advanced-scraping-guide

Verificato con la documentazione ufficiale il 17 ottobre 2026.

Bloccalo o autorizzalo in robots.txt

Aggiungi queste righe al file robots.txt nella radice del tuo dominio. Per bloccarlo ovunque:

User-agent: FirecrawlAgent
Disallow: /

Per autorizzarlo ovunque tranne in una cartella:

User-agent: FirecrawlAgent
Disallow: /private/

Si tratta davvero di questo bot?

Chiunque può copiare uno user agent e Firecrawl non pubblica gli intervalli IP per questo bot. Un controllo DNS inverso dell'indirizzo IP potrebbe essere d'aiuto; verifica la documentazione ufficiale.