Firecrawl · Autres bots IA

FirecrawlAgent

Firecrawl est une API d'extraction et d'exploration que les développeurs utilisent pour transformer des pages web en données pour des applications d'IA. Elle lit le robots.txt avant d'explorer un site et applique les règles pour FirecrawlAgent et *.

Nom dans robots.txt

FirecrawlAgent

User-agent

FirecrawlAgent

Catégorie

Autres bots IA: Autres agents automatisés liés à des services d'IA.

Respecte robots.txt

Oui

Documentation officielle

https://docs.firecrawl.dev/advanced-scraping-guide

Vérifié par rapport à la documentation officielle le 17 octobre 2026.

Le bloquer ou l'autoriser dans robots.txt

Ajoutez ces lignes au fichier robots.txt situé à la racine de votre domaine. Pour le bloquer partout :

User-agent: FirecrawlAgent
Disallow: /

Pour l'autoriser partout sauf dans un dossier :

User-agent: FirecrawlAgent
Disallow: /private/

S'agit-il vraiment de ce bot ?

N'importe qui peut copier un user-agent, et Firecrawl ne publie pas de plages d'adresses IP pour ce bot. Une recherche DNS inverse de l'adresse IP peut vous aider ; consultez la documentation officielle.