Firecrawl · Andere KI-Bots

FirecrawlAgent

Firecrawl ist eine Scraping- und Crawling-API, mit der Entwickler Webseiten in Daten für KI-Anwendungen umwandeln. Vor dem Crawlen liest sie die robots.txt und wendet die Regeln für FirecrawlAgent und * an.

robots.txt-Name

FirecrawlAgent

User-Agent

FirecrawlAgent

Kategorie

Andere KI-Bots: Andere automatisierte Agenten im Zusammenhang mit KI-Diensten.

Befolgt robots.txt

Ja

Offizielle Dokumentation

https://docs.firecrawl.dev/advanced-scraping-guide

Geprüft anhand der offiziellen Dokumentation am 17. Oktober 2026.

In robots.txt blockieren oder zulassen

Fügen Sie diese Zeilen in die Datei robots.txt im Stammverzeichnis Ihrer Domain ein. Um ihn überall zu blockieren:

User-agent: FirecrawlAgent
Disallow: /

Um ihn überall außer in einem Ordner zuzulassen:

User-agent: FirecrawlAgent
Disallow: /private/

Handelt es sich wirklich um diesen Bot?

Jeder kann einen User-Agent kopieren, und Firecrawl veröffentlicht keine IP-Bereiche für diesen Bot. Ein Reverse-DNS-Lookup der IP-Adresse kann helfen; prüfen Sie die offizielle Dokumentation.