KI-Crawler: Sollten Sie diese blockieren?

KI-Unternehmen senden drei Arten von Bots an Websites, für die unterschiedliche Entscheidungen erforderlich sind.

Trainings-Crawler

Diese sammeln öffentliche Seiten, die möglicherweise zum Training von KI-Modellen verwendet werden. Beispiele: GPTBot, ClaudeBot, CCBot, Bytespider. Einige Unternehmen verwenden ein separates Token nur für die Trainingserlaubnis, wie Google-Extended oder Applebot-Extended: Das Blockieren dieser entfernt Sie nicht aus der Google-Suche oder den Suchfunktionen von Apple.

Blockieren Sie diese, wenn Ihre Inhalte nicht in zukünftigen Trainingsdaten enthalten sein sollen. Dies hat keine Auswirkungen auf klassische Suchergebnisse.

Such-Crawler

Diese erstellen den Index, den KI-Suche und Assistenten zitieren, wie zum Beispiel OAI-SearchBot, Claude-SearchBot oder PerplexityBot.

Erlauben Sie diese, wenn Sie mit einem Link erscheinen möchten, wenn Nutzer einen Assistenten zu Ihrem Thema befragen. Sie zu blockieren ist vergleichbar mit dem Blockieren einer Suchmaschine.

Nutzergesteuerte Abrufer

Diese rufen eine Seite in dem Moment ab, in dem jemand einen Assistenten bittet, sie zu lesen: ChatGPT-User, Claude-User, Perplexity-User. Mehrere Unternehmen geben an, dass diese nicht immer der robots.txt folgen, da eine Person die Seite angefordert hat.

Eine sinnvolle Standardeinstellung

Viele Websites erlauben Such- und Nutzer-Abrufer und blockieren Trainings-Crawler:

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: CCBot
Disallow: /

Die robots.txt ist eine Anfrage, kein Schloss. Bei Bots, die diese ignorieren, blockieren Sie diese auf Ihrem Server oder Ihrer Firewall anhand des User-Agents und, sofern das Unternehmen diese veröffentlicht, anhand des IP-Bereichs.

Tauchen diese in Ihren Analysen auf?

Crawler führen Ihr Analyse-Skript nicht wie ein Browser aus, und Statsdot schließt bekannte Bots zudem serverseitig aus, sodass diese Ihre Besucherzahlen nicht verfälschen. Um jeden KI-Bot mit seinem User-Agent und den robots.txt-Regeln zu sehen, durchsuchen Sie unser KI-Crawler-Verzeichnis.