KI-Crawler, Such-Bots und Trainings-Agenten
Eine Übersicht der Bots, die Websites für KI-Assistenten, Suchmaschinen und Modelltraining besuchen: Was jeder einzelne tut, wie er sich identifiziert, ob er der robots.txt folgt und wie Sie ihn zulassen oder blockieren.
KI-Antworten
Ruft eine Seite ab, wenn jemand einen Assistenten danach fragt.
- Amzn-User Amazon Ruft im Auftrag eines Nutzers aktuelle Informationen aus dem Web ab, etwa um Alexa-Fragen zu beantworten, die aktuelle Fakten brauchen. Laut Amazon sammelt er keine Inhalte für das Training generativer KI.
- Claude-User Anthropic Ruft eine Seite auf, wenn jemand Claude eine Frage stellt, die sie erfordert. Wer ihn blockiert, verhindert, dass Claude die eigenen Seiten für Nutzerfragen liest, was die Sichtbarkeit in Antworten verringern kann.
- DuckAssistBot DuckDuckGo Ruft Seiten in Echtzeit für die KI-gestützten Antworten der DuckDuckGo-Suche ab, die ihre Quellen nennen. Laut DuckDuckGo werden die Daten nicht für KI-Training verwendet, und eine Sperre wirkt sich nicht auf das Suchranking aus.
- Gemini Notebook Google Ruft einzelne URLs ab, die Nutzer von Gemini Notebook als Quellen zu ihren Projekten hinzufügen. Er ersetzt den früheren Agenten Google-NotebookLM, der bis August 2026 unterstützt wurde.
- Google-Agent Google Wird von KI-Agenten auf Googles Infrastruktur genutzt, um auf Anfrage eines Nutzers Websites aufzurufen und dort Aktionen auszuführen.
- Meta-ExternalFetcher Meta Ruft einzelne Links auf Anfrage eines Nutzers ab und unterstützt Metas KI-Agenten, etwa wenn eine KI Websites aufruft, um Aufgaben zu erledigen.
- MistralAI-User Mistral AI Ruft eine Seite auf, wenn jemand Mistrals Assistenten Vibe eine Frage stellt, und kann sie als Quelle verlinken. Laut Mistral crawlt er nicht automatisch und sammelt keine Trainingsdaten.
- Kimi-User Moonshot AI Führt von Nutzern ausgelöste Aktionen in Kimi aus, etwa einen Artikel zusammenzufassen oder eine Frage mit aktuellen Webinhalten zu beantworten. Eine Sperre kann die Sichtbarkeit in Suchen über Kimi verringern.
- ChatGPT-User OpenAI Ruft eine Seite auf, wenn jemand in ChatGPT oder einem eigenen GPT etwas fragt, das sie erfordert, oder über GPT Actions. Laut OpenAI crawlt er nicht automatisch und entscheidet nicht über die Aufnahme in die ChatGPT-Suche.
- Perplexity-User Perplexity Ruft eine Seite auf, wenn jemand Perplexity eine Frage stellt, und kann sie in der Antwort verlinken. Laut Perplexity dient er weder zum Crawlen noch zum Sammeln von Trainingsdaten.
- SBIntuitions-SearchBot SB Intuitions Ruft Websites im Auftrag eines Nutzers auf, wenn dieser in Sarashina, dem Assistenten von SoftBanks SB Intuitions, eine Frage stellt, und kann sie in der Antwort verlinken. Laut Unternehmen werden diese Inhalte nicht für die KI-Entwicklung verwendet.
Suchindizes
Durchsucht das Web, um den Index einer Suchmaschine oder KI-Suche aufzubauen.
- Amzn-SearchBot Amazon Crawlt Seiten für Suchfunktionen in Amazon-Produkten wie Alexa; wer ihn blockiert, ist dort nicht mehr vertreten. Laut Amazon crawlt er nicht für das Training generativer KI.
- AndiBot Andi Crawler und Proxy von Andi, einer KI-Suchmaschine. Er crawlt das Web für Andis Suchergebnisse und ruft Seiten anonym für den Lese- und Vorschaumodus ab.
- Claude-SearchBot Anthropic Crawlt das Web, um Relevanz und Genauigkeit der Suchergebnisse von Claude zu verbessern. Wer ihn blockiert, bleibt aus diesem Index heraus, was die Sichtbarkeit in Suchantworten verringern kann.
- Applebot Apple Liefert die Suche in Spotlight, Siri und Safari; seine Daten können auch zum Training von Apples Basismodellen dienen. Wer ihn blockiert, verschwindet aus diesen Ergebnissen; um nur das Training auszuschließen, blockieren Sie Applebot-Extended.
- Baiduspider Baidu Der Crawler der Suchmaschine Baidu, der ihren Index aufbaut. Wer ihn blockiert, verschwindet aus der Baidu-Suche und den übrigen Suchergebnissen von Baidu.
- Diffbot Diffbot Crawlt das Web für den Diffbot Knowledge Graph und dessen Websuche, in der Websites gefunden und zitiert werden können. Laut Diffbot crawlt er keine Seiten für das Training generativer KI-Basismodelle.
- DuckDuckBot DuckDuckGo Der Crawler von DuckDuckGo, mit dem die Suchergebnisse verbessert werden. Für KI-gestützte Antworten gibt es einen eigenen Bot, DuckAssistBot.
- ExaSearchBot Exa Crawler der Suchmaschine Exa, der öffentliche Seiten indexiert, damit Menschen und Anwendungen sie finden, abrufen und zitieren können. Seiten, die Exa auf Nutzeranfrage abruft, laufen unter dem Namen ExaUser.
- Googlebot Google Baut den Index der Google-Suche auf. Regeln für Googlebot gelten auch für Discover, Google Bilder, Video, Google News und weitere Produkte; wer ihn blockiert, verschwindet aus der Google-Suche.
- PetalBot Huawei Crawler der Huawei-Suchmaschine Petal, die auch die Empfehlungen in Huawei Assistant und AI Search liefert. Wer ihn blockiert, verschwindet aus der Petal-Suche.
- LinkupBot Linkup Baut den Suchindex von Linkup auf, der KI-Anwendungen mit Websuche und Webkontext versorgt.
- Meta-WebIndexer Meta Crawlt das Web, um die Suchergebnisse von Meta AI zu verbessern. Laut Meta hilft es, ihn zuzulassen, damit Meta AI Ihre Inhalte in Antworten zitiert und verlinkt.
- Bingbot Microsoft Der Standard-Crawler von Bing, der den Großteil des Crawlings übernimmt und den Bing-Index aufbaut. Wer ihn blockiert, verschwindet aus Bing.
- MistralAI-Index Mistral AI Crawlt das Web, um Inhalte für die Mistral-Suche zu indexieren, die Antworten im Assistenten Vibe unterstützt. Laut Mistral werden die Inhalte nicht für das Training generativer KI verwendet.
- Kimi-SearchBot Moonshot AI Liefert die Suchfunktionen von Kimi, dem Assistenten von Moonshot AI, indem er Seiten analysiert und den Suchindex aufbaut. Wer ihn blockiert, erscheint nicht in den Suchergebnissen von Kimi.
- OAI-SearchBot OpenAI Bringt Websites in die Suchfunktionen von ChatGPT. Websites, die ihn blockieren, erscheinen nicht in den Suchantworten von ChatGPT, können aber weiterhin als Navigationslinks auftauchen.
- PerplexityBot Perplexity Zeigt und verlinkt Websites in den Suchergebnissen von Perplexity. Laut Perplexity crawlt er keine Inhalte für KI-Basismodelle.
- YandexBot Yandex Der Haupt-Indexierungsroboter von Yandex, der den Suchindex aufbaut. Wer ihn blockiert, verschwindet aus der Yandex-Suche.
- YouBot You.com Crawler der Suchmaschine You.com, der Seiten für deren Suchergebnisse findet und indexiert.
Trainings-Crawler
Erfasst öffentliche Seiten, die zum Trainieren von KI-Modellen verwendet werden können.
- AI2Bot Ai2 Crawler von Ai2 (Allen Institute for AI), einem gemeinnützigen Forschungsinstitut. Die gesammelten Inhalte dienen zum Training offener Sprachmodelle.
- Amazonbot Amazon Dient zur Verbesserung von Amazons Produkten und Diensten; seine Daten können zum Training von Amazons KI-Modellen verwendet werden. Für die Suche in Alexa gibt es einen eigenen Bot, Amzn-SearchBot.
- ClaudeBot Anthropic Sammelt öffentliche Webinhalte, die zum Training der Claude-Modelle von Anthropic verwendet werden können. Eine Sperre signalisiert, dass künftige Inhalte aus den Trainingsdaten herausbleiben sollen; Suche und Nutzerabrufe von Claude laufen über andere Bots.
- Applebot-Extended Apple Ein robots.txt-Token, kein Crawler: Es legt fest, ob von Applebot gecrawlte Daten zum Training von Apples Basismodellen verwendet werden dürfen. Eine Sperre entfernt die Website nicht aus Apples Suchergebnissen.
- Bytespider ByteDance Crawler von ByteDance, dem Eigentümer von TikTok. Bot-Verzeichnissen zufolge lädt er Trainingsdaten für die Sprachmodelle von ByteDance herunter, auch für den Assistenten Doubao.
- cohere-training-data-crawler Cohere Crawler, den Bot-Verzeichnisse Cohere zuordnen; er lädt Trainingsdaten für die Sprachmodelle hinter Coheres KI-Produkten für Unternehmen herunter.
- CCBot Common Crawl Crawler von Common Crawl, einer gemeinnützigen Organisation, die ein offenes, frei herunterladbares Archiv des Webs pflegt. Das Archiv wird häufig als Trainingsquelle für Sprachmodelle genutzt; eine Sperre von CCBot hält künftige Seiten daraus heraus.
- Google-Extended Google Ein robots.txt-Token, kein eigener Crawler: Es steuert, ob von Google gecrawlte Inhalte zum Training künftiger Gemini-Modelle und als Grundlage in Gemini Apps und Vertex AI genutzt werden dürfen. Aufnahme und Ranking in der Google-Suche bleiben unberührt.
- PanguBot Huawei Crawler, den Bot-Verzeichnisse Huawei zuordnen; er lädt Trainingsdaten für Huaweis multimodales Sprachmodell PanGu herunter.
- Meta-ExternalAgent Meta Crawlt das Web etwa zum Training von Metas KI-Basismodellen oder um Produkte durch direktes Indexieren von Inhalten zu verbessern. Wer ihn blockiert, bleibt aus diesem Crawl heraus.
- MistralAI-Training Mistral AI Crawlt Webinhalte, um Datensätze für das Training von Mistrals generativen KI-Modellen aufzubauen. Laut Mistral dient er weder der Suchindexierung noch Live-Antworten in Vibe.
- KimiBot Moonshot AI Crawlt Inhalte, die zum Training der Basismodelle hinter Kimi, dem Assistenten von Moonshot AI, verwendet werden können. Eine Sperre signalisiert, dass Ihre Inhalte nicht für das Training genutzt werden sollen.
- ICC-Crawler NICT Crawler des japanischen National Institute of Information and Communications Technology (NICT). Die gesammelten Seiten dienen der Forschung zu Übersetzung, Informationsanalyse und KI und können für gemeinsame Forschung an Dritte weitergegeben werden.
- GPTBot OpenAI Sammelt öffentliche Webseiten, die zum Training der generativen KI-Modelle von OpenAI verwendet werden können. Wer ihn blockiert, hält seine Inhalte aus künftigen Trainingsdaten heraus; die ChatGPT-Suche ist davon nicht betroffen.
- SBIntuitionsBot SB Intuitions Crawler von SB Intuitions, einem SoftBank-Unternehmen für japanische Sprachmodelle; er dient der KI-Entwicklung und Informationsanalyse.
- Timpibot Timpi Crawler, den unabhängige Knotenbetreiber im dezentralen Netzwerk von Timpi betreiben. Bot-Verzeichnissen zufolge kann der aufgebaute Index zum Training von Sprachmodellen genutzt werden.
- Webzio-Extended Webz.io Kennzeichnet die von Webz.io gesammelten Daten als für KI- und Machine-Learning-Training nutzbar oder nicht. Webz.io verkauft Webdaten an andere Unternehmen; eine Sperre signalisiert, dass Ihre Inhalte nicht für KI-Training angeboten werden sollen.
Andere KI-Bots
Andere automatisierte Agenten im Zusammenhang mit KI-Diensten.
- TerraCotta Ceramic AI Webcrawler von Ceramic AI (ceramic.ai). Laut Unternehmen gibt er sich als TerraCotta zu erkennen und befolgt die robots.txt.
- FirecrawlAgent Firecrawl Firecrawl ist eine Scraping- und Crawling-API, mit der Entwickler Webseiten in Daten für KI-Anwendungen umwandeln. Vor dem Crawlen liest sie die robots.txt und wendet die Regeln für FirecrawlAgent und * an.
- Google-CloudVertexBot Google Crawlt Websites auf Wunsch ihrer Betreiber, um Vertex-AI-Agenten in Google Cloud aufzubauen. Auf die Google-Suche und andere Produkte hat er keinen Einfluss.
- GoogleOther Google Allgemeiner Google-Crawler, mit dem Produktteams öffentliche Inhalte abrufen, etwa für einmalige Crawls zur internen Forschung und Entwicklung. Eine Sperre betrifft kein bestimmtes Google-Produkt.
- ImagesiftBot Hive Crawler von ImageSift (Hive), der öffentlich zugängliche Bilder samt Seitentext und Alt-Text sammelt, um einen Index für die umgekehrte Bildersuche und andere Web-Intelligence-Produkte aufzubauen.
- Cotoyogi ROIS-DS Crawler des Center for Research and Development on Data Lake bei ROIS-DS, einer japanischen Forschungseinrichtung, der japanischsprachige Datenressourcen sammelt.
- omgili Webz.io Älterer Crawler von Webz.io, ursprünglich für die eingestellte Suchmaschine Omgili. Er indexiert Nachrichtenseiten, Blogs, Bewertungen und Foren für die Daten-API von Webz.io, die andere Unternehmen kaufen.
- YandexAdditional Yandex Damit lassen sich bereits von YandexBot indexierte Seiten aus den KI-Antworten der Yandex-Suche heraushalten. Eigene Indexierungsanfragen stellt er nicht.
Sehen Sie, welche KI-Crawler Ihre Website lesen
Statsdot hält Bots von Ihren Besuchern fern und zeigt mit KI-Crawler-Tracking, welche Crawler Ihre Seiten lesen und welche Seiten sie anfordern. Keine Cookies, keine personenbezogenen Daten.