Crawlers IA, bots de recherche et agents d'entraînement
Un répertoire des bots qui visitent les sites web pour les assistants IA, les moteurs de recherche et l'entraînement de modèles : ce que fait chacun, comment il s'identifie, s'il respecte robots.txt et comment l'autoriser ou le bloquer.
Réponses IA
Récupère une page lorsqu'une personne interroge un assistant à son sujet.
- Amzn-User Amazon Récupère des informations à jour sur le web pour le compte d'un utilisateur, par exemple pour répondre à des questions posées à Alexa. Amazon indique qu'il ne collecte pas de contenu pour entraîner l'IA générative.
- Claude-User Anthropic Consulte une page lorsqu'une question posée à Claude le nécessite. Le bloquer empêche Claude de lire vos pages pour répondre aux utilisateurs, ce qui peut réduire votre visibilité dans ses réponses.
- DuckAssistBot DuckDuckGo Consulte des pages en temps réel pour les réponses assistées par IA de DuckDuckGo, qui citent leurs sources. DuckDuckGo indique que les données ne servent pas à entraîner des modèles d'IA et que le bloquer n'affecte pas votre classement.
- Gemini Notebook Google Récupère les URL que les utilisateurs de Gemini Notebook ajoutent comme sources à leurs projets. Il remplace l'ancien agent Google-NotebookLM, pris en charge jusqu'en août 2026.
- Google-Agent Google Utilisé par des agents d'IA hébergés sur l'infrastructure de Google pour naviguer sur des sites et effectuer des actions à la demande d'un utilisateur.
- Meta-ExternalFetcher Meta Récupère des liens précis à la demande d'un utilisateur et sert les fonctions d'IA agentique de Meta, par exemple pour aider une IA à naviguer sur des sites afin d'accomplir des tâches.
- MistralAI-User Mistral AI Consulte une page lorsqu'une question est posée à Vibe, l'assistant de Mistral, et peut la citer comme source. Mistral indique qu'il n'explore pas le web automatiquement et ne collecte pas de données d'entraînement.
- Kimi-User Moonshot AI Effectue les actions lancées par les utilisateurs de Kimi, comme résumer un article ou répondre à une question qui demande du contenu web à jour. Le bloquer peut réduire votre visibilité dans les recherches faites via Kimi.
- ChatGPT-User OpenAI Consulte une page quand un utilisateur de ChatGPT ou d'un GPT personnalisé pose une question qui le nécessite, ou via les GPT Actions. OpenAI indique qu'il n'explore pas le web automatiquement et ne décide pas de la présence dans la recherche ChatGPT.
- Perplexity-User Perplexity Consulte une page lorsqu'une question est posée à Perplexity et peut la citer dans la réponse. Perplexity indique qu'il ne sert ni à explorer le web ni à collecter des données d'entraînement.
- SBIntuitions-SearchBot SB Intuitions Consulte des sites pour le compte d'un utilisateur qui pose une question à Sarashina, l'assistant de SB Intuitions (SoftBank), et peut les citer dans la réponse. L'entreprise indique que ce contenu ne sert pas au développement de l'IA.
Index de recherche
Explore le Web pour construire l'index d'un moteur de recherche ou d'une recherche IA.
- Amzn-SearchBot Amazon Explore des pages pour les fonctions de recherche des produits Amazon comme Alexa ; le bloquer retire votre contenu de ces fonctions. Amazon indique qu'il n'explore pas le web pour entraîner l'IA générative.
- AndiBot Andi Robot d'exploration et proxy d'Andi, un moteur de recherche à base d'IA. Il explore le web pour les résultats d'Andi et récupère des pages de façon anonyme pour ses modes lecture et aperçu.
- Claude-SearchBot Anthropic Explore le web pour améliorer la pertinence et la précision des résultats de recherche de Claude. Le bloquer tient votre contenu hors de cet index, ce qui peut réduire votre visibilité dans les réponses.
- Applebot Apple Alimente la recherche de Spotlight, Siri et Safari, et ses données peuvent aussi servir à entraîner les modèles de fondation d'Apple. Le bloquer retire votre site de ces résultats ; pour refuser seulement l'entraînement, bloquez Applebot-Extended.
- Baiduspider Baidu Robot du moteur de recherche Baidu, qui construit son index. Le bloquer retire vos pages de la recherche Baidu et des autres résultats fournis par Baidu.
- Diffbot Diffbot Explore le web pour construire le Knowledge Graph de Diffbot et ses services de recherche, où les sites peuvent être trouvés et cités. Diffbot indique ne pas explorer de pages pour entraîner des modèles de fondation d'IA générative.
- DuckDuckBot DuckDuckGo Robot d'exploration de DuckDuckGo, utilisé pour améliorer ses résultats de recherche. Les réponses assistées par IA utilisent un autre robot, DuckAssistBot.
- ExaSearchBot Exa Robot du moteur de recherche Exa, qui indexe des pages publiques pour que personnes et applications puissent les trouver, les récupérer et les citer. Les pages récupérées à la demande d'un utilisateur passent sous le nom ExaUser.
- Googlebot Google Construit l'index de la recherche Google. Les règles pour Googlebot s'appliquent aussi à Discover, Google Images, Vidéo, Google Actualités et d'autres produits ; le bloquer retire vos pages de Google.
- PetalBot Huawei Robot du moteur de recherche Petal de Huawei, qui alimente aussi les recommandations de Huawei Assistant et d'AI Search. Le bloquer retire vos pages de la recherche Petal.
- LinkupBot Linkup Construit l'index de recherche de Linkup, qui fournit recherche et contexte web aux applications d'IA.
- Meta-WebIndexer Meta Explore le web pour améliorer la qualité des résultats de recherche de Meta AI. Meta indique que l'autoriser aide Meta AI à citer et à lier votre contenu dans ses réponses.
- Bingbot Microsoft Robot principal de Bing, qui assure l'essentiel de son exploration et construit son index. Le bloquer retire vos pages de Bing.
- MistralAI-Index Mistral AI Explore le web pour indexer du contenu pour la recherche de Mistral, qui aide à répondre dans son assistant Vibe. Mistral indique que ce contenu ne sert pas à entraîner l'IA générative.
- Kimi-SearchBot Moonshot AI Alimente la recherche de Kimi, l'assistant de Moonshot AI, en analysant des pages et en construisant son index. Le bloquer tient votre site hors des résultats de recherche de Kimi.
- OAI-SearchBot OpenAI Fait apparaître des sites dans les fonctions de recherche de ChatGPT. Les sites qui le bloquent ne sont pas affichés dans les réponses de recherche, mais peuvent encore apparaître comme liens de navigation.
- PerplexityBot Perplexity Fait apparaître et lie des sites dans les résultats de recherche de Perplexity. Perplexity indique qu'il ne sert pas à collecter du contenu pour des modèles de fondation d'IA.
- YandexBot Yandex Robot d'indexation principal de Yandex, qui construit son index de recherche. Le bloquer retire vos pages de la recherche Yandex.
- YouBot You.com Robot du moteur de recherche You.com, qui découvre et indexe des pages pour ses résultats.
Crawlers d'entraînement
Collecte les pages publiques susceptibles d'être utilisées pour entraîner des modèles d'IA.
- AI2Bot Ai2 Robot d'Ai2 (Allen Institute for AI), un institut de recherche à but non lucratif. Le contenu collecté sert à entraîner des modèles de langage ouverts.
- Amazonbot Amazon Sert à améliorer les produits et services d'Amazon, et ses données peuvent servir à entraîner des modèles d'IA d'Amazon. La recherche dans Alexa utilise un autre robot, Amzn-SearchBot.
- ClaudeBot Anthropic Collecte du contenu web public qui peut servir à entraîner les modèles Claude d'Anthropic. Le bloquer signale que votre contenu futur doit être exclu des données d'entraînement ; la recherche et les requêtes des utilisateurs de Claude passent par d'autres robots.
- Applebot-Extended Apple Un jeton robots.txt, pas un robot : il détermine si les données collectées par Applebot peuvent servir à entraîner les modèles de fondation d'Apple. Le bloquer ne retire pas votre site des résultats de recherche d'Apple.
- Bytespider ByteDance Robot de ByteDance, propriétaire de TikTok. Selon les annuaires de robots, il télécharge des données d'entraînement pour les modèles de langage de ByteDance, dont ceux de son assistant Doubao.
- cohere-training-data-crawler Cohere Robot que les annuaires de robots attribuent à Cohere, utilisé pour télécharger des données d'entraînement pour les modèles de langage de ses produits d'IA pour entreprises.
- CCBot Common Crawl Robot de Common Crawl, une organisation à but non lucratif qui maintient une archive ouverte du web, téléchargeable librement. Cette archive sert souvent de source de données d'entraînement pour les modèles de langage ; bloquer CCBot en tient vos futures pages à l'écart.
- Google-Extended Google Un jeton robots.txt, pas un robot distinct : il contrôle si le contenu exploré par Google peut servir à entraîner les futurs modèles Gemini et à l'ancrage dans les applis Gemini et Vertex AI. Il n'a pas d'effet sur la présence ni le classement dans la recherche Google.
- PanguBot Huawei Robot que les annuaires de robots attribuent à Huawei, utilisé pour télécharger des données d'entraînement pour son modèle de langage multimodal PanGu.
- Meta-ExternalAgent Meta Explore le web pour des usages comme l'entraînement des modèles de fondation d'IA de Meta ou l'amélioration de produits par l'indexation directe de contenu. Le bloquer tient votre contenu à l'écart de cette exploration.
- MistralAI-Training Mistral AI Explore du contenu web pour constituer des jeux de données d'entraînement pour les modèles d'IA générative de Mistral. Mistral indique qu'il ne sert ni à l'indexation ni aux réponses en direct dans Vibe.
- KimiBot Moonshot AI Explore du contenu qui peut servir à entraîner les modèles de fondation de Kimi, l'assistant de Moonshot AI. Le bloquer signale que votre contenu ne doit pas servir à l'entraînement.
- ICC-Crawler NICT Robot de l'Institut national japonais des technologies de l'information et de la communication (NICT). Les pages collectées servent à la recherche en traduction, analyse de l'information et IA, et peuvent être partagées avec des tiers pour des recherches communes.
- GPTBot OpenAI Collecte des pages web publiques qui peuvent servir à entraîner les modèles d'IA générative d'OpenAI. Le bloquer tient votre contenu à l'écart des futures données d'entraînement, sans effet sur la recherche de ChatGPT.
- SBIntuitionsBot SB Intuitions Robot de SB Intuitions, société de SoftBank qui développe des modèles de langage japonais, utilisé pour le développement de l'IA et l'analyse d'informations.
- Timpibot Timpi Robot exécuté par les opérateurs de nœuds indépendants du réseau décentralisé de Timpi. Selon les annuaires de robots, l'index qu'il construit peut servir à entraîner des modèles de langage.
- Webzio-Extended Webz.io Marque les données collectées par Webz.io comme utilisables ou non pour l'entraînement de l'IA et de l'apprentissage automatique. Webz.io vend des données web à d'autres entreprises ; bloquer cet agent signale que votre contenu ne doit pas être proposé pour l'entraînement.
Autres bots IA
Autres agents automatisés liés à des services d'IA.
- TerraCotta Ceramic AI Robot d'exploration de Ceramic AI (ceramic.ai). L'entreprise indique qu'il s'identifie comme TerraCotta et suit le robots.txt.
- FirecrawlAgent Firecrawl Firecrawl est une API d'extraction et d'exploration que les développeurs utilisent pour transformer des pages web en données pour des applications d'IA. Elle lit le robots.txt avant d'explorer un site et applique les règles pour FirecrawlAgent et *.
- Google-CloudVertexBot Google Explore des sites à la demande de leurs propriétaires pour créer des agents Vertex AI sur Google Cloud. Il n'a aucun effet sur la recherche Google ni sur d'autres produits.
- GoogleOther Google Robot générique de Google que les équipes produit utilisent pour récupérer du contenu public, par exemple pour des explorations ponctuelles de recherche et développement interne. Le bloquer n'affecte aucun produit Google précis.
- ImagesiftBot Hive Robot d'ImageSift, de Hive, qui collecte des images publiques avec le texte de la page et le texte alternatif pour construire un index de recherche d'images inversée et d'autres produits de veille web.
- Cotoyogi ROIS-DS Robot du Center for Research and Development on Data Lake de ROIS-DS, un organisme de recherche japonais, qui collecte des ressources de données en japonais.
- omgili Webz.io Ancien robot de Webz.io, créé pour le moteur de recherche Omgili, aujourd'hui arrêté. Il indexe sites d'actualité, blogs, avis et forums pour l'API de données de Webz.io, achetée par d'autres entreprises.
- YandexAdditional Yandex Permet d'exclure des réponses d'IA de la recherche Yandex les pages déjà indexées par YandexBot. Il ne fait pas de requêtes d'indexation propres.
Voyez quels robots IA lisent votre site
Statsdot exclut les bots de vos visiteurs et, avec le suivi des robots IA, montre quels robots lisent vos pages et quelles pages ils demandent. Pas de cookies, pas de données personnelles.