Crawlers de IA, bots de pesquisa e agentes de treino
Uma referência dos bots que visitam sites para assistentes de IA, motores de pesquisa e treino de modelos: o que cada um faz, como se identifica, se respeita o robots.txt e como permitir ou bloquear.
Respostas de IA
Obter uma página quando alguém pergunta a um assistente sobre ela.
- Amzn-User Amazon Obtém informação atualizada da web em nome de um utilizador, por exemplo para responder a perguntas feitas à Alexa. A Amazon indica que não recolhe conteúdo para treinar IA generativa.
- Claude-User Anthropic Visita uma página quando alguém faz ao Claude uma pergunta que a exige. Bloqueá-lo impede o Claude de ler as suas páginas para responder a utilizadores, o que pode reduzir a sua visibilidade nas respostas.
- DuckAssistBot DuckDuckGo Obtém páginas em tempo real para as respostas assistidas por IA do DuckDuckGo, que citam as fontes. O DuckDuckGo indica que os dados não são usados para treinar modelos de IA e que bloqueá-lo não afeta a sua posição na pesquisa.
- Gemini Notebook Google Obtém os URL que os utilizadores do Gemini Notebook adicionam como fontes aos seus projetos. Substitui o antigo agente Google-NotebookLM, suportado até agosto de 2026.
- Google-Agent Google Usado por agentes de IA alojados na infraestrutura da Google para navegar em sites e realizar ações a pedido de um utilizador.
- Meta-ExternalFetcher Meta Obtém ligações individuais a pedido de um utilizador e suporta as funções de IA com agentes da Meta, como ajudar a IA a navegar em sites para concluir tarefas.
- MistralAI-User Mistral AI Visita uma página quando alguém faz uma pergunta ao Vibe, o assistente da Mistral, e pode citá-la como fonte. A Mistral indica que não rastreia automaticamente nem recolhe dados de treino.
- Kimi-User Moonshot AI Executa as ações iniciadas pelos utilizadores no Kimi, como resumir um artigo ou responder a uma pergunta que exige conteúdo web atual. Bloqueá-lo pode reduzir a sua visibilidade nas pesquisas feitas através do Kimi.
- ChatGPT-User OpenAI Visita uma página quando um utilizador do ChatGPT ou de um GPT personalizado pergunta algo que a exige, ou através das GPT Actions. A OpenAI indica que não rastreia automaticamente nem decide se o conteúdo aparece na pesquisa do ChatGPT.
- Perplexity-User Perplexity Visita uma página quando alguém faz uma pergunta ao Perplexity e pode citá-la na resposta. A Perplexity indica que não é usado para rastrear nem para recolher dados de treino.
- SBIntuitions-SearchBot SB Intuitions Visita sites em nome de um utilizador que faz uma pergunta ao Sarashina, o assistente da SB Intuitions (SoftBank), e pode citá-los na resposta. A empresa indica que este conteúdo não é usado para desenvolver IA.
Índices de pesquisa
Percorrer a web para criar o índice de um motor de pesquisa ou pesquisa de IA.
- Amzn-SearchBot Amazon Rastreia páginas para as funções de pesquisa dos produtos da Amazon, como a Alexa; bloqueá-lo deixa o seu conteúdo fora delas. A Amazon indica que não rastreia para treinar IA generativa.
- AndiBot Andi Rastreador e proxy do Andi, um motor de pesquisa com IA. Rastreia a web para criar os resultados do Andi e obtém páginas de forma anónima para os modos de leitura e pré-visualização.
- Claude-SearchBot Anthropic Rastreia a web para melhorar a relevância e a precisão dos resultados de pesquisa do Claude. Bloqueá-lo deixa o seu conteúdo fora desse índice, o que pode reduzir a sua visibilidade nas respostas.
- Applebot Apple Alimenta a pesquisa do Spotlight, da Siri e do Safari, e os seus dados também podem ser usados para treinar os modelos de base da Apple. Bloqueá-lo retira o seu site desses resultados; para excluir só o treino, bloqueie o Applebot-Extended.
- Baiduspider Baidu Rastreador do motor de pesquisa Baidu, que constrói o seu índice. Bloqueá-lo retira as suas páginas da pesquisa do Baidu e dos outros resultados fornecidos pelo Baidu.
- Diffbot Diffbot Rastreia a web para construir o Knowledge Graph da Diffbot e os seus serviços de pesquisa, onde os sites podem ser encontrados e citados. A Diffbot indica que não rastreia páginas para treinar modelos de base de IA generativa.
- DuckDuckBot DuckDuckGo Rastreador do DuckDuckGo, usado para melhorar os resultados de pesquisa. As respostas assistidas por IA usam outro bot, o DuckAssistBot.
- ExaSearchBot Exa Rastreador do motor de pesquisa Exa, que indexa páginas públicas para que pessoas e aplicações as possam encontrar, obter e citar. As páginas obtidas a pedido de um utilizador saem com outro nome, ExaUser.
- Googlebot Google Constrói o índice da Pesquisa Google. As regras para o Googlebot aplicam-se também ao Discover, Google Imagens, Vídeo, Google Notícias e outros produtos, por isso bloqueá-lo retira as suas páginas do Google.
- PetalBot Huawei Rastreador do motor de pesquisa Petal da Huawei, que também alimenta as recomendações do Huawei Assistant e do AI Search. Bloqueá-lo retira as suas páginas da pesquisa Petal.
- LinkupBot Linkup Constrói o índice de pesquisa da Linkup, que fornece pesquisa e contexto web a aplicações de IA.
- Meta-WebIndexer Meta Rastreia a web para melhorar a qualidade dos resultados de pesquisa da Meta AI. A Meta indica que permiti-lo ajuda a Meta AI a citar e ligar o seu conteúdo nas respostas.
- Bingbot Microsoft Rastreador principal do Bing, que faz a maior parte do rastreio e constrói o seu índice. Bloqueá-lo retira as suas páginas do Bing.
- MistralAI-Index Mistral AI Rastreia a web para indexar conteúdo para a pesquisa da Mistral, que ajuda a responder no seu assistente Vibe. A Mistral indica que o conteúdo não é usado para treinar IA generativa.
- Kimi-SearchBot Moonshot AI Alimenta a pesquisa do Kimi, o assistente da Moonshot AI, analisando páginas e construindo o seu índice. Bloqueá-lo deixa o seu site fora dos resultados de pesquisa do Kimi.
- OAI-SearchBot OpenAI Mostra sites nas funções de pesquisa do ChatGPT. Os sites que o bloqueiam não aparecem nas respostas de pesquisa do ChatGPT, embora possam continuar a surgir como ligações de navegação.
- PerplexityBot Perplexity Mostra e liga sites nos resultados de pesquisa do Perplexity. A Perplexity indica que não é usado para rastrear conteúdo para modelos de base de IA.
- YandexBot Yandex Robô de indexação principal da Yandex, que constrói o seu índice de pesquisa. Bloqueá-lo retira as suas páginas da pesquisa da Yandex.
- YouBot You.com Rastreador do motor de pesquisa You.com, que descobre e indexa páginas para os seus resultados.
Crawlers de treino
Recolher páginas públicas que podem ser utilizadas para treinar modelos de IA.
- AI2Bot Ai2 Rastreador do Ai2 (Allen Institute for AI), um instituto de investigação sem fins lucrativos. O conteúdo recolhido é usado para treinar modelos de linguagem abertos.
- Amazonbot Amazon É usado para melhorar os produtos e serviços da Amazon, e os seus dados podem ser usados para treinar modelos de IA da Amazon. A pesquisa na Alexa usa outro bot, o Amzn-SearchBot.
- ClaudeBot Anthropic Recolhe conteúdo web público que pode ser usado para treinar os modelos Claude da Anthropic. Bloqueá-lo indica que o seu conteúdo futuro deve ficar fora dos dados de treino; a pesquisa e os pedidos dos utilizadores do Claude usam outros bots.
- Applebot-Extended Apple Um token do robots.txt, não um rastreador: decide se os dados recolhidos pelo Applebot podem ser usados para treinar os modelos de base da Apple. Bloqueá-lo não retira o seu site dos resultados de pesquisa da Apple.
- Bytespider ByteDance Rastreador da ByteDance, dona do TikTok. Segundo os diretórios de bots, descarrega dados de treino para os modelos de linguagem da ByteDance, incluindo os do seu assistente Doubao.
- cohere-training-data-crawler Cohere Rastreador que os diretórios de bots atribuem à Cohere, usado para descarregar dados de treino para os modelos de linguagem dos seus produtos de IA para empresas.
- CCBot Common Crawl Rastreador da Common Crawl, uma organização sem fins lucrativos que mantém um arquivo aberto da web, que qualquer pessoa pode descarregar. O arquivo é muito usado como fonte de dados de treino para modelos de linguagem, por isso bloquear o CCBot deixa as suas páginas futuras fora dele.
- Google-Extended Google Um token do robots.txt, não um rastreador à parte: controla se o conteúdo rastreado pela Google pode ser usado para treinar futuros modelos Gemini e como contexto nas apps Gemini e no Vertex AI. Não afeta a inclusão nem a posição na Pesquisa Google.
- PanguBot Huawei Rastreador que os diretórios de bots atribuem à Huawei, usado para descarregar dados de treino para o seu modelo de linguagem multimodal PanGu.
- Meta-ExternalAgent Meta Rastreia a web para usos como treinar os modelos de base de IA da Meta ou melhorar produtos indexando conteúdo diretamente. Bloqueá-lo deixa o seu conteúdo fora desse rastreio.
- MistralAI-Training Mistral AI Rastreia conteúdo web para criar conjuntos de dados de treino para os modelos de IA generativa da Mistral. A Mistral indica que não é usado para indexação nem para respostas em direto no Vibe.
- KimiBot Moonshot AI Rastreia conteúdo que pode ser usado para treinar os modelos de base do Kimi, o assistente da Moonshot AI. Bloqueá-lo indica que o seu conteúdo não deve ser usado para treino.
- ICC-Crawler NICT Rastreador do Instituto Nacional de Tecnologias de Informação e Comunicação do Japão (NICT). As páginas recolhidas são usadas na investigação em tradução, análise de informação e IA, e podem ser partilhadas com terceiros em investigação conjunta.
- GPTBot OpenAI Recolhe páginas web públicas que podem ser usadas para treinar os modelos de IA generativa da OpenAI. Bloqueá-lo mantém o seu conteúdo fora de futuros dados de treino; não afeta a pesquisa do ChatGPT.
- SBIntuitionsBot SB Intuitions Rastreador da SB Intuitions, empresa da SoftBank que desenvolve modelos de linguagem em japonês, usado para desenvolvimento de IA e análise de informação.
- Timpibot Timpi Rastreador executado pelos operadores de nós independentes da rede descentralizada da Timpi. Segundo os diretórios de bots, o índice que constrói pode ser usado para treinar modelos de linguagem.
- Webzio-Extended Webz.io Marca os dados recolhidos pela Webz.io como utilizáveis ou não para treino de IA e aprendizagem automática. A Webz.io vende dados web a outras empresas; bloquear este agente indica que o seu conteúdo não deve ser oferecido para treino de IA.
Outros bots de IA
Outros agentes automatizados relacionados com serviços de IA.
- TerraCotta Ceramic AI Rastreador web da Ceramic AI (ceramic.ai). A empresa indica que se identifica como TerraCotta e segue o robots.txt.
- FirecrawlAgent Firecrawl A Firecrawl é uma API de extração e rastreio que os programadores usam para transformar páginas web em dados para aplicações de IA. Lê o robots.txt antes de rastrear um site e aplica as regras para FirecrawlAgent e *.
- Google-CloudVertexBot Google Rastreia sites a pedido dos proprietários para criar agentes do Vertex AI na Google Cloud. Não tem efeito na Pesquisa Google nem noutros produtos.
- GoogleOther Google Rastreador genérico da Google que as equipas de produto usam para obter conteúdo público, por exemplo em rastreios pontuais de investigação e desenvolvimento interno. Bloqueá-lo não afeta nenhum produto Google específico.
- ImagesiftBot Hive Rastreador do ImageSift, da Hive, que recolhe imagens públicas com o texto da página e o texto alternativo para criar um índice de pesquisa inversa de imagens e outros produtos de inteligência web.
- Cotoyogi ROIS-DS Rastreador do Center for Research and Development on Data Lake da ROIS-DS, um organismo de investigação japonês, que recolhe recursos de dados em japonês.
- omgili Webz.io Rastreador antigo da Webz.io, criado para o extinto motor de pesquisa Omgili. Indexa sites de notícias, blogues, avaliações e fóruns para a API de dados da Webz.io, que outras empresas compram.
- YandexAdditional Yandex Permite excluir das respostas de IA da pesquisa da Yandex as páginas já indexadas pelo YandexBot. Não faz pedidos de indexação próprios.
Veja que crawlers de IA leram o seu site
O Statsdot mantém os bots fora dos seus visitantes e, com a monitorização de crawlers de IA, mostra que crawlers leram as suas páginas e que páginas solicitaram. Sem cookies, sem dados pessoais.