Rastreadores de IA, bots de búsqueda y agentes de entrenamiento
Una referencia de los bots que visitan sitios web para asistentes de IA, motores de búsqueda y entrenamiento de modelos: qué hace cada uno, cómo se identifica, si respeta el archivo robots.txt y cómo permitirlo o bloquearlo.
Respuestas de IA
Obtiene una página cuando alguien le pregunta sobre ella a un asistente.
- Amzn-User Amazon Obtiene información actual de la web en nombre de un usuario, por ejemplo para responder preguntas a Alexa que necesitan datos al día. Amazon indica que no recoge contenido para entrenar IA generativa.
- Claude-User Anthropic Visita una página cuando alguien hace a Claude una pregunta que la necesita. Bloquearlo impide que Claude lea tus páginas para responder a usuarios, lo que puede reducir tu visibilidad en sus respuestas.
- DuckAssistBot DuckDuckGo Consulta páginas en tiempo real para las respuestas asistidas por IA de DuckDuckGo, que citan sus fuentes. DuckDuckGo indica que los datos no se usan para entrenar modelos de IA y que bloquearlo no afecta a tu posición en la búsqueda.
- Gemini Notebook Google Obtiene las URL concretas que los usuarios de Gemini Notebook añaden como fuentes a sus proyectos. Sustituye al antiguo agente Google-NotebookLM, admitido hasta agosto de 2026.
- Google-Agent Google Lo usan los agentes de IA alojados en la infraestructura de Google para navegar por sitios web y realizar acciones a petición de un usuario.
- Meta-ExternalFetcher Meta Obtiene enlaces concretos a petición de un usuario y da soporte a las funciones de IA con agentes de Meta, como ayudar a la IA a navegar por sitios web para completar tareas.
- MistralAI-User Mistral AI Visita una página cuando alguien pregunta a Vibe, el asistente de Mistral, y puede enlazarla como fuente. Mistral indica que no rastrea de forma automática y que no se usa para recoger datos de entrenamiento.
- Kimi-User Moonshot AI Gestiona acciones que inician los usuarios en Kimi, como resumir un artículo o responder una pregunta que necesita contenido actual de la web. Bloquearlo puede reducir tu visibilidad en las búsquedas que se hacen desde Kimi.
- ChatGPT-User OpenAI Visita una página cuando un usuario de ChatGPT o de un GPT personalizado pregunta algo que la necesita, o mediante GPT Actions. OpenAI indica que no rastrea de forma automática ni decide si el contenido aparece en la búsqueda de ChatGPT.
- Perplexity-User Perplexity Visita una página cuando alguien hace una pregunta a Perplexity y puede enlazarla en la respuesta. Perplexity indica que no se usa para rastrear ni para recoger datos de entrenamiento.
- SBIntuitions-SearchBot SB Intuitions Visita sitios web en nombre de un usuario cuando pregunta algo en Sarashina, el asistente de SB Intuitions (SoftBank), y puede enlazarlos en la respuesta. La empresa indica que este contenido no se usa para desarrollar IA.
Índices de búsqueda
Rastrean la web para crear el índice de un motor de búsqueda o búsqueda con IA.
- Amzn-SearchBot Amazon Rastrea páginas para las funciones de búsqueda de productos de Amazon como Alexa; bloquearlo deja tu contenido fuera de ellas. Amazon indica que no rastrea para entrenar IA generativa.
- AndiBot Andi Rastreador y proxy de Andi, un buscador con IA. Rastrea la web para construir los resultados de Andi y obtiene páginas de forma anónima para sus modos de lectura y vista previa.
- Claude-SearchBot Anthropic Rastrea la web para mejorar la relevancia y la precisión de los resultados de búsqueda de Claude. Bloquearlo deja tu contenido fuera de ese índice, lo que puede reducir tu visibilidad en sus respuestas.
- Applebot Apple Alimenta la búsqueda de Spotlight, Siri y Safari, y sus datos también pueden usarse para entrenar los modelos fundacionales de Apple. Bloquearlo saca tu sitio de esos resultados; para excluirte solo del entrenamiento, bloquea Applebot-Extended.
- Baiduspider Baidu Rastreador del buscador Baidu, que construye su índice. Bloquearlo saca tus páginas de la búsqueda de Baidu y de los demás resultados que ofrece Baidu.
- Diffbot Diffbot Rastrea la web para construir el Knowledge Graph de Diffbot y sus servicios de búsqueda, donde los sitios pueden encontrarse y citarse. Diffbot indica que no rastrea páginas para entrenar modelos fundacionales de IA generativa.
- DuckDuckBot DuckDuckGo Rastreador de DuckDuckGo, que usa para mejorar sus resultados de búsqueda. Las respuestas asistidas por IA usan otro bot, DuckAssistBot.
- ExaSearchBot Exa Rastreador del buscador Exa, que indexa páginas públicas para que personas y aplicaciones puedan encontrarlas, obtenerlas y citarlas. Las páginas que Exa obtiene a petición de un usuario salen con otro nombre, ExaUser.
- Googlebot Google Construye el índice de la Búsqueda de Google. Las reglas para Googlebot se aplican también a Discover, Google Imágenes, Vídeo, Google News y otros productos, así que bloquearlo saca tus páginas de Google.
- PetalBot Huawei Rastreador del buscador Petal de Huawei, que también alimenta las recomendaciones de Huawei Assistant y AI Search. Bloquearlo saca tus páginas de la búsqueda de Petal.
- LinkupBot Linkup Construye el índice de búsqueda de Linkup, que ofrece búsqueda y contexto web a aplicaciones de IA.
- Meta-WebIndexer Meta Rastrea la web para mejorar la calidad de los resultados de búsqueda de Meta AI. Meta indica que permitirlo ayuda a que Meta AI cite y enlace tu contenido en sus respuestas.
- Bingbot Microsoft Rastreador principal de Bing, que hace la mayor parte de su rastreo y construye su índice de búsqueda. Bloquearlo saca tus páginas de Bing.
- MistralAI-Index Mistral AI Rastrea la web para indexar contenido para la búsqueda de Mistral, que ayuda a responder en su asistente Vibe. Mistral indica que el contenido no se usa para entrenar IA generativa.
- Kimi-SearchBot Moonshot AI Alimenta la búsqueda de Kimi, el asistente de Moonshot AI, analizando páginas y construyendo su índice. Bloquearlo deja tu sitio fuera de los resultados de búsqueda de Kimi.
- OAI-SearchBot OpenAI Muestra sitios web en las funciones de búsqueda de ChatGPT. Los sitios que lo bloquean no aparecen en las respuestas de búsqueda de ChatGPT, aunque pueden seguir saliendo como enlaces de navegación.
- PerplexityBot Perplexity Muestra y enlaza sitios web en los resultados de búsqueda de Perplexity. Perplexity indica que no se usa para rastrear contenido para modelos fundacionales de IA.
- YandexBot Yandex Robot principal de indexación de Yandex, que construye su índice de búsqueda. Bloquearlo saca tus páginas de la búsqueda de Yandex.
- YouBot You.com Rastreador del buscador You.com, que descubre e indexa páginas para sus resultados de búsqueda.
Rastreadores de entrenamiento
Recopilan páginas públicas que pueden usarse para entrenar modelos de IA.
- AI2Bot Ai2 Rastreador de Ai2 (Allen Institute for AI), un instituto de investigación sin ánimo de lucro. El contenido que recoge se usa para entrenar modelos de lenguaje abiertos.
- Amazonbot Amazon Se usa para mejorar los productos y servicios de Amazon, y sus datos pueden usarse para entrenar modelos de IA de Amazon. La búsqueda en Alexa usa otro bot, Amzn-SearchBot.
- ClaudeBot Anthropic Recoge contenido web público que puede usarse para entrenar los modelos Claude de Anthropic. Bloquearlo indica que tu contenido futuro debe quedar fuera de los datos de entrenamiento; la búsqueda y las consultas de usuarios de Claude usan otros bots.
- Applebot-Extended Apple Es una marca de robots.txt, no un rastreador: decide si los datos que rastrea Applebot pueden usarse para entrenar los modelos fundacionales de Apple. Bloquearlo no saca tu sitio de los resultados de búsqueda de Apple.
- Bytespider ByteDance Rastreador de ByteDance, propietaria de TikTok. Los directorios de bots indican que descarga datos de entrenamiento para los modelos de lenguaje de ByteDance, incluidos los de su asistente Doubao.
- cohere-training-data-crawler Cohere Rastreador que los directorios de bots atribuyen a Cohere, usado para descargar datos de entrenamiento para los modelos de lenguaje de sus productos de IA para empresas.
- CCBot Common Crawl Rastreador de Common Crawl, una organización sin ánimo de lucro que mantiene un archivo abierto de la web que cualquiera puede descargar. El archivo se usa mucho como fuente de datos de entrenamiento para modelos de lenguaje, así que bloquear CCBot deja tus páginas futuras fuera de él.
- Google-Extended Google Es una marca de robots.txt, no un rastreador aparte: controla si el contenido que rastrea Google puede usarse para entrenar futuros modelos Gemini y como contexto en Gemini Apps y Vertex AI. No afecta a la inclusión ni a la posición en la Búsqueda de Google.
- PanguBot Huawei Rastreador que los directorios de bots atribuyen a Huawei, usado para descargar datos de entrenamiento para su modelo de lenguaje multimodal PanGu.
- Meta-ExternalAgent Meta Rastrea la web para usos como entrenar los modelos fundacionales de IA de Meta o mejorar productos indexando contenido directamente. Bloquearlo deja tu contenido fuera de ese rastreo.
- MistralAI-Training Mistral AI Rastrea contenido web para crear conjuntos de datos con los que entrenar los modelos de IA generativa de Mistral. Mistral indica que no se usa para indexar ni para respuestas en directo en Vibe.
- KimiBot Moonshot AI Rastrea contenido que puede usarse para entrenar los modelos fundacionales de Kimi, el asistente de Moonshot AI. Bloquearlo indica que tu contenido no debe usarse para entrenamiento.
- ICC-Crawler NICT Rastreador del Instituto Nacional de Tecnologías de la Información y las Comunicaciones de Japón (NICT). Las páginas que recoge se usan para investigar en traducción, análisis de información e IA, y pueden compartirse con terceros en proyectos conjuntos.
- GPTBot OpenAI Recoge páginas web públicas que pueden usarse para entrenar los modelos de IA generativa de OpenAI. Bloquearlo deja tu contenido fuera de futuros datos de entrenamiento; no afecta a la búsqueda de ChatGPT.
- SBIntuitionsBot SB Intuitions Rastreador de SB Intuitions, empresa de SoftBank que desarrolla modelos de lenguaje en japonés, usado para desarrollo de IA y análisis de información.
- Timpibot Timpi Rastreador que ejecutan los operadores de nodos independientes de la red descentralizada de Timpi. Los directorios de bots señalan que el índice que construye puede usarse para entrenar modelos de lenguaje.
- Webzio-Extended Webz.io Marca los datos que recoge Webz.io como utilizables o no para entrenar IA y aprendizaje automático. Webz.io vende datos web a otras empresas; bloquear este agente indica que tu contenido no debe ofrecerse para entrenar IA.
Otros bots de IA
Otros agentes automatizados relacionados con servicios de IA.
- TerraCotta Ceramic AI Rastreador web de Ceramic AI (ceramic.ai). La empresa indica que se identifica como TerraCotta y que sigue robots.txt.
- FirecrawlAgent Firecrawl Firecrawl es una API de extracción y rastreo que los desarrolladores usan para convertir páginas web en datos para aplicaciones de IA. Lee robots.txt antes de rastrear un sitio y aplica las reglas para FirecrawlAgent y *.
- Google-CloudVertexBot Google Rastrea sitios a petición de sus propietarios para crear agentes de Vertex AI en Google Cloud. No tiene efecto en la Búsqueda de Google ni en otros productos.
- GoogleOther Google Rastreador genérico de Google que usan sus equipos de producto para obtener contenido público, por ejemplo en rastreos puntuales para investigación y desarrollo interno. Bloquearlo no afecta a ningún producto concreto de Google.
- ImagesiftBot Hive Rastreador de ImageSift, de Hive, que recoge imágenes públicas junto con el texto de la página y el texto alternativo para crear un índice de búsqueda inversa de imágenes y otros productos de inteligencia web.
- Cotoyogi ROIS-DS Rastreador del Center for Research and Development on Data Lake de ROIS-DS, un organismo de investigación japonés, que recoge recursos de datos en japonés.
- omgili Webz.io Rastreador antiguo de Webz.io, creado para el desaparecido buscador Omgili. Indexa sitios de noticias, blogs, reseñas y foros para la API de datos de Webz.io, que compran otras empresas.
- YandexAdditional Yandex Permite excluir de las respuestas de IA de la búsqueda de Yandex las páginas que YandexBot ya ha indexado. No hace peticiones de indexación propias.
Consulta qué rastreadores de IA leen tu sitio
Statsdot mantiene a los bots fuera de tus visitantes y, con el seguimiento de rastreadores de IA, muestra qué rastreadores leen tus páginas y cuáles solicitan. Sin cookies ni datos personales.