Rastreadores de IA: ¿deberías bloquearlos?

Las empresas de IA envían tres tipos de bots a los sitios web y requieren decisiones diferentes.

Rastreadores de entrenamiento

Recopilan páginas públicas que pueden utilizarse para entrenar modelos de IA. Ejemplos: GPTBot, ClaudeBot, CCBot, Bytespider. Algunas empresas utilizan un token independiente solo para el permiso de entrenamiento, como Google-Extended o Applebot-Extended: bloquearlo no te elimina de la Búsqueda de Google ni de las funciones de búsqueda de Apple.

Bloquéalos si no quieres que tu contenido forme parte de futuros datos de entrenamiento. No afecta a los resultados de búsqueda clásicos.

Rastreadores de búsqueda

Construyen el índice que citan la búsqueda y los asistentes de IA, como OAI-SearchBot, Claude-SearchBot o PerplexityBot.

Permítelos si quieres aparecer, con un enlace, cuando los usuarios pregunten a un asistente sobre tu tema. Bloquearlos es como bloquear un buscador.

Capturadores activados por el usuario

Obtienen una página en el momento en que alguien pide a un asistente que la lea: ChatGPT-User, Claude-User, Perplexity-User. Varias empresas indican que estos no siempre siguen el archivo robots.txt, ya que es una persona quien ha solicitado la página.

Una configuración predeterminada sensata

Muchos sitios permiten los rastreadores de búsqueda y los capturadores de usuario, pero bloquean los rastreadores de entrenamiento:

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: CCBot
Disallow: /

El archivo robots.txt es una solicitud, no un candado. Para los bots que lo ignoran, bloquéalos en tu servidor o firewall mediante el agente de usuario (user agent) y, cuando la empresa los publique, por rango de IP.

¿Aparecen en tus analíticas?

Los rastreadores no ejecutan tu script de analíticas como lo hace un navegador, y Statsdot también excluye a los bots conocidos en el servidor, por lo que no inflan tus visitas. Para ver cada bot de IA con su agente de usuario y sus reglas de robots.txt, consulta nuestro directorio de rastreadores de IA.