ByteDance · Rastreadores de entrenamiento

Bytespider

Rastreador de ByteDance, propietaria de TikTok. Los directorios de bots indican que descarga datos de entrenamiento para los modelos de lenguaje de ByteDance, incluidos los de su asistente Doubao.

Nombre en robots.txt

Bytespider

Agente de usuario

Mozilla/5.0 (compatible; Bytespider; https://zhanzhang.toutiao.com/) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.0.0 Safari/537.36

Categoría

Rastreadores de entrenamiento: Recopilan páginas públicas que pueden usarse para entrenar modelos de IA.

Respeta robots.txt

Parcialmente. En 2024 la prensa informó de que no siempre respetaba robots.txt; si te importa, bloquéalo también en el servidor.

Documentación oficial

https://knownagents.com/agents/bytespider

Verificado con la documentación oficial el 17 de octubre de 2026.

Bloquearlo o permitirlo en robots.txt

Añade estas líneas al archivo robots.txt en la raíz de tu dominio. Para bloquearlo en todas partes:

User-agent: Bytespider
Disallow: /

Para permitirlo en todas partes excepto en una carpeta:

User-agent: Bytespider
Disallow: /private/

Este bot no siempre respeta el archivo robots.txt. Para mantenerlo fuera de forma segura, bloquéalo en tu servidor o cortafuegos por agente de usuario y, cuando estén publicados, por rango de IP.

¿Se trata realmente de este bot?

Cualquiera puede copiar un agente de usuario, y ByteDance no publica rangos de IP para este bot. Una búsqueda DNS inversa de la dirección IP puede ser de ayuda; consulta la documentación oficial.