ByteDance · Crawlers d'entraînement

Bytespider

Robot de ByteDance, propriétaire de TikTok. Selon les annuaires de robots, il télécharge des données d'entraînement pour les modèles de langage de ByteDance, dont ceux de son assistant Doubao.

Nom dans robots.txt

Bytespider

User-agent

Mozilla/5.0 (compatible; Bytespider; https://zhanzhang.toutiao.com/) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.0.0 Safari/537.36

Catégorie

Crawlers d'entraînement: Collecte les pages publiques susceptibles d'être utilisées pour entraîner des modèles d'IA.

Respecte robots.txt

Partiellement. Des articles de presse de 2024 indiquaient qu'il ne respectait pas toujours robots.txt ; bloquez-le aussi sur le serveur si cela compte pour vous.

Documentation officielle

https://knownagents.com/agents/bytespider

Vérifié par rapport à la documentation officielle le 17 octobre 2026.

Le bloquer ou l'autoriser dans robots.txt

Ajoutez ces lignes au fichier robots.txt situé à la racine de votre domaine. Pour le bloquer partout :

User-agent: Bytespider
Disallow: /

Pour l'autoriser partout sauf dans un dossier :

User-agent: Bytespider
Disallow: /private/

Ce bot ne respecte pas toujours robots.txt. Pour l'exclure à coup sûr, bloquez-le sur votre serveur ou pare-feu par user-agent et, lorsqu'elles sont publiées, par plage d'adresses IP.

S'agit-il vraiment de ce bot ?

N'importe qui peut copier un user-agent, et ByteDance ne publie pas de plages d'adresses IP pour ce bot. Une recherche DNS inverse de l'adresse IP peut vous aider ; consultez la documentation officielle.