ByteDance · Crawler per l'addestramento

Bytespider

Crawler di ByteDance, proprietaria di TikTok. Secondo le directory di bot, scarica dati di addestramento per i modelli linguistici di ByteDance, inclusi quelli del suo assistente Doubao.

Nome in robots.txt

Bytespider

User agent

Mozilla/5.0 (compatible; Bytespider; https://zhanzhang.toutiao.com/) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.0.0 Safari/537.36

Categoria

Crawler per l'addestramento: Raccoglie pagine pubbliche che potrebbero essere usate per addestrare modelli IA.

Rispetta robots.txt

Parzialmente. Nel 2024 la stampa ha riferito che non sempre rispettava robots.txt; se ti interessa, bloccalo anche sul server.

Documentazione ufficiale

https://knownagents.com/agents/bytespider

Verificato con la documentazione ufficiale il 17 ottobre 2026.

Bloccalo o autorizzalo in robots.txt

Aggiungi queste righe al file robots.txt nella radice del tuo dominio. Per bloccarlo ovunque:

User-agent: Bytespider
Disallow: /

Per autorizzarlo ovunque tranne in una cartella:

User-agent: Bytespider
Disallow: /private/

Questo bot non sempre rispetta robots.txt. Per tenerlo fuori con certezza, bloccalo sul tuo server o firewall tramite user agent e, se pubblicati, tramite intervallo IP.

Si tratta davvero di questo bot?

Chiunque può copiare uno user agent e ByteDance non pubblica gli intervalli IP per questo bot. Un controllo DNS inverso dell'indirizzo IP potrebbe essere d'aiuto; verifica la documentazione ufficiale.