ByteDance · Crawlers de treino

Bytespider

Rastreador da ByteDance, dona do TikTok. Segundo os diretórios de bots, descarrega dados de treino para os modelos de linguagem da ByteDance, incluindo os do seu assistente Doubao.

Nome no robots.txt

Bytespider

User agent

Mozilla/5.0 (compatible; Bytespider; https://zhanzhang.toutiao.com/) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.0.0 Safari/537.36

Categoria

Crawlers de treino: Recolher páginas públicas que podem ser utilizadas para treinar modelos de IA.

Respeita o robots.txt

Parcialmente. Em 2024, a imprensa noticiou que nem sempre respeitava o robots.txt; se lhe interessar, bloqueie-o também no servidor.

Documentação oficial

https://knownagents.com/agents/bytespider

Verificado com a documentação oficial em 17 de outubro de 2026.

Bloqueie ou permita no robots.txt

Adicione estas linhas ao ficheiro robots.txt na raiz do seu domínio. Para bloquear em todo o lado:

User-agent: Bytespider
Disallow: /

Para o permitir em todo o lado exceto numa pasta:

User-agent: Bytespider
Disallow: /private/

Este bot nem sempre respeita o robots.txt. Para o manter de fora com certeza, bloqueie-o no seu servidor ou firewall por user agent e, onde publicado, por intervalo de IP.

É realmente este bot?

Qualquer pessoa pode copiar um user agent e a ByteDance não publica intervalos de IP para este bot. Uma pesquisa de DNS inverso do endereço IP pode ajudar; consulte a documentação oficial.