ByteDance · Trainings-Crawler

Bytespider

Crawler von ByteDance, dem Eigentümer von TikTok. Bot-Verzeichnissen zufolge lädt er Trainingsdaten für die Sprachmodelle von ByteDance herunter, auch für den Assistenten Doubao.

robots.txt-Name

Bytespider

User-Agent

Mozilla/5.0 (compatible; Bytespider; https://zhanzhang.toutiao.com/) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.0.0 Safari/537.36

Kategorie

Trainings-Crawler: Erfasst öffentliche Seiten, die zum Trainieren von KI-Modellen verwendet werden können.

Befolgt robots.txt

Teilweise. Presseberichte aus dem Jahr 2024 besagten, dass er robots.txt nicht immer befolgte; blockieren Sie ihn bei Bedarf zusätzlich auf dem Server.

Offizielle Dokumentation

https://knownagents.com/agents/bytespider

Geprüft anhand der offiziellen Dokumentation am 17. Oktober 2026.

In robots.txt blockieren oder zulassen

Fügen Sie diese Zeilen in die Datei robots.txt im Stammverzeichnis Ihrer Domain ein. Um ihn überall zu blockieren:

User-agent: Bytespider
Disallow: /

Um ihn überall außer in einem Ordner zuzulassen:

User-agent: Bytespider
Disallow: /private/

Dieser Bot befolgt robots.txt nicht immer. Um ihn zuverlässig fernzuhalten, blockieren Sie ihn auf Ihrem Server oder Ihrer Firewall nach User-Agent und, sofern veröffentlicht, nach IP-Bereich.

Handelt es sich wirklich um diesen Bot?

Jeder kann einen User-Agent kopieren, und ByteDance veröffentlicht keine IP-Bereiche für diesen Bot. Ein Reverse-DNS-Lookup der IP-Adresse kann helfen; prüfen Sie die offizielle Dokumentation.