Webz.io · Trainings-Crawler

Webzio-Extended

Kennzeichnet die von Webz.io gesammelten Daten als für KI- und Machine-Learning-Training nutzbar oder nicht. Webz.io verkauft Webdaten an andere Unternehmen; eine Sperre signalisiert, dass Ihre Inhalte nicht für KI-Training angeboten werden sollen.

robots.txt-Name

Webzio-Extended

User-Agent

Webzio-Extended

Kategorie

Trainings-Crawler: Erfasst öffentliche Seiten, die zum Trainieren von KI-Modellen verwendet werden können.

Befolgt robots.txt

Ja

Offizielle Dokumentation

https://webz.io/blog/company/from-omgilibot-to-the-webzbot-duo-a-powerful-leap-for-ethical-and-comprehensive-data-collection/

Geprüft anhand der offiziellen Dokumentation am 17. Oktober 2026.

In robots.txt blockieren oder zulassen

Fügen Sie diese Zeilen in die Datei robots.txt im Stammverzeichnis Ihrer Domain ein. Um ihn überall zu blockieren:

User-agent: Webzio-Extended
Disallow: /

Um ihn überall außer in einem Ordner zuzulassen:

User-agent: Webzio-Extended
Disallow: /private/

Handelt es sich wirklich um diesen Bot?

Jeder kann einen User-Agent kopieren, und Webz.io veröffentlicht keine IP-Bereiche für diesen Bot. Ein Reverse-DNS-Lookup der IP-Adresse kann helfen; prüfen Sie die offizielle Dokumentation.

Andere Bots von Webz.io

• omgili · Andere KI-Bots