Webz.io · Crawlers d'entraînement

Webzio-Extended

Marque les données collectées par Webz.io comme utilisables ou non pour l'entraînement de l'IA et de l'apprentissage automatique. Webz.io vend des données web à d'autres entreprises ; bloquer cet agent signale que votre contenu ne doit pas être proposé pour l'entraînement.

Nom dans robots.txt

Webzio-Extended

User-agent

Webzio-Extended

Catégorie

Crawlers d'entraînement: Collecte les pages publiques susceptibles d'être utilisées pour entraîner des modèles d'IA.

Respecte robots.txt

Oui

Documentation officielle

https://webz.io/blog/company/from-omgilibot-to-the-webzbot-duo-a-powerful-leap-for-ethical-and-comprehensive-data-collection/

Vérifié par rapport à la documentation officielle le 17 octobre 2026.

Le bloquer ou l'autoriser dans robots.txt

Ajoutez ces lignes au fichier robots.txt situé à la racine de votre domaine. Pour le bloquer partout :

User-agent: Webzio-Extended
Disallow: /

Pour l'autoriser partout sauf dans un dossier :

User-agent: Webzio-Extended
Disallow: /private/

S'agit-il vraiment de ce bot ?

N'importe qui peut copier un user-agent, et Webz.io ne publie pas de plages d'adresses IP pour ce bot. Une recherche DNS inverse de l'adresse IP peut vous aider ; consultez la documentation officielle.

Autres bots de Webz.io

• omgili · Autres bots IA