Ai2 · Crawlers d'entraînement

AI2Bot

Robot d'Ai2 (Allen Institute for AI), un institut de recherche à but non lucratif. Le contenu collecté sert à entraîner des modèles de langage ouverts.

Nom dans robots.txt

AI2Bot

User-agent

Mozilla/5.0 (compatible) AI2Bot (+https://www.allenai.org/crawler)

Catégorie

Crawlers d'entraînement: Collecte les pages publiques susceptibles d'être utilisées pour entraîner des modèles d'IA.

Respecte robots.txt

Oui

Documentation officielle

https://allenai.org/crawler

Vérifié par rapport à la documentation officielle le 17 octobre 2026.

Le bloquer ou l'autoriser dans robots.txt

Ajoutez ces lignes au fichier robots.txt situé à la racine de votre domaine. Pour le bloquer partout :

User-agent: AI2Bot
Disallow: /

Pour l'autoriser partout sauf dans un dossier :

User-agent: AI2Bot
Disallow: /private/

S'agit-il vraiment de ce bot ?

N'importe qui peut copier un user-agent, et Ai2 ne publie pas de plages d'adresses IP pour ce bot. Une recherche DNS inverse de l'adresse IP peut vous aider ; consultez la documentation officielle.