Ai2 · Crawler per l'addestramento

AI2Bot

Crawler di Ai2 (Allen Institute for AI), un istituto di ricerca senza scopo di lucro. I contenuti raccolti servono ad addestrare modelli linguistici aperti.

Nome in robots.txt

AI2Bot

User agent

Mozilla/5.0 (compatible) AI2Bot (+https://www.allenai.org/crawler)

Categoria

Crawler per l'addestramento: Raccoglie pagine pubbliche che potrebbero essere usate per addestrare modelli IA.

Rispetta robots.txt

Sì

Documentazione ufficiale

https://allenai.org/crawler

Verificato con la documentazione ufficiale il 17 ottobre 2026.

Bloccalo o autorizzalo in robots.txt

Aggiungi queste righe al file robots.txt nella radice del tuo dominio. Per bloccarlo ovunque:

User-agent: AI2Bot
Disallow: /

Per autorizzarlo ovunque tranne in una cartella:

User-agent: AI2Bot
Disallow: /private/

Si tratta davvero di questo bot?

Chiunque può copiare uno user agent e Ai2 non pubblica gli intervalli IP per questo bot. Un controllo DNS inverso dell'indirizzo IP potrebbe essere d'aiuto; verifica la documentazione ufficiale.