Ai2 · Rastreadores de entrenamiento

AI2Bot

Rastreador de Ai2 (Allen Institute for AI), un instituto de investigación sin ánimo de lucro. El contenido que recoge se usa para entrenar modelos de lenguaje abiertos.

Nombre en robots.txt

AI2Bot

Agente de usuario

Mozilla/5.0 (compatible) AI2Bot (+https://www.allenai.org/crawler)

Categoría

Rastreadores de entrenamiento: Recopilan páginas públicas que pueden usarse para entrenar modelos de IA.

Respeta robots.txt

Sí

Documentación oficial

https://allenai.org/crawler

Verificado con la documentación oficial el 17 de octubre de 2026.

Bloquearlo o permitirlo en robots.txt

Añade estas líneas al archivo robots.txt en la raíz de tu dominio. Para bloquearlo en todas partes:

User-agent: AI2Bot
Disallow: /

Para permitirlo en todas partes excepto en una carpeta:

User-agent: AI2Bot
Disallow: /private/

¿Se trata realmente de este bot?

Cualquiera puede copiar un agente de usuario, y Ai2 no publica rangos de IP para este bot. Una búsqueda DNS inversa de la dirección IP puede ser de ayuda; consulta la documentación oficial.