Ai2 · Crawlers de treino

AI2Bot

Rastreador do Ai2 (Allen Institute for AI), um instituto de investigação sem fins lucrativos. O conteúdo recolhido é usado para treinar modelos de linguagem abertos.

Nome no robots.txt

AI2Bot

User agent

Mozilla/5.0 (compatible) AI2Bot (+https://www.allenai.org/crawler)

Categoria

Crawlers de treino: Recolher páginas públicas que podem ser utilizadas para treinar modelos de IA.

Respeita o robots.txt

Sim

Documentação oficial

https://allenai.org/crawler

Verificado com a documentação oficial em 17 de outubro de 2026.

Bloqueie ou permita no robots.txt

Adicione estas linhas ao ficheiro robots.txt na raiz do seu domínio. Para bloquear em todo o lado:

User-agent: AI2Bot
Disallow: /

Para o permitir em todo o lado exceto numa pasta:

User-agent: AI2Bot
Disallow: /private/

É realmente este bot?

Qualquer pessoa pode copiar um user agent e a Ai2 não publica intervalos de IP para este bot. Uma pesquisa de DNS inverso do endereço IP pode ajudar; consulte a documentação oficial.