Ai2 · Trainings-Crawler

AI2Bot

Crawler von Ai2 (Allen Institute for AI), einem gemeinnützigen Forschungsinstitut. Die gesammelten Inhalte dienen zum Training offener Sprachmodelle.

robots.txt-Name

AI2Bot

User-Agent

Mozilla/5.0 (compatible) AI2Bot (+https://www.allenai.org/crawler)

Kategorie

Trainings-Crawler: Erfasst öffentliche Seiten, die zum Trainieren von KI-Modellen verwendet werden können.

Befolgt robots.txt

Ja

Offizielle Dokumentation

https://allenai.org/crawler

Geprüft anhand der offiziellen Dokumentation am 17. Oktober 2026.

In robots.txt blockieren oder zulassen

Fügen Sie diese Zeilen in die Datei robots.txt im Stammverzeichnis Ihrer Domain ein. Um ihn überall zu blockieren:

User-agent: AI2Bot
Disallow: /

Um ihn überall außer in einem Ordner zuzulassen:

User-agent: AI2Bot
Disallow: /private/

Handelt es sich wirklich um diesen Bot?

Jeder kann einen User-Agent kopieren, und Ai2 veröffentlicht keine IP-Bereiche für diesen Bot. Ein Reverse-DNS-Lookup der IP-Adresse kann helfen; prüfen Sie die offizielle Dokumentation.