NICT · Trainings-Crawler

ICC-Crawler

Crawler des japanischen National Institute of Information and Communications Technology (NICT). Die gesammelten Seiten dienen der Forschung zu Übersetzung, Informationsanalyse und KI und können für gemeinsame Forschung an Dritte weitergegeben werden.

robots.txt-Name

ICC-Crawler

User-Agent

ICC-Crawler/3.0 (Mozilla-compatible; ; https://ucri.nict.go.jp/en/icccrawler.html)

Kategorie

Trainings-Crawler: Erfasst öffentliche Seiten, die zum Trainieren von KI-Modellen verwendet werden können.

Befolgt robots.txt

Ja

Offizielle Dokumentation

https://ucri.nict.go.jp/en/icccrawler.html

Veröffentlichte IP-Bereiche

https://ucri.nict.go.jp/en/icccrawler.html

Geprüft anhand der offiziellen Dokumentation am 17. Oktober 2026.

In robots.txt blockieren oder zulassen

Fügen Sie diese Zeilen in die Datei robots.txt im Stammverzeichnis Ihrer Domain ein. Um ihn überall zu blockieren:

User-agent: ICC-Crawler
Disallow: /

Um ihn überall außer in einem Ordner zuzulassen:

User-agent: ICC-Crawler
Disallow: /private/

Handelt es sich wirklich um diesen Bot?

Jeder kann einen User-Agent kopieren. Um sicherzustellen, dass eine Anfrage von NICT stammt, vergleichen Sie deren IP-Adresse mit den von dem Unternehmen veröffentlichten Bereichen.