Meta · Suchindizes

Meta-WebIndexer

Crawlt das Web, um die Suchergebnisse von Meta AI zu verbessern. Laut Meta hilft es, ihn zuzulassen, damit Meta AI Ihre Inhalte in Antworten zitiert und verlinkt.

robots.txt-Name

meta-webindexer

User-Agent

meta-webindexer/1.1

Kategorie

Suchindizes: Durchsucht das Web, um den Index einer Suchmaschine oder KI-Suche aufzubauen.

Befolgt robots.txt

Ja

Offizielle Dokumentation

https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/

Geprüft anhand der offiziellen Dokumentation am 17. Oktober 2026.

In robots.txt blockieren oder zulassen

Fügen Sie diese Zeilen in die Datei robots.txt im Stammverzeichnis Ihrer Domain ein. Um ihn überall zu blockieren:

User-agent: meta-webindexer
Disallow: /

Um ihn überall außer in einem Ordner zuzulassen:

User-agent: meta-webindexer
Disallow: /private/

Handelt es sich wirklich um diesen Bot?

Jeder kann einen User-Agent kopieren, und Meta veröffentlicht keine IP-Bereiche für diesen Bot. Ein Reverse-DNS-Lookup der IP-Adresse kann helfen; prüfen Sie die offizielle Dokumentation.

Andere Bots von Meta

• Meta-ExternalFetcher · KI-Antworten
• Meta-ExternalAgent · Trainings-Crawler