Crawler AI: dovresti bloccarli?

Le aziende di intelligenza artificiale inviano tre tipi di bot ai siti web, che richiedono decisioni differenti.

Crawler di addestramento

Raccolgono pagine pubbliche che possono essere utilizzate per addestrare modelli di IA. Esempi: GPTBot, ClaudeBot, CCBot, Bytespider. Alcune aziende utilizzano un token separato solo per l'autorizzazione all'addestramento, come Google-Extended o Applebot-Extended: bloccarlo non ti rimuove dalla Ricerca Google o dalle funzionalità di ricerca di Apple.

Bloccali se non vuoi che i tuoi contenuti finiscano nei futuri dati di addestramento. Ciò non influisce sui risultati di ricerca classici.

Crawler di ricerca

Costruiscono l'indice citato dalla ricerca IA e dagli assistenti, come OAI-SearchBot, Claude-SearchBot o PerplexityBot.

Consentili se vuoi apparire, con un link, quando le persone chiedono a un assistente informazioni sul tuo argomento. Bloccarli equivale a bloccare un motore di ricerca.

Fetcher attivati dall'utente

Recuperano una pagina nel momento in cui qualcuno chiede a un assistente di leggerla: ChatGPT-User, Claude-User, Perplexity-User. Diverse aziende dichiarano che questi non sempre seguono il file robots.txt, poiché è una persona ad aver richiesto la pagina.

Un'impostazione predefinita sensata

Molti siti consentono i crawler di ricerca e i fetcher dell'utente, bloccando invece i crawler di addestramento:

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: CCBot
Disallow: /

Il file robots.txt è una richiesta, non un blocco. Per i bot che lo ignorano, bloccali sul tuo server o firewall tramite user agent e, laddove l'azienda li pubblichi, tramite intervallo IP.

Compaiono nelle tue analisi?

I crawler non eseguono il tuo script di analisi come farebbe un browser e Statsdot esclude i bot noti a livello di server, in modo che non gonfino il numero dei tuoi visitatori. Per vedere ogni bot IA con il relativo user agent e le regole del file robots.txt, consulta la nostra directory dei crawler IA.