Crawler IA, bot dei motori di ricerca e agenti di addestramento
Una guida di riferimento ai bot che visitano i siti web per assistenti IA, motori di ricerca e addestramento di modelli: cosa fa ciascuno, come si identifica, se rispetta il file robots.txt e come autorizzarlo o bloccarlo.
Risposte IA
Recupera una pagina quando qualcuno ne chiede conto a un assistente.
- Amzn-User Amazon Recupera informazioni aggiornate dal web per conto di un utente, ad esempio per rispondere a domande poste ad Alexa. Amazon afferma che non raccoglie contenuti per addestrare l'IA generativa.
- Claude-User Anthropic Visita una pagina quando qualcuno fa a Claude una domanda che la richiede. Bloccarlo impedisce a Claude di leggere le tue pagine per rispondere agli utenti, il che può ridurre la tua visibilità nelle risposte.
- DuckAssistBot DuckDuckGo Recupera pagine in tempo reale per le risposte assistite dall'IA di DuckDuckGo, che citano le fonti. DuckDuckGo afferma che i dati non servono ad addestrare modelli di IA e che bloccarlo non incide sul tuo posizionamento.
- Gemini Notebook Google Recupera i singoli URL che gli utenti di Gemini Notebook aggiungono come fonti ai loro progetti. Sostituisce il vecchio agente Google-NotebookLM, supportato fino ad agosto 2026.
- Google-Agent Google Usato dagli agenti di IA ospitati sull'infrastruttura di Google per navigare nei siti ed eseguire azioni su richiesta di un utente.
- Meta-ExternalFetcher Meta Recupera singoli link su richiesta di un utente e supporta le funzioni di IA agentica di Meta, ad esempio aiutare l'IA a navigare nei siti per completare attività.
- MistralAI-User Mistral AI Visita una pagina quando qualcuno fa una domanda a Vibe, l'assistente di Mistral, e può citarla come fonte. Mistral afferma che non esegue scansioni automatiche e non raccoglie dati di addestramento.
- Kimi-User Moonshot AI Esegue le azioni avviate dagli utenti in Kimi, come riassumere un articolo o rispondere a una domanda che richiede contenuti web aggiornati. Bloccarlo può ridurre la tua visibilità nelle ricerche fatte tramite Kimi.
- ChatGPT-User OpenAI Visita una pagina quando un utente di ChatGPT o di un GPT personalizzato chiede qualcosa che la richiede, o tramite le GPT Actions. OpenAI afferma che non esegue scansioni automatiche e non decide la presenza nella ricerca di ChatGPT.
- Perplexity-User Perplexity Visita una pagina quando qualcuno fa una domanda a Perplexity e può citarla nella risposta. Perplexity afferma che non serve a eseguire scansioni né a raccogliere dati di addestramento.
- SBIntuitions-SearchBot SB Intuitions Visita siti per conto di un utente che fa una domanda a Sarashina, l'assistente di SB Intuitions (SoftBank), e può citarli nella risposta. L'azienda afferma che questi contenuti non vengono usati per sviluppare IA.
Indici di ricerca
Esegue il crawling del web per creare l'indice di un motore di ricerca o di una ricerca IA.
- Amzn-SearchBot Amazon Scansiona pagine per le funzioni di ricerca dei prodotti Amazon come Alexa; bloccarlo esclude i tuoi contenuti da queste funzioni. Amazon afferma che non esegue scansioni per addestrare l'IA generativa.
- AndiBot Andi Crawler e proxy di Andi, un motore di ricerca basato sull'IA. Scansiona il web per i risultati di Andi e recupera pagine in modo anonimo per le modalità lettura e anteprima.
- Claude-SearchBot Anthropic Scansiona il web per migliorare la pertinenza e la precisione dei risultati di ricerca di Claude. Bloccarlo tiene i tuoi contenuti fuori da questo indice, il che può ridurre la tua visibilità nelle risposte.
- Applebot Apple Alimenta la ricerca di Spotlight, Siri e Safari, e i suoi dati possono servire anche ad addestrare i modelli di base di Apple. Bloccarlo toglie il tuo sito da questi risultati; per escludere solo l'addestramento, blocca Applebot-Extended.
- Baiduspider Baidu Crawler del motore di ricerca Baidu, che ne costruisce l'indice. Bloccarlo toglie le tue pagine dalla ricerca di Baidu e dagli altri risultati forniti da Baidu.
- Diffbot Diffbot Scansiona il web per costruire il Knowledge Graph di Diffbot e i suoi servizi di ricerca, dove i siti possono essere trovati e citati. Diffbot afferma che non scansiona pagine per addestrare modelli di base di IA generativa.
- DuckDuckBot DuckDuckGo Crawler di DuckDuckGo, usato per migliorare i risultati di ricerca. Le risposte assistite dall'IA usano un altro bot, DuckAssistBot.
- ExaSearchBot Exa Crawler del motore di ricerca Exa, che indicizza pagine pubbliche perché persone e applicazioni possano trovarle, recuperarle e citarle. Le pagine richieste da un utente passano con un altro nome, ExaUser.
- Googlebot Google Costruisce l'indice della Ricerca Google. Le regole per Googlebot valgono anche per Discover, Google Immagini, Video, Google News e altri prodotti, quindi bloccarlo toglie le tue pagine da Google.
- PetalBot Huawei Crawler del motore di ricerca Petal di Huawei, che alimenta anche i suggerimenti di Huawei Assistant e AI Search. Bloccarlo toglie le tue pagine dalla ricerca di Petal.
- LinkupBot Linkup Costruisce l'indice di ricerca di Linkup, che fornisce ricerca e contesto web alle applicazioni di IA.
- Meta-WebIndexer Meta Scansiona il web per migliorare la qualità dei risultati di ricerca di Meta AI. Meta afferma che consentirlo aiuta Meta AI a citare e linkare i tuoi contenuti nelle risposte.
- Bingbot Microsoft Crawler principale di Bing, che svolge gran parte della scansione e costruisce il suo indice. Bloccarlo toglie le tue pagine da Bing.
- MistralAI-Index Mistral AI Scansiona il web per indicizzare contenuti per la ricerca di Mistral, che aiuta a rispondere nel suo assistente Vibe. Mistral afferma che i contenuti non servono ad addestrare l'IA generativa.
- Kimi-SearchBot Moonshot AI Alimenta la ricerca di Kimi, l'assistente di Moonshot AI, analizzando pagine e costruendo il suo indice. Bloccarlo tiene il tuo sito fuori dai risultati di ricerca di Kimi.
- OAI-SearchBot OpenAI Mostra i siti nelle funzioni di ricerca di ChatGPT. I siti che lo bloccano non compaiono nelle risposte di ricerca di ChatGPT, anche se possono ancora apparire come link di navigazione.
- PerplexityBot Perplexity Mostra e linka i siti nei risultati di ricerca di Perplexity. Perplexity afferma che non serve a raccogliere contenuti per modelli di base di IA.
- YandexBot Yandex Robot di indicizzazione principale di Yandex, che ne costruisce l'indice di ricerca. Bloccarlo toglie le tue pagine dalla ricerca di Yandex.
- YouBot You.com Crawler del motore di ricerca You.com, che scopre e indicizza pagine per i suoi risultati.
Crawler per l'addestramento
Raccoglie pagine pubbliche che potrebbero essere usate per addestrare modelli IA.
- AI2Bot Ai2 Crawler di Ai2 (Allen Institute for AI), un istituto di ricerca senza scopo di lucro. I contenuti raccolti servono ad addestrare modelli linguistici aperti.
- Amazonbot Amazon Serve a migliorare i prodotti e i servizi di Amazon, e i suoi dati possono essere usati per addestrare modelli di IA di Amazon. La ricerca in Alexa usa un altro bot, Amzn-SearchBot.
- ClaudeBot Anthropic Raccoglie contenuti web pubblici che possono servire ad addestrare i modelli Claude di Anthropic. Bloccarlo indica che i tuoi contenuti futuri vanno esclusi dai dati di addestramento; la ricerca e le richieste degli utenti di Claude usano altri bot.
- Applebot-Extended Apple Un token del robots.txt, non un crawler: stabilisce se i dati raccolti da Applebot possono servire ad addestrare i modelli di base di Apple. Bloccarlo non toglie il tuo sito dai risultati di ricerca di Apple.
- Bytespider ByteDance Crawler di ByteDance, proprietaria di TikTok. Secondo le directory di bot, scarica dati di addestramento per i modelli linguistici di ByteDance, inclusi quelli del suo assistente Doubao.
- cohere-training-data-crawler Cohere Crawler che le directory di bot attribuiscono a Cohere, usato per scaricare dati di addestramento per i modelli linguistici dei suoi prodotti di IA per aziende.
- CCBot Common Crawl Crawler di Common Crawl, un'organizzazione senza scopo di lucro che mantiene un archivio aperto del web scaricabile liberamente. L'archivio è molto usato come fonte di dati di addestramento per modelli linguistici, quindi bloccare CCBot ne tiene fuori le tue pagine future.
- Google-Extended Google Un token del robots.txt, non un crawler a sé: controlla se i contenuti scansionati da Google possono servire ad addestrare i futuri modelli Gemini e come contesto nelle app Gemini e in Vertex AI. Non incide sulla presenza né sul posizionamento nella Ricerca Google.
- PanguBot Huawei Crawler che le directory di bot attribuiscono a Huawei, usato per scaricare dati di addestramento per il suo modello linguistico multimodale PanGu.
- Meta-ExternalAgent Meta Scansiona il web per usi come l'addestramento dei modelli di base di IA di Meta o il miglioramento dei prodotti indicizzando direttamente i contenuti. Bloccarlo tiene i tuoi contenuti fuori da questa scansione.
- MistralAI-Training Mistral AI Scansiona contenuti web per creare set di dati con cui addestrare i modelli di IA generativa di Mistral. Mistral afferma che non serve all'indicizzazione né alle risposte in tempo reale in Vibe.
- KimiBot Moonshot AI Scansiona contenuti che possono servire ad addestrare i modelli di base di Kimi, l'assistente di Moonshot AI. Bloccarlo indica che i tuoi contenuti non vanno usati per l'addestramento.
- ICC-Crawler NICT Crawler dell'Istituto nazionale giapponese per le tecnologie dell'informazione e della comunicazione (NICT). Le pagine raccolte servono alla ricerca su traduzione, analisi dell'informazione e IA, e possono essere condivise con terzi per ricerche congiunte.
- GPTBot OpenAI Raccoglie pagine web pubbliche che possono essere usate per addestrare i modelli di IA generativa di OpenAI. Bloccarlo tiene i tuoi contenuti fuori dai futuri dati di addestramento; non incide sulla ricerca di ChatGPT.
- SBIntuitionsBot SB Intuitions Crawler di SB Intuitions, società di SoftBank che sviluppa modelli linguistici giapponesi, usato per lo sviluppo di IA e l'analisi delle informazioni.
- Timpibot Timpi Crawler gestito dagli operatori di nodi indipendenti della rete decentralizzata di Timpi. Secondo le directory di bot, l'indice che costruisce può servire ad addestrare modelli linguistici.
- Webzio-Extended Webz.io Contrassegna i dati raccolti da Webz.io come utilizzabili o no per l'addestramento di IA e machine learning. Webz.io vende dati web ad altre aziende; bloccare questo agente indica che i tuoi contenuti non vanno offerti per l'addestramento.
Altri bot IA
Altri agenti automatizzati legati ai servizi IA.
- TerraCotta Ceramic AI Crawler web di Ceramic AI (ceramic.ai). L'azienda afferma che si identifica come TerraCotta e rispetta il robots.txt.
- FirecrawlAgent Firecrawl Firecrawl è un'API di scraping e scansione che gli sviluppatori usano per trasformare pagine web in dati per applicazioni di IA. Legge il robots.txt prima di scansionare un sito e applica le regole per FirecrawlAgent e *.
- Google-CloudVertexBot Google Scansiona siti su richiesta dei proprietari per creare agenti Vertex AI su Google Cloud. Non ha effetti sulla Ricerca Google né su altri prodotti.
- GoogleOther Google Crawler generico di Google che i team di prodotto usano per recuperare contenuti pubblici, ad esempio per scansioni occasionali di ricerca e sviluppo interni. Bloccarlo non incide su alcun prodotto Google specifico.
- ImagesiftBot Hive Crawler di ImageSift, di Hive, che raccoglie immagini pubbliche con il testo della pagina e il testo alternativo per costruire un indice di ricerca inversa per immagini e altri prodotti di web intelligence.
- Cotoyogi ROIS-DS Crawler del Center for Research and Development on Data Lake di ROIS-DS, un ente di ricerca giapponese, che raccoglie risorse di dati in lingua giapponese.
- omgili Webz.io Vecchio crawler di Webz.io, nato per il motore di ricerca Omgili, ormai chiuso. Indicizza siti di notizie, blog, recensioni e forum per l'API di dati di Webz.io, acquistata da altre aziende.
- YandexAdditional Yandex Permette di escludere dalle risposte di IA della ricerca di Yandex le pagine già indicizzate da YandexBot. Non fa richieste di indicizzazione proprie.
Vedi quali crawler AI leggono il tuo sito
Statsdot tiene i bot fuori dai tuoi visitatori e, con il tracciamento dei crawler AI, mostra quali crawler leggono le tue pagine e quali pagine richiedono. Nessun cookie, nessun dato personale.