Saltar para o conteúdo

Cohere · Crawlers de treino

cohere-training-data-crawler

Rastreador que os diretórios de bots atribuem à Cohere, usado para descarregar dados de treino para os modelos de linguagem dos seus produtos de IA para empresas.

Nome no robots.txt
cohere-training-data-crawler
User agent
cohere-training-data-crawler
Categoria
Crawlers de treino: Recolher páginas públicas que podem ser utilizadas para treinar modelos de IA.
Respeita o robots.txt
Sim

Verificado com a documentação oficial em 17 de outubro de 2026.

Bloqueie ou permita no robots.txt

Adicione estas linhas ao ficheiro robots.txt na raiz do seu domínio. Para bloquear em todo o lado:

User-agent: cohere-training-data-crawler
Disallow: /

Para o permitir em todo o lado exceto numa pasta:

User-agent: cohere-training-data-crawler
Disallow: /private/

É realmente este bot?

Qualquer pessoa pode copiar um user agent e a Cohere não publica intervalos de IP para este bot. Uma pesquisa de DNS inverso do endereço IP pode ajudar; consulte a documentação oficial.

Veja que crawlers de IA leram o seu site

O Statsdot mantém os bots fora dos seus visitantes e, com a monitorização de crawlers de IA, mostra que crawlers leram as suas páginas e que páginas solicitaram. Sem cookies, sem dados pessoais.