Brave vende seu índice de pesquisa para IA, e seu site provavelmente está nele

Você provavelmente nunca usou o Brave Search. Bem, não diretamente. Mas a IA que você faz perguntas pode ter encontrado seu site lá. Em 2 de novembro, o New York Times processou a Brave, a empresa por trás do navegador Brave e do Brave Search. O Times diz que a Brave copiou mais de 30 bilhões de páginas da web “sem se identificar ou fornecer aos proprietários de sites qualquer mecanismo para bloquear seu rastreador”, e depois vendeu esse conteúdo para empresas de IA. Brave ainda não respondeu, então por enquanto são afirmações. Mas por que você não pode manter o rastreador fora sem manter o Google fora também? Brave explica isso sozinho, ali mesmo em sua página de ajuda.

Crédito da imagem: Slobodan Maníaco

Brave vende seu índice de pesquisa para Cohere, Mistral e Perplexity

A Brave vende acesso ao seu índice de pesquisa para empresas de IA, por meio de um produto chamado Brave Search API. Quando um assistente de IA precisa de algo recente da web, ele nem sempre lê a própria web. Pode valer a pena pesquisar o índice de outra pessoa. A página Sobre do Brave diz que a API é “usada por alguns dos maiores nomes da IA, incluindo Cohere, Mistral, Perplexity e You.com”. Sua página de IA diz que o índice contém “mais de 30 bilhões de páginas, com milhões de novas páginas indexadas a cada dia”.

A reclamação do Times começa nomeando cinco empresas de IA que a Brave fornece: Anthropic, Perplexity, Mistral, xAI e Cohere. Nenhum deles está sendo processado. Claude é o confuso, porque as evidências são antigas. A reclamação aponta para uma postagem do Brave de 2023 sobre o treinamento da Antrópico Claude 2. Em março de 2025, a Anthropic adicionou o Brave Search à sua lista de subprocessadores, as empresas externas que ele usa, conforme relatado pelo TechCrunch. Na mesma semana, Simon Willison, um desenvolvedor que escreve um blog amplamente lido sobre ferramentas de IA, pediu a Claude para pesquisar fatos sobre pelicanos, e os 10 resultados citados correspondiam exatamente à mesma pesquisa no Brave. Se Claude ainda usa Brave hoje, não pude confirmar.

<em>Um pelicano, para que conste. ̄_(ツ)_/ ̄ Foto: Wikimedia Commons, CC0 </em>Crédito da imagem: Slobodan Maníaco

O rastreador do Brave não tem nome, então você não pode bloqueá-lo sem bloquear o Google

Os sites decidem quais rastreadores podem lê-los em um pequeno arquivo chamado robots.txt, e isso só funciona porque os rastreadores têm nomes. OpenAI e Anthropic publicam seus nomes, para que você possa permitir a entrada dos rastreadores de uma empresa e rejeitar os da outra.

A página de ajuda do Brave, no início deste artigo, diz que seu rastreador “não anuncia um agente de usuário diferenciado”. Em palavras simples, o rastreador do Brave não usa crachá, e o Brave dá um motivo: alguns sites deixam o Google entrar e mais ninguém, então um rastreador com o nome do Brave seria rejeitado. Brave diz que segue as regras do Google: tudo o que o Googlebot não tem permissão para ler, o Brave também não lerá.

Portanto, você não pode deixar o Google entrar e manter o Brave fora. Você obtém os dois ou nenhum. Para sair do índice do Brave, a mesma página aponta para a tag noindex, que diz ao Google para descartar a página também. O Times chama isso de “recusa do Brave em divulgar o nome de seu bot rastreador da web”.

Meu site está no índice do Brave e meu Robots.txt nem consegue mencioná-lo

Uma busca corajosa por site:nohacks.co no dia 3 de novembro mostrei 16 de minhas páginas na primeira página de resultados, 13 delas artigos.

Crédito da imagem: Slobodan Maníaco

O resultado do Brave mostra até a descrição da página inicial que substituí no mesmo dia, então o que o Brave serve é uma cópia armazenada, não uma visualização ao vivo do meu site. Meu robots.txt nomeia 13 bots de IA, de GPTBot a Bytespider, e bloqueia dois deles, Meta’s e ByteDance’s. Não há nenhuma linha que eu possa adicionar para Brave. É difícil bloquear um nome que não existe.

Verificar o seu leva cerca de 30 segundos: acesse search.brave.com e digite site: e seu domínio. Tudo o que aparece está no índice que a Brave vende.

Um mecanismo de pesquisa envia as pessoas de volta, e um índice vendido para IA não precisa disso

Estar em um mecanismo de busca é um negócio que todo site entende. Alguém pesquisa, vê sua página, clica e acessa seu site. Os resultados comuns do Brave Search funcionam assim, embora o Brave tenha adicionado suas próprias respostas de IA, chamadas Ask Brave, que o The Times também está processando.

Vender o índice é um negócio diferente. A reclamação cita Brave descrevendo uma parte dela, “Contexto LLM”, como entrega de “pedaços de página extraídos e metadados de origem em um formato e comprimento que satisfaçam as necessidades de um LLM sem necessidade de raspagem adicional”. Assim, a empresa de IA pega sua página, já cortada, e escreve uma resposta a partir dela. Se essa resposta enviar alguém de volta para você é uma decisão da empresa de IA. Não é seu e não é algo que Brave está vendendo. Essa é a parte que me incomoda.

Um tribunal decidirá se a Brave pode vender seu índice para empresas de IA

O New York Times está alegando violação de direitos autorais e contornando seu acesso pago, entre outras coisas, e o Daily News, o Chicago Tribune e o Orlando Sentinel abriram um caso separado no mesmo dia. Brave também não respondeu quando escrevi isso. Porém, ela já argumentou seu lado antes: quando a News Corp lhe enviou um cessar-e-desistir, a Brave processou primeiro, dizendo que estava apenas indexando a web, o que “todos os operadores de mecanismos de busca devem fazer para existir”, e em julho de 2026 a News Corp processou de volta, dizendo que a Brave esconde seus rastreadores para que os editores não possam detectá-los ou bloqueá-los, relatou Semafor. Uma decisão nas páginas do The Times não cobrirá automaticamente as de mais ninguém, mas dirá muito sobre cada site desse índice, e provavelmente é o seu também. Então, estarei assistindo este.

Mais recursos:


Este post foi publicado originalmente no No Hacks.


Imagem em destaque: FotoField/Shutterstock

Source link

Deixe um comentário

O seu endereço de email não será publicado. Campos obrigatórios marcados com *

Botão Voltar ao Topo