Bate-papos indexados de Claude mostram por que Disallow não é Noindex
No fim de semana, bate-papos compartilhados de Claude apareceram inesperadamente nos resultados de pesquisa do Google.
Em 27 de julho, verifiquei as regras de rastreamento nas páginas de compartilhamento de Claude e encontrei uma diretiva noindex que estava escondida atrás de um bloco, impedindo o acesso do Google.
O caminho de compartilhamento está bloqueado por robots.txt em claude.ai. Essas páginas também enviam de volta um cabeçalho X-Robots-Tag definido como nenhum, que as diretrizes de meta tags de robôs do Google tratam como noindex e nofollow.
Por causa disso, as regras entram em conflito entre si. De acordo com as orientações do Google, uma tag noindex só funciona se o rastreador tiver permissão para acessar e ler a página. Se uma página for bloqueada pelo robots.txt, ela ainda poderá ser indexada se outras páginas tiverem links para ela, já que o Googlebot anota o URL sem realmente abri-lo.
O emparelhamento não é exclusivo das empresas de IA. Se o Google descobrir um URL bloqueado em outro lugar, ele poderá listar o URL sem rastrear o noindex.
O que aconteceu
A 404 Media informou na segunda-feira que as páginas de compartilhamento de Claude estavam aparecendo no site: operadora. O TechCrunch relatou ter conseguido encontrar material médico, documentos internos da empresa e arquivos contendo nomes e números de telefone de crianças em idade escolar. Os artefatos, os documentos e miniaplicativos construídos dentro de Claude, apareceram por um segundo caminho.
Grande parte da cobertura, incluindo The Decoder, relatou que as páginas de compartilhamento não tinham uma tag noindex. Desde 27 de julho, um cabeçalho noindex está sendo veiculado e fica atrás de um bloco robots.txt. Não está claro se esse cabeçalho estava em vigor antes do fim de semana, pois não pude confirmar.
O que as regras de rastreamento retornam
Resultados das minhas verificações de 27 de julho em claude.ai:
- O arquivo robots.txt em claude.ai não permite /share/* no grupo User-agent: *, sem nenhum grupo separado do Googlebot, então esse é o grupo pelo qual o Google atende.
- Um URL de compartilhamento ativo responde com o cabeçalho x-robots-tag: none em uma solicitação GET.
- O mesmo cabeçalho aparece quando a solicitação afirma ser o Googlebot e a resposta inclui Vary: User-Agent.
- O caminho /public/artifacts/ não está listado em robots.txt.
Não verifiquei se os URLs do artefato retornam um noindex no nível da página, portanto, esses dois caminhos não podem ser comparados com base em seus controles.
O consultor de TI independente Daniel J. Glover relatou o mesmo conflito em 26 de julho. Minha verificação mostra que a configuração ainda estava em vigor em 27 de julho, depois que foi relatado que os bate-papos não eram mais exibidos nos resultados de pesquisa, mas não consegui estabelecer o que foi servido ao Google quando esses URLs foram descobertos pela primeira vez.
Por que bloquear uma página não a remove
Robots.txt ajuda a orientar como os mecanismos de pesquisa rastreiam seu site, mas não decide o que será indexado. O Google vem esclarecendo isso há anos.
Por exemplo, John Mueller explica que mesmo as páginas bloqueadas pelo robots.txt podem aparecer nos resultados da pesquisa se outras páginas tiverem links para elas. Se você deseja manter uma página fora dos resultados de pesquisa, usar a tag “noindex” é a escolha certa. Martin Splitt também recomenda evitar colocar as duas regras na mesma página. O Google recentemente enfatizou essa distinção novamente, como visto na atualização da semana passada.
O bloqueio de URLs com robots.txt não remove páginas já indexadas. Para uma remoção mais permanente, a orientação do Google é usar uma tag “noindex” que seu rastreador possa ler.
Resposta da Antrópica
A Anthropic disse ao TechCrunch que os links de compartilhamento aparecerão nos resultados da pesquisa somente se as pessoas os postarem em locais acessíveis aos rastreadores, e que os links enviados por meio de mensagens privadas não serão indexados.
A porta-voz Amie Rotherham acrescentou que esses links “não podem ser adivinhados ou descobertos, a menos que as próprias pessoas decidam compartilhá-los”. Isso aborda uma maneira de descobrir um URL de compartilhamento público, mas não aborda as regras conflitantes que encontrei em 27 de julho.
O porta-voz do Google, Ned Adriance, afirmou que os motores de busca não determinam quais páginas são tornadas públicas e que o Google fornece aos proprietários de sites controle sobre o rastreamento e a indexação e segue esses controles.
Por que isso é importante
Quaisquer bate-papos ou artefatos que você não tenha cancelado ainda estarão acessíveis a qualquer pessoa com o link. No Claude, vá em Configurações > Privacidade > Bate-papos compartilhados para ver uma lista completa.
Cancelar o compartilhamento de um bate-papo desativa o link direto, mas remover o URL do Google é uma coisa diferente. Como usuário do Claude, você não pode controlar o que ele serve ao Googlebot ou enviar uma solicitação de remoção, pois eles são gerenciados pela Anthropic.
Os artefatos são publicados por meio de seu próprio processo, o que torna o cancelamento do compartilhamento de um bate-papo e o cancelamento da publicação de um artefato desse bate-papo em duas ações distintas.
Além das alterações nas configurações, considere estabelecer uma regra sobre o compartilhamento de bate-papos e artefatos de IA. Se um bate-papo contém algo que você não postaria publicamente, não compartilhe por meio de um link que possa ser indexado posteriormente.
Olhando para o futuro
O padrão não é exclusivo da Antrópico. A OpenAI retirou bate-papos ChatGPT compartilhados da pesquisa em agosto de 2025, e o Google bloqueou a indexação das transcrições do Bard em 2023. Cada caso envolveu um URL de compartilhamento público que viajou mais longe do que seu proprietário poderia esperar.
Três empresas já tiveram chats de clientes aparecendo nas pesquisas. Essa é razão suficiente para tratar um link de compartilhamento público como uma página pública a partir do momento em que existe.
Imagem em destaque: Elenco de Milhares/Shutterstock
