Mais sites de notícias têm como padrão bloquear rastreadores de IA
A Reuters e a Time agora bloqueiam bots de IA por padrão, permitindo apenas rastreadores aprovados por meio de listas de permissões, relata Digiday.
Ambas as editoras tomaram a decisão em maio, juntando-se à People Inc. e à The Atlantic, que adotaram configurações semelhantes no ano passado.
A Reuters diz que a mudança não custou tráfego, ao mesmo tempo que reduziu o que gasta servindo bots. Os executivos atribuem ao atrito adicional a ajuda a levar as empresas de IA a negociações de licenciamento.
Por que as listas de bloqueio não eram suficientes
Robots.txt funciona apenas quando os rastreadores optam por honrá-lo. Digiday citou um relatório da Tollbit que descobriu que 30% do total de ataques de bots de IA não obedeciam às permissões explícitas do robots.txt.
O bloqueio em outros níveis ainda é válido, dizem os executivos. Os raspadores que contornam os blocos pagam pelas soluções alternativas, e essa despesa é o ponto principal.
Uma lista de bloqueio captura apenas os bots que um editor pode nomear. A People Inc. descobriu que a mudança para uma lista de permissões aumentou o número de agentes de usuários bloqueados de cerca de 2.100 para mais de 30.000. Lindsay Van Kirk, vice-presidente sênior de inovação, compartilhou os números em um evento do IAB Tech Lab no final de maio.
Essa escala corresponde ao que os dados do robots.txt mostram há meses. Uma análise do BuzzStream que cobrimos em janeiro descobriu que 79% dos principais editores de notícias bloqueiam pelo menos um bot de treinamento de IA. A documentação do rastreador da Anthropic agora alerta os editores sobre o custo de visibilidade do bloqueio de seu bot de busca. No Reino Unido, um novo requisito de conduta exige que o Google permita que os sites optem por não usar os recursos de pesquisa de IA.
Como os editores decidem quais bots permitir
O bloqueio por padrão, uma configuração às vezes chamada de negação padrão, altera a decisão de quais bots bloquear para quais bots permitir a entrada.
A Reuters aprova um bot quando ele oferece uma “troca de valor justo”, disse o chefe da Reuters Professional, Josh London, ao Digiday. Essa troca cobre quatro tipos de valor. Um bot pode pagar pelo conteúdo por meio de licenciamento, enviar tráfego de volta, manter o site funcionando ou oferecer suporte à monetização.
O resultado é visível no arquivo robots.txt da Reuters ao vivo. Ele lista rastreadores aprovados da Amazon, Google, Bing/Microsoft, Yahoo e OpenAI e, em seguida, proíbe outros bots da maior parte do site.
Por que isso é importante
O acesso do rastreador funcionou da mesma maneira desde que o robots.txt foi criado. Todo bot entra, a menos que um editor o nomeie e o bloqueie.
Agora, a Reuters e a Time estão a reverter esse padrão, e os números da People Inc. mostram porquê. Você não pode bloquear um bot do qual nunca ouviu falar.
O bloqueio tem custos, no entanto. Bloqueie um rastreador e você perderá tudo o que ele estava enviando de volta, como visibilidade de pesquisa de IA ou tráfego de referência. É por isso que ambos os editores perguntam o que cada bot lhes oferece antes de deixá-lo entrar. É uma pergunta que vale a pena fazer sobre o seu próprio robots.txt.
Olhando para o futuro
Os editores apostam que os números têm força. Um site que bloqueia bots de IA é fácil de ignorar. A Coalizão SPUR está construindo padrões compartilhados para licenciamento e uso de conteúdo. Cresceu para 36 organizações este mês, após adicionar 30 membros. Trinta e seis editores bloqueando juntos são mais difíceis de descartar do que um.
O que está menos claro é para quem isso funciona. A Reuters chegou à mesa com uma agência de notícias e acordos de licenciamento já assinados. As editoras menores enfrentam a mesma escolha sem essa vantagem. Eles podem bloquear, mas o bloqueio custa a visibilidade da IA e não garante que alguém apareça para negociar.
Em um mergulho profundo que escrevi há alguns meses, descobri que os pools de pagamento permanecem pequenos em relação à receita de pesquisa tradicional. Se os negócios só acontecerem para os maiores nomes, a negação padrão poderá continuar sendo uma ferramenta para grandes editores.
Imagem em destaque: Grenar/Shutterstock
