Charging AI Bots decide quais agentes ainda podem citá-lo

Charging AI Bots decide quais agentes ainda podem citá-lo


Cobrar um bot de IA para rastrear seu site é uma decisão de visibilidade, não de receita. Cada rastreador que você coloca atrás de um acesso pago é uma escolha sobre quais agentes ainda poderão ler, citar e recomendar você, e a maioria dos proprietários de sites está prestes a fazer essa escolha sem perceber que ela passou a ser sua. O mecanismo é HTTP 402, um código de status escrito na web em 1997 e deixado inativo por quase trinta anos. Em julho de 2025, a Cloudflare tirou o pó para cobrar os rastreadores de IA. Em 15 de junho de 2026, a AWS adicionou o mesmo recurso ao seu firewall. Duas das maiores empresas de infraestrutura web agora vendem a mesma coisa: uma cabine de pedágio para máquinas. A pergunta que eles lhe fazem é sobre quem você pode se dar ao luxo de recusar.

A cabine de pedágio que todos estão lendo como uma linha de receita

As postagens de lançamento enquadram o pagamento por rastreamento como dinheiro novo, mas na verdade é uma questão de consentimento. Durante anos, as empresas de IA rastrearam a web aberta para treinar modelos e encontrar respostas, e os proprietários de sites tinham duas opções contundentes: deixar a porta aberta ou bloquear os rastreadores por atacado e esperar que as regras fossem mantidas. O pagamento por rastreamento é o primeiro mecanismo que permite que um site diga algo mais preciso do que sim ou não. Ele permite que você defina os termos. Esta é uma mudança genuína onde o consentimento e o controlo, e não os centavos, são o verdadeiro prémio.

A razão pela qual tudo isso existe, em primeiro lugar, é um acordo quebrado. Durante 30 anos, o acordo foi simples: deixe o rastreador entrar, ele indexa você e manda as pessoas de volta. Os rastreadores de IA mantiveram o primeiro tempo e abandonaram o segundo. A análise da Cloudflare sobre por que esses bots rastreiam coloca o treinamento em quase 80% da atividade dos bots de IA, com buscas para fins de pesquisa que podem realmente retornar uma citação, uma pequena fatia do que resta. O resto é extração que pega o conteúdo e não manda ninguém de volta. Então, esse pedágio é a web tentando renegociar uma barganha que os rastreadores de IA já pararam de honrar.

É aqui que a celebração das postagens de anúncio e minha leitura sobre ela se separam. No momento em que você pode definir os termos, os termos se tornam uma troca de visibilidade, e essa é a parte que os posts de lançamento deixam de fora.

Quem está cobrando rastreadores de IA e como funciona o mecanismo

A Cloudflare lançou a primeira versão principal em 1º de julho de 2025. Um editor define um preço fixo por solicitação para seu domínio. Quando um rastreador de IA solicita uma página, ele apresenta a intenção de pagamento em seus cabeçalhos de solicitação e obtém o conteúdo com uma resposta 200, ou obtém uma resposta 402 Pagamento obrigatório carregando o preço. A Cloudflare se descreve como Merchant of Record e administra o acordo, o que é importante: como a Cloudflare fica entre os rastreadores e os editores, ela pode atuar como câmara de compensação para ambos os lados. No lançamento, o recurso era uma versão beta privada e a Cloudflare o enquadrou como um primeiro experimento, não como um mercado acabado.

A AWS adicionou a mesma ideia ao seu Web Application Firewall em 15 de junho de 2026. Quando um rastreador de IA solicita um artigo protegido, feed de dados ou arquivo licenciado, o AWS WAF pode retornar HTTP 402, e o preço e os detalhes de pagamento acompanham o protocolo x402 como um manifesto legível por máquina. O pagamento é feito em stablecoin por meio de um facilitador Coinbase, os controles ficam no WAF Bot Control e o preço pode ser definido por caminho de conteúdo e por tipo de bot sem mexer no código do site. Dois dos maiores fornecedores de infraestrutura da web agora vendem pedágios para máquinas com intervalo de um ano entre eles.

Eles não estão sozinhos, embora o resto do campo tenha uma forma diferente. A TollBit administra um acesso pago e um mercado para bots e agentes, cobrando o acesso à IA em termos baseados no uso, em vez de um preço fixo por solicitação. A Akamai leva essa monetização ao seu limite ao integrar TollBit e Skyfire, anunciados em setembro de 2025, para que seus clientes possam impor o pedágio na camada de rede sem construí-lo. Abaixo das portagens mais recentes está o x402, o padrão aberto da Coinbase para o mesmo código de status HTTP 402. Ele é liquidado em stablecoin e não precisa de conta do agente pagador, o que aumentaria o número de bots conhecidos e identificados para bots anônimos. Para ter uma visão completa de quais rastreadores estão chegando até você, o cenário de agente de usuário de IA é a referência, porque você não pode definir o preço de um bot que não consegue nomear.

Em todos eles, o pedágio fica na borda, na CDN e no firewall, a mesma camada que já decide quem entra. O pagamento e a permissão estão se fundindo em um ponto de controle.

A barganha da Web aberta está sendo desagregada

O acordo fundador da web aberta está sendo desmontado e vendido linha por linha. O acordo de rastreamento gratuito por tráfego que impulsionou a pesquisa, e toda a prática construída sobre ele, presumia que o rastreamento era um custo que um site pagava para obter distribuição. O pagamento por rastreamento é a primeira fatura de um rastreamento que não retorna mais o favor de maneira confiável.

Essa desagregação tem uma forma específica. O controle de acesso e o faturamento costumavam ser preocupações distintas, gerenciadas por sistemas separados. Agora eles estão na mesma borda, na mesma regra WAF, no mesmo painel Cloudflare. O firewall que decide se uma solicitação é permitida está se tornando o medidor que decide quanto custa a solicitação. Quando a permissão e o pagamento se agrupam em uma única camada, a decisão de admitir um visitante deixa de ser um padrão e se torna uma escolha deliberada e com preço. Esta é a questão do agente como visitante, aquela que está por trás do caso Amazon v. Perplexidade sobre se um agente é mesmo um visitante autorizado, que passou de uma abstração legal a uma configuração que você configura.

E o favor que o crawl costumava retribuir não desapareceu; ele mudou. As superfícies de IA enviam as pessoas de volta: os dados de 2026 da Adobe mostram que o tráfego referido por IA para varejistas dos EUA aumentou 393% ano após ano. Esse número é o motivo pelo qual o pedágio é primeiro uma decisão de visibilidade e um segundo de faturamento. O rastreador que você cobraria e a resposta que encaminha um cliente para você geralmente são o mesmo pipeline.

Se você deve cobrar depende de quem você é

Um editor com um arquivo profundo e licenciável, um meio de comunicação, um banco de dados de referência ou um conjunto de dados proprietário tem duas coisas que tornam a cobrança racional: conteúdo que realmente vale a pena pagar e rastreadores que ele pode recusar porque sua distribuição não depende deles. Para esse proprietário, o pedágio é uma alavancagem, e usá-lo é uma boa ideia.

Um site de conteúdo ou comércio que busca visibilidade de IA fica no lado oposto. Para esse proprietário, o rastreador é a distribuição. Pare e você poderá ganhar alguns centavos ou poderá se excluir do local onde seus clientes agora fazem suas perguntas. O pedágio só funciona quando duas coisas são verdadeiras ao mesmo tempo: vale a pena pagar pelo que está por trás dele, e o bot que você está bloqueando é aquele pelo qual você não precisa ser visto. O site cuja estratégia é ser a resposta dada por um agente está descrevendo um rastreador que ele não pode cobrar. Essa é a mesma razão pela qual um website é agora uma fonte e não um megafone: o valor está em ser lido, não em ser murado.

Portanto, o movimento é vigiar primeiro a porta. Descubra quais bots de IA realmente chegam até você e o que eles levam, separe aqueles que alimentam respostas e enviam referências daqueles que extraem e não retornam nada, e só então decida onde e se o pedágio pertence. Esse é o teste que vale a pena executar antes que alguém cobre um centavo: meça um bot em um caminho, observe o que ele faz com seu volume de rastreamento e sua presença nas respostas, e deixe o resultado, e não o hype pós-lançamento, informar sua política. Você não deve prejudicar o tráfego que nunca viu.

A questão não resolvida é se os bots anônimos pagarão

Nenhum estudo público ainda mostrou quanta citação um site realmente perde ao cobrar um bot específico. A lógica do custo é sólida: um rastreador que lê você e alimenta uma resposta de IA pode removê-lo dessa resposta quando você a recusa. Não se sabe quão grande é o efeito na prática, e é por isso que esta é uma decisão que você toma com base em seus próprios dados, e não em uma regra prática.

O sinal que observarei é se o pagamento do bot anônimo se tornará real. Hoje, os modelos viáveis ​​baseiam-se em rastreadores identificados que apresentam intenção de pagamento. A ambição do x402 é o pagamento sem registro prévio, liquidado em stablecoin, o que estenderia o pedágio à maioria anônima do tráfego automatizado. Se isso funcionar em grande escala, o preço da web vai muito além de um punhado de bots nomeados. Se continuar sendo um encanamento empresarial, o pagamento por rastreamento continuará sendo uma ferramenta para grandes editores e uma curiosidade para todos os demais. O que se concretiza decide se o pedágio é um nicho ou o novo formato da estrada.

De qualquer forma, o estande está construído e cabe a nós operá-lo. A conta que você pode ver é aquela que o rastreador paga. A conta que você não consegue ver é a resposta da qual você desaparece. Decida qual você está assistindo.

Mais recursos:


Este post foi publicado originalmente no No Hacks.


Imagem em destaque: Roman Samborskyi/Shutterstock



Source link

Postagens Similares

Deixe um comentário

O seu endereço de email não será publicado. Campos obrigatórios marcados com *