Agentes de IA irão controlar suas métricas de SEO, pesquisas do MIT e Stanford apontam para o risco

Se sua equipe de SEO está entregando mais trabalho a agentes de IA, a métrica pela qual você recompensa esses agentes será mais importante do que o modelo que você escolher. Artigos recentes do MIT e de Stanford, lidos lado a lado, apontam para essa conclusão, e cada um vem com uma correção que você pode inserir no plano do próximo trimestre.

A primeira é uma entrevista que Joshua Miller, do The Boston Globe, publicou em seu boletim informativo Camberville em 17 de setembro. Seu convidado foi Dylan Hadfield-Menell, professor associado de engenharia elétrica e ciência da computação no MIT, na faculdade de inteligência artificial e tomada de decisões. Hadfield-Menell estuda como as metas são definidas para os sistemas de IA e como esse processo dá errado. Ele começou com um exemplo que todo SEO reconhecerá.

O vácuo que se alimentou

Certa vez, os pesquisadores treinaram um robô aspirador com aprendizado por reforço, recompensando-o cada vez que pegava sujeira. O aspirador aprendeu a coletar sujeira, jogá-la de volta no chão e recolhê-la novamente. Acertou o alvo e derrotou o propósito.

Hadfield-Menell conecta essa história a um artigo de gestão da década de 1970 intitulado “On the Folly of Rewarding A, While Hope for B”. Seu caso clássico é o do professor universitário que é promovido por publicar pesquisas enquanto é esperado que lecione. Pague por um comportamento e você obterá esse comportamento, independentemente do que esperava.

O que mudou, diz ele, é a escala. Desde o início de 2025, os desenvolvedores têm aplicado aprendizagem por reforço em um volume muito maior sobre modelos de linguagem, e isso fortalece alguns comportamentos que ninguém deseja. Ele apontou para um incidente recente envolvendo sistemas OpenAI e Hugging Face, onde modelos que consideraram uma tarefa muito difícil procuraram maneiras de trapacear no teste. Ele comparou isso a invadir o escritório de um professor para roubar o exame.

Sua preocupação não é que as máquinas acordem com objetivos próprios. Os sistemas recebem uma meta, adotam submetas ao longo do caminho e continuam avançando em direção à conclusão de uma forma que ele chamou de “pegajosa”.

Minha opinião é que SEO é a profissão mais bem posicionada para entender esse problema e a mais lenta para admitir que ele se aplica a nós. Passamos mais de 20 anos otimizando proxies. Classificações, tráfego, pontuações de domínio e agora pontuações de visibilidade de IA representam um resultado de negócios que ninguém pode medir diretamente. Uma equipe humana joga com um proxy lentamente e com alguma hesitação. Um agente faz isso mais rápido e sem nenhum.

O placar está mais instável do que os fornecedores admitem

O Índice de IA de 2026 de Stanford mostra por que é arriscado confiar em pontuações publicadas. O relatório diz que a IA continua melhorando rapidamente. No SWE-bench Verified, um benchmark de codificação, o desempenho aumentou de 60% para quase 100% em um único ano, e 88% das organizações agora usam IA.

O mesmo relatório, no seu capítulo sobre desempenho técnico, cita uma revisão que encontrou taxas de perguntas inválidas em benchmarks populares variando de 2% no MMLU Math a 42% no GSM8K. Ele também observa pesquisas que sugerem que a posição de um modelo na tabela de classificação da Arena pode refletir parcialmente a adaptação à plataforma, e não a capacidade geral.

Michelle Kim, do MIT Technology Review, resumiu o relatório em abril. Ela acrescenta que os modelos treinados em dados de testes de benchmark podem aprender a obter bons resultados sem ficarem mais inteligentes, e que os principais modelos agora ficam muito próximos e competem em custo, confiabilidade e utilidade no mundo real. Yolanda Gil, cientista da computação da Universidade do Sul da Califórnia e coautora do relatório, disse a Kim que quando uma empresa omite seus resultados em determinados benchmarks, especialmente os de IA responsável, a omissão “talvez diga alguma coisa”.

Isso deve mudar a forma como uma equipe de SEO compra ferramentas. Se os modelos líderes estiverem a poucos pontos um do outro e as pontuações em si puderem ser falhas ou manipuladas, o slide de benchmark de um fornecedor diz pouco sobre como o produto tratará suas páginas, suas consultas e seus clientes. Eu confiaria em um teste em meu próprio site em vez de qualquer placar.

Veja também: O teste de 4 etapas que detecta erros de IA antes que eles moldem sua estratégia

De onde realmente vêm os retornos

Betsy Vereckey, do MIT Sloan, relatou em agosto a questão a seguir, que é o que separa as empresas que lucram com a IA daquelas que não o fazem. George Westerman, professor sênior do MIT Sloan e pesquisador digital da Iniciativa sobre Economia Digital do MIT, diz que a resposta não são algoritmos melhores. Os vencedores redesenharam a forma como o trabalho é realizado. No MIT Enterprise AI Forum, em maio, ele disse ao público que a tecnologia oferece pouco até que o próprio negócio opere de forma diferente.

Ele também estimou a parcela de pilotos de IA que nunca escalam entre 70% e 95%, uma faixa que o artigo de Sloan atribui aos estudos sem nomeá-los. Os pilotos são fáceis de lançar e difíceis de espalhar.

O teste mais rigoroso de Westerman para os líderes diz respeito à governação. “A sua governança é mais o volante ou é mais o freio?” ele perguntou. HCA Healthcare mostra como é a versão com volante. Um comitê analisa os riscos, o caso de negócios e a viabilidade de cada caso de uso de IA e, em seguida, faz suas perguntas novamente antes de um piloto em um pequeno número de hospitais e novamente antes da expansão do projeto. Ele também verifica periodicamente se seus modelos ainda estão funcionando. As questões de risco apontam a equipe para o que investigar, em vez de interromper o trabalho.

O marketing também aparece nos estudos de caso de Westerman. A Dentsu Creative impulsionou a IA em planejamento, criação, pesquisa de mercado e trabalho de campanha.

Suspeito que muitas equipes de SEO que executam pilotos de IA estão caminhando para esses 70% a 95%. Um piloto que não altera o briefing, a etapa de revisão ou o relatório é um teste de ferramenta, como quer que a apresentação de slides o chame.

Veja também: Por que 88% das empresas estão usando IA de maneira errada: a lacuna na construção de sistemas

Como aplicar isso à sua estratégia de SEO

Quatro movimentos seguem das três peças.

Combine cada proxy com um resultado que o agente não possa atingir. Liste as métricas pelas quais seus fluxos de trabalho assistidos por IA são avaliados, desde páginas publicadas até esquemas implantados e menções à marca nas respostas de IA. Em seguida, anexe uma segunda medida que um ser humano possua, como leads qualificados, pipeline ou demanda de pesquisa de marca. Gosto do Citation Share of Voice, mas é um proxy. Se um agente de conteúdo for julgado pela frequência com que sua marca aparece nas respostas de IA, espere que ele encontre o caminho mais barato até lá. Verifique manualmente uma amostra dessas citações todos os meses e veja se elas direcionam alguém para uma página que converte.

Teste ferramentas em suas próprias páginas. Extraia um conjunto de consultas reais do Search Console, execute cada ferramenta candidata em seu próprio conteúdo e faça com que um editor avalie os resultados sem saber qual ferramenta os produziu. Repita isso a cada trimestre, porque as tabelas de classificação mudarão e você não saberá por quê.

Bloqueie os agentes da mesma forma que o HCA controla os casos de uso. Adicione pontos de revisão antes do projeto, antes do piloto e antes da escala. Faça um piloto em um diretório ou mercado de idioma e decida antecipadamente qual resultado encerrará o piloto. Eu também manteria as permissões dos agentes restritas, para que o rascunho não se transformasse silenciosamente em publicação ou edição de modelos. O conselho de Westerman é mudar ou abandonar um projeto que não esteja produzindo os resultados esperados.

Reescreva um fluxo de trabalho, não a pilha de ferramentas. Antes de comprar qualquer coisa, nomeie a etapa do seu processo que será diferente após o piloto, seja briefing, controle de qualidade ou relatório, e diga quem perde uma tarefa por causa disso. Em seguida, diga à equipe o que muda e que treinamento vem com isso. Westerman observa que o silêncio permite que as pessoas imaginem o pior.

Não acho que o próximo lançamento do modelo decidirá quem ganha na pesquisa de IA. A métrica que você usa para julgar seus agentes o fará, porque os agentes a encontrarão antes de você. Escolha um que você ficaria feliz em vê-los atingidos.

Mais recursos:

Imagem em destaque: Fardived/Shutterstock