Por que devemos temer a teia sombria que estamos construindo para a IA

Porque é que um fornecedor de pesquisa de IA teria um incentivo a longo prazo para confiar em informações que uma marca mantém deliberadamente separadas do seu website público?

Esta é uma questão à qual tenho voltado à medida que mais conversas sobre otimização para pesquisa de IA parecem envolver a criação de conteúdo especificamente para agentes, em vez de pessoas.

A lógica é compreensível: os sistemas de IA precisam de informações, às vezes em formatos ou estruturas que não são particularmente úteis para um visitante humano. Se pudermos facilitar o consumo dessas informações pelos agentes, isso certamente será uma coisa boa?

Sim, mas há uma diferença significativa entre tornar a informação mais acessível à IA e criar uma versão alternativa do seu site, ou mesmo da sua marca, que existe principalmente para influenciar o que os sistemas de IA dizem sobre você.

Passamos décadas lidando com versões desse problema em SEO e não estou convencido de que estejamos levando essas lições a sério o suficiente.

Como os SEOs podem prever isso?

Qualquer pessoa que tenha trabalhado com SEO por tempo suficiente terá visto os motores de busca evoluir em resposta aos meios usados ​​para manipulá-los.

O SEO inicial estava cheio de práticas projetadas para influenciar os mecanismos de pesquisa em vez de ajudar os usuários: texto oculto, preenchimento de palavras-chave, páginas de entrada, cloaking e, eventualmente, conteúdo cada vez mais sofisticado e manipulação de links.

Os motores de busca não desenvolveram regras contra essas práticas porque não gostavam de SEOs (principalmente). Fizeram-no porque permitir que websites falsificassem a relevância e a autoridade prejudicava a qualidade dos seus resultados.

A história do Google nos dá uma imagem bastante clara dessa evolução:

• 2011: A Panda direcionou conteúdo de baixa qualidade.
• 2012: A Penguin abordou o spam de links.
• 2022: O sistema de Conteúdo Útil do Google procurou recompensar melhor o conteúdo criado para ajudar as pessoas, em vez de atrair principalmente tráfego de pesquisa.
• 2024: As políticas de spam atualizadas do Google tornaram mais clara a posição sobre o abuso de conteúdo em escala, independentemente de o conteúdo ter sido criado por IA ou por humanos.

Esta é uma versão muito condensada das coisas, e a realidade era muito mais complicada, mas o padrão é importante.

À medida que os mecanismos de pesquisa se tornaram mais sofisticados, o mesmo aconteceu com os métodos usados ​​para influenciá-los (spam). Os motores de busca responderam investindo mais esforços para decidir quais informações eram confiáveis ​​e recompensadas.

O Google ainda identifica explicitamente o cloaking como spam. Não estou dizendo que a definição de camuflagem seja tão simples (ou fácil de detectar) assim, mas os paralelos são próximos demais para serem ignorados.

Então, o que estamos construindo para a IA?

Estamos vendo agora uma coleção de abordagens projetadas para disponibilizar informações para sistemas e agentes de IA.

A proposta llms.txt é um exemplo, fornecendo uma forma estruturada de direcionar modelos de linguagem para conteúdo útil do site. Existem também páginas de descontos específicas para agentes, terminais de informações dedicados, feeds estruturados e métodos cada vez mais sofisticados de fornecimento de informações diretamente aos agentes.

O Markdown for Agents da Cloudflare é um bom exemplo de como servir uma versão alternativa de conteúdo existente. As informações têm origem na mesma página, mas são apresentadas em um formato potencialmente mais fácil de processar pelos agentes.

Isso é fundamentalmente diferente de criar novas informações que existem apenas para consumo de IA.

Tornar a mesma informação acessível em formatos diferentes não é o problema.

Disponibilizar informações diferentes para públicos diferentes é onde as coisas se tornam consideravelmente mais complicadas.

Posso entender por que as marcas podem se sentir atraídas por isso, já que colocar conteúdo em um site tem nunca foi particularmente fácil. A propriedade do conteúdo, as limitações do CMS, os requisitos de design, os recursos de desenvolvimento, a governança, as aprovações e as prioridades concorrentes de diferentes equipes desempenham um papel importante.

Se você puder contornar tudo isso publicando um arquivo de texto ou hospedando uma coleção de conteúdo específico de IA em outro lugar, você terá um atalho atraente.

O problema da confiança e o risco/recompensa aqui

Há outra diferença importante entre a pesquisa tradicional e a pesquisa de IA: o Google não é o único ator significativo aqui. Como explorei anteriormente, investigando as fontes de pesquisa do ChatGPT, também não existe um processo de recuperação único e consistente que sustente cada resposta gerada por IA.

Diferentes sistemas, provedores de pesquisa, ferramentas e pipelines de recuperação podem desempenhar um papel na informação que é descoberta e, em última análise, usada.

Alguns destes processos herdam infra-estruturas de “pesquisa” estabelecidas, incluindo os sistemas que avaliam a relevância e fiabilidade da informação. Mas além do Google ou do Bing, outras fontes se comportam de maneira diferente.

Isso não significa que o ChatGPT ou outros sistemas de IA confiem automaticamente em tudo o que recebem. Mas há uma diferença considerável entre ter mecanismos para identificar fontes confiáveis ​​e ter a experiência que os motores de busca tradicionais têm ao lidar com pessoas que tentam manipular esses mecanismos.

Também precisamos separar a capacidade de recuperar informações da decisão de confiar nelas. Quando observei como os agentes realmente são curiosos, percebi como eles fazem o mínimo esforço para recuperar, resumir e seguir em frente. Só porque a resposta certa estava disponível não significa que ela seria sempre encontrada e usada.

Se um agente encontrar informações criadas especificamente para influenciar sua resposta:

• Como deve estabelecer se essas informações são precisas, confiáveis ​​ou consistentes com o que a marca diz aos seus clientes reais?
• O que acontece quando a versão legível por máquina diz uma coisa, mas o site público diz outra?
• Quem decide o que é mais confiável?
• E, talvez o mais importante, por que deveriam os fornecedores de IA continuar a aceitar informações que são deliberadamente separadas daquelas que os utilizadores podem verificar de forma independente?

Acho que ainda não temos respostas para essas perguntas.

Já não estivemos aqui antes?

Não creio que seja justo ou verdadeiro afirmar que todo formato de conteúdo específico de IA seja uma forma de camuflagem ou que disponibilizar informações aos agentes seja manipulativo. Dados estruturados, mapas de sites XML, APIs e feeds de produtos fazem parte da web há anos. Existem razões inteiramente legítimas para fornecer informações às máquinas em diferentes formatos – na verdade, eu insistiria que você fizesse isso!

Mas há uma diferença entre ajudar as máquinas a compreender o seu negócio e criar conteúdo apenas para influenciar os resultados da IA. Especialmente quando esse conteúdo não está representado em nenhum lugar que as pessoas possam acessar facilmente.

O incentivo à manipulação é óbvio e, embora a pesquisa por IA não seja uma pesquisa tradicional, os incentivos dos fornecedores de pesquisa por IA opõem-se a isso. Eles precisam retornar respostas úteis e precisas e manter a confiança do usuário. Porque quereriam eles encorajar um ecossistema de fontes cada vez mais fragmentadas e difíceis de verificar, que existem principalmente para influenciar as suas respostas?

Talvez estes sistemas se tornem melhores na validação de informações em relação a outras fontes. Talvez as informações específicas do agente sejam tratadas com maior escrutínio ou a sua influência limitada sem corroboração independente.

Não sabemos exactamente como isto evoluirá, mas assumir que as práticas emergentes de hoje permanecerão aceitáveis, eficazes ou mesmo úteis a longo prazo parece preocupantemente optimista ou ingénuo.

Colocar as informações que os clientes precisam em um site sempre apresentou desafios

Estamos “resolvendo” um problema antigo com um novo atalho e, se for bom demais para ser verdade, pode muito bem ser!

Durante anos, as estratégias de conteúdo foram limitadas pelo que as empresas desejam publicar e pelo que os seus processos internos lhes permitem manter. Freqüentemente, isso cria uma lacuna entre as informações que os clientes desejam e as informações que as marcas disponibilizam.

A IA generativa tornou isso mais aparente e tem sido um multiplicador significativo aqui! As pessoas agora podem fazer perguntas detalhadas e específicas sobre produtos, serviços, propriedades, experiências e praticamente qualquer outra coisa, esperando respostas úteis sem ter que navegar em um site para reunir elas mesmas as informações. Isso cria uma demanda muito maior por informações claras, acessíveis e específicas.

Se essa informação não estiver disponível, os sistemas de IA poderão ter que procurar outro lugar ou simplesmente não conseguirem responder à pergunta corretamente. Portanto, precisamos reconsiderar a informação que publicamos, como está estruturada e como os diferentes sistemas a acessam.

Mas por que a solução deveria ser criar outro conteúdo? Um que exija manutenção separada, governança, potencialmente outra pilha de tecnologia e processos adicionais para garantir que permaneça consistente com as informações que os clientes podem realmente ver?

A maioria luta para manter uma versão de seu site precisa e útil… Não tenho certeza se criar uma segunda versão, menos visível, seja a solução óbvia.

Útil para IA, útil para pessoas

Não creio que a resposta seja rejeitar formatos específicos de agentes ou insistir que os sistemas de IA consumam websites em exatamente da mesma forma que as pessoas. Isso ignoraria as diferenças genuínas na forma como estes sistemas funcionam e nas oportunidades que criam.

Da mesma forma, assumir que a solução é simplesmente criar conteúdo específico para IA é evitar um problema que tentamos resolver há anos.

O objetivo deve ser disponibilizar informações genuinamente úteis para ambos, a partir de uma fonte consistente e confiável que possa ser mantida, validada e, quando apropriado, verificada de forma independente.

As informações que são úteis apenas para a IA criam um problema de governação e levantam questões de confiança.

Informações que são úteis apenas para as pessoas criam cada vez mais um problema de visibilidade.

Há um meio-termo sensato aqui, e isso não exige que inventemos outra versão da web. Já escrevi anteriormente sobre por que faz sentido a relutância do Google em endossar um conjunto totalmente separado de práticas de otimização de IA. Há pouco incentivo para que os provedores de busca legitimem outra indústria de técnicas que precisarão então policiar.

Quanto mais encorajamos as marcas a criar informações especificamente para agentes, desligadas da web voltada ao público, mais corremos o risco de recriar problemas que os motores de busca passaram décadas tentando resolver.

Não estou convencido de que construir uma teia sombria para a IA seja um progresso. Pode ser apenas mais um atalho que passaremos a próxima década tentando desfazer.

Mais recursos:

Esta postagem foi publicada originalmente no Chris Green SEO.

Imagem em destaque: DC Studio/Shutterstock