Os sistemas de IA geralmente preferem conteúdo escrito por IA, o estudo encontra
Um estudo PNAS revisado por pares constata que grandes modelos de idiomas tendem a preferir o conteúdo escrito por outros LLMs quando solicitado a escolher entre opções comparáveis.
Os autores dizem que esse padrão pode dar uma vantagem à medida que mais descoberta de produtos e recomendações fluem através dos sistemas de IA.
Sobre o estudo
O que os pesquisadores testaram
Uma equipe liderada por Walter Laurito e Jan Kulveit comparou versões escritos por humanos e escritos pela IA dos mesmos itens em três categorias: descrições de produtos de mercado, resumos de papel científico e resumos de enredo de filmes.
Modelos populares, incluindo GPT-3.5, GPT-4-1106, LLAMA-3.1-70B, MIXTRAL-8X22B e QWEN2.5-72B, atuaram como seletores em avisos em pares que forçaram uma única escolha.
O artigo afirma:
“Nossos resultados mostram uma tendência consistente para o AIS baseado em LLM preferir opções apresentadas por LLM. Isso sugere a possibilidade de futuros sistemas de IA discriminando implicitamente contra os seres humanos como uma classe, dando a agentes da IA e aos seres humanos assistidos por IA uma vantagem injusta”.
Principais resultados de vista
Quando o GPT-4 forneceu as versões escritas em IA usadas em comparações, os seletores escolheram o texto da IA com mais frequência do que os avaliadores humanos:
- Produtos: 89% de preferência de IA pela LLMS vs 36% por humanos
- Resumos de papel: 78% vs 61%
- Resumos de filmes: 70% vs 58%
Os autores também observam os efeitos da ordem. Alguns modelos mostraram uma tendência a escolher a primeira opção, que o estudo tentou reduzir trocando o pedido e a média dos resultados.
Por que isso importa
Se os mercados, assistentes de bate-papo ou experiências de pesquisa usarem o LLMS para marcar ou resumir listagens, a cópia assistida por IA pode ter mais probabilidade de ser selecionada nesses sistemas.
Os autores descrevem um potencial “imposto sobre o portão”, onde as empresas se sentem compelidas a pagar pelas ferramentas de escrita de IA para evitar serem selecionadas pelos avaliadores de IA. Esta é uma questão de operações de marketing tanto quanto criativa.
Limites e perguntas
A linha de base humana neste estudo é pequena (13 assistentes de pesquisa) e preliminares, e as opções pareadas não medem o impacto das vendas.
As descobertas podem variar de acordo com o design imediato, a versão do modelo, o domínio e o comprimento do texto. O mecanismo por trás da preferência ainda não está claro, e os autores exigem trabalho de acompanhamento sobre técnicas de estilometria e mitigação.
Olhando para o futuro
Se a classificação mediada por IA continuar a se expandir na descoberta de comércio e conteúdo, é razoável considerar a assistência de IA, onde isso afeta diretamente a visibilidade.
Trate isso como uma pista de experimentação em vez de uma regra geral. Mantenha os escritores humanos informados para o tom e as reivindicações e validem com os resultados dos clientes.
