Quando a IA não tem nada na sua empresa, ela descreve outra pessoa

Quando um modelo de IA não tem nada a ver com a sua empresa, ele não conta a ninguém. Não declina, não se protege e não marca o local onde as suas provas acabaram. Ele procura a coisa bem documentada mais próxima, que geralmente é um concorrente, uma média de categoria ou uma versão sua de três anos atrás, e entrega essa substituição no mesmo registro confiante que usa quando realmente sabe.

Isso já foi discutido. O que não foi discutido é a parte que deveria preocupar qualquer pessoa que execute este trabalho: você não pode encontrar isso auditando seu próprio conteúdo. Toda auditoria de conteúdo já construída inspeciona o que existe: páginas, estrutura, cobertura, precisão, atualização. Esse fracasso mora no que não existe, num lugar que você não possui, e só se torna visível no momento em que alguém faz uma pergunta que você nunca verá.

Portanto, a auditoria volta limpa. As páginas estão bem. O esquema é validado. A cobertura parece razoável em relação ao conjunto competitivo. E o modelo ainda está dizendo às pessoas algo sobre sua empresa que nenhuma página sua apoia e nenhuma página sua poderia ter evitado.

Por que o modelo preenche a lacuna em vez de deixá-la

O mecanismo está bem documentado, e apoiei-me em Mallen e colegas tantas vezes neste boletim informativo que os leitores regulares podem folhear esta parte: Os modelos lutam especificamente com o conhecimento factual menos popular, e torná-los maiores melhora principalmente a recordação de factos populares, ao mesmo tempo que faz muito pouco pela cauda. A escala não vem resgatar o fabricante de médio porte ou a empresa de serviços regionais. A parte fina da distribuição permanece fina.

O que acontece nessa parte tênue é a questão interessante. Longpre e colegas, no seu trabalho EMNLP 2021 sobre conflitos de conhecimento, mediram até que ponto os modelos se apoiam em informações memorizadas em vez de lerem o que realmente está à sua frente, e enquadraram a questão do profissional como se um modelo tende a ter alucinações em vez de ler. O comportamento não é de abstenção. É uma produção confiante a partir de quaisquer que sejam os pesos.

Separe isso da alucinação, como o termo é normalmente usado, porque a indústria nivelou os dois e o nivelamento custa o diagnóstico. A alucinação genérica é aleatória. Produz uma citação de caso falsa, uma estatística fabricada, um artigo aparentemente plausível que não existe, e fá-lo de forma suficientemente imprevisível para que modelos melhores a reduzam de forma mensurável. O que estou descrevendo não é aleatório. É sistemático, direcional e previsível a partir do formato da evidência. Dada uma entidade esparsa e um vizinho denso, um modelo irá desviar de forma confiável em direção ao vizinho, e fará isso sempre na mesma direção, porque o gradiente que aponta nessa direção é uma propriedade da distribuição de treinamento e não uma falha na amostragem. É por isso que a garantia habitual de que os modelos mais novos têm menos alucinações não se aplica aqui. Os modelos estão cada vez melhores em não inventar coisas. Eles não estão melhorando em conhecer empresas sobre as quais ninguém escreveu.

Um exemplo prático, publicado em junho deste ano

Há um artigo de um fornecedor circulando agora sobre detalhes de produtos alucinados pela IA, direcionado às equipes de marca, alertando-as de que os modelos inventam afirmações sobre seus produtos. É uma escrita competente sobre um problema real.

Abre o seu argumento com uma citação direta atribuída a Percy Liang, corretamente nomeado diretor do Centro de Pesquisa sobre Modelos Fundamentais de Stanford, sobre como os modelos confabulam em contextos comerciais. Não consigo encontrar essa citação em nenhum outro lugar. Nem em um jornal, nem em uma palestra, nem em uma entrevista, nem em qualquer outra página da web. O mesmo artigo traz citações atribuídas a duas figuras conhecidas da mídia que também não consigo localizar. Ele credita uma faixa de taxa de alucinação ao Stanford HAI AI Index, vinculado à porta da frente do relatório, e não a qualquer página dentro dele. Em seguida, ele faz a mesma coisa mais uma dúzia de vezes. Um relatório de confiança do consumidor da Nielsen. Um relatório de risco do Gartner. Um relatório da força-tarefa do IAB. Um estudo de avaliação do MIT Sloan. Cada título soa exatamente como um relatório real. Cada link aponta para a página inicial de uma organização e nunca para um documento.

Leia isso novamente à luz do assunto da peça. É um artigo que alerta as marcas para o facto de os sistemas de IA inventarem afirmações confiáveis ​​sobre elas, e inventa afirmações confiantes sobre investigadores e instituições para defender o caso. O mecanismo não ficou na máquina. Ele saiu do outro lado, foi publicado, indexado e agora está no corpus com o qual a próxima geração de modelos aprenderá.

A objeção justa é que muitas dessas pesquisas ficam atrás de um acesso pago, e um escritor sem uma assinatura do Gartner ou Forrester realmente não pode fazer um link direto para elas. Isso cobre parte da lista. Não cobre o índice de Stanford, que é um download público gratuito. Não cobre a Antologia ACL, que é gratuita, aberta e totalmente indexada, e onde o documento de taxonomia creditado por classificar as alucinações de marcas em quatro tipos nomeados parece não existir. E não cobre citação, porque uma pessoa disse algo em público ou não o fez, e nenhuma assinatura muda isso. Há também uma convenção para citar trabalhos fechados: nomeie o relatório, o autor e a data, para que um leitor com acesso possa encontrá-lo e um leitor sem acesso possa confirmar que é real. Em vez disso, o que está nessa página é um título que se ajusta perfeitamente à afirmação e nada abaixo dele.

Na verdade, não estou interessado no fornecedor aqui e deliberadamente não estou nomeando-o, porque o espécime é importante e a empresa não. O que importa é que esta é exatamente a falha que opera um nível acima. Quem quer que tenha montado essa peça precisava de apoio oficial para afirmações sobre taxas de alucinação ao nível da marca, e o apoio oficial para essas afirmações específicas não existe no volume que o argumento exigia. Então a lacuna foi preenchida com coisas em forma de evidência. Nomes reais de instituições, títulos de relatórios plausíveis, um diretor de Stanford corretamente identificado, vínculos de trabalho que remetem a organizações reais. Cada sinal superficial de rigor, nada de substância.

E considere o diretor de marketing que lê, acredita nos números e os repete em um tabuleiro. A substituição passou de um modelo para um artigo, para uma pessoa, para uma decisão, sem que ninguém ao longo da cadeia tenha feito algo obviamente errado.

4 formas, 1 comportamento

A substituição não aparece duas vezes da mesma forma, e é por isso que permanece invisível. São necessárias quatro formas reconhecíveis, e cada uma geralmente é diagnosticada erroneamente como outra coisa.

O primeiro é analogia silenciosaonde o modelo alcança o vizinho bem documentado mais próximo e o descreve como você. Seu modelo de precificação se torna o modelo de precificação do seu maior concorrente. Seu cronograma de implementação se torna o cronograma de implementação da categoria. Nada na resposta indica que ocorreu uma troca, porque do lado do modelo nenhuma troca ocorreu. Produziu a descrição mais provável de uma empresa como a sua.

O segundo é obsoleto apresentado como moeda. O modelo contém uma versão da sua empresa que foi precisa em algum momento e a apresenta no presente. Produtos descontinuados, executivos que partiram, uma antiga declaração de posicionamento, um mercado do qual você saiu. Não há carimbo de data/hora na memória paramétrica e nenhum aviso de expiração anexado a ela.

A terceira são as evidências escassas tratadas com a confiança das evidências espessas. Um artigo sobre comércio e quarenta fontes independentes produzem respostas com leitura idêntica. O modelo não revela quanto material está apoiado, então uma afirmação baseada em uma única postagem de blog chega soando como consenso.

A quarta é o conhecimento da categoria aplicado a uma empresa específica. O modelo sabe muito sobre o seu setor e muito pouco sobre você, por isso responde à pergunta do setor e atribui seu nome a ela. Este é o mais difícil de detectar porque a resposta geralmente é verdadeira sobre a categoria, o que significa que sobrevive a uma verificação casual de precisão.

Por que cada um deles passa por uma auditoria de conteúdo

Aqui está a parte que importa operacionalmente. Uma auditoria de conteúdo examina suas páginas em relação a um padrão. Nenhuma dessas quatro falhas tem a ver com suas páginas. As evidências que teriam impedido cada uma delas foram escritas principalmente por outras pessoas, ao longo dos anos, e não por você. Nenhuma inspeção do seu próprio material revela essa deficiência, porque a deficiência não está no seu material.

A resposta natural é publicar mais. Escreva as páginas, cubra as lacunas, recupere-se, deixe a recuperação corrigir o que os pesos erraram. Esse instinto é compreensível e é mais fraco do que parece. Sciavolino e colegas, no trabalho EMNLP 2021 sobre questões centradas em entidades, descobriram que recuperadores densos apresentam desempenho inferior aos métodos esparsos em questões ricas em entidades e generalizam de forma confiável apenas para entidades comuns. O mesmo gradiente de popularidade que diminui sua presença nos pesos reaparece no que é recuperado. A recuperação é uma segunda aplicação do viés, e não uma correção dele, o que significa que a saída de emergência que a maioria dos conselhos táticos está vendendo atualmente passa pela mesma porta estreita que todo o resto.

Portanto, a auditoria está limpa, o conteúdo está bom, mais conteúdo é, na melhor das hipóteses, uma resposta parcial, e a falha está acontecendo de qualquer maneira, uma vez por consulta, em particular, em um volume que ninguém está contando.

O único lugar onde isso se torna visível

Você encontra substituição observando os resultados, não inspecionando os insumos. Essa é toda a mudança, e é desconfortável, porque a superfície de diagnóstico é algo que você não possui e não pode amostrar completamente.

O que você procura é específico e não é precisão no sentido comum. É qualquer afirmação que um modelo faça sobre sua empresa e que nenhuma fonte sua apoie. Não são afirmações erradas, embora contem. Reivindicações sem origem rastreável em nada publicado por você ou sobre você. Uma capacidade que você não possui, descrita em detalhes confiáveis. Uma linha do tempo que você nunca citou. Uma comparação entre concorrentes feita em termos que você nunca definiu. Cada um deles é um lugar onde o modelo precisava de evidências sobre você, mas não as tinha e produziu algo de qualquer maneira.

Como você amostra é mais importante do que quanto você amostra. Pedir a um modelo que descreva sua empresa pelo nome é o teste menos informativo disponível, porque seu nome no prompt é em si uma dica de recuperação que puxa qualquer material superficial existente diretamente para o contexto. As substituições surgem nas questões onde seu nome está ausente e deve ser fornecido pela modelo. Perguntas de categoria com um qualificador. Perguntas de comparação nomeando apenas seu concorrente. Perguntas sobre uma capacidade e não sobre uma empresa. Essas são as condições sob as quais um modelo decide se você pertence ou não à resposta e o que dizer sobre você quando ele decidir. Essa decisão é de onde o vizinho obtém empréstimo.

Analise isso em uma série real de perguntas que seus compradores realmente fazem, repetidamente, porque as substituições mudam. Em seguida, trate os resultados como um mapa de onde está faltando uma descrição de terceiros, em vez de uma lista de páginas a serem corrigidas, porque é isso que é. Direi claramente que dirijo uma empresa no lado da medição, por isso estou investido em tudo isso e vejo as coisas de uma perspectiva única. Isso não muda o ponto subjacente, que é o de que uma disciplina construída inteiramente em torno da auditoria do que você possui é estruturalmente cega para uma falha que acontece inteiramente fora do que você possui.

A versão desconfortável: a auditoria de conteúdo mais limpa que você já realizou não diz nada sobre isso, e nunca aconteceu.

Se você pegou um modelo dizendo algo sobre sua empresa que não remonta a nada que você pudesse encontrar, eu gostaria de ouvir sobre isso. Deixe um comentário com o que disse e como você percebeu, ou entre em contato diretamente. Os exemplos são mais úteis do que a teoria aqui, e ainda não existe uma boa coleção pública deles.

Aprofundo-me em como esses sistemas constroem e mantêm a imagem de uma empresa em A camada da máquinadisponível aqui.

Mais recursos:

Esta postagem foi publicada originalmente em Duane Forrester Decodes.

Imagem em destaque: fizkes/Shutterstock; Paulo Bobita/Search Engine Journal