A ciência de como a IA presta atenção

Aumente suas habilidades com os insights semanais de especialistas do Growth Memo. Assine gratuitamente!

Esta semana, compartilho minhas descobertas ao analisar 1,2 milhão de respostas do ChatGPT para responder à questão de como aumentar suas chances de ser citado.

Por 20 anos, os SEOs escreveram “guias definitivos” projetados para manter os humanos na página. Escrevemos introduções longas. Arrastamos insights ao longo do rascunho até a conclusão. Construímos suspense até o apelo final à ação.

Os dados mostram que este estilo de escrita não é ideal para a visibilidade da IA.

Depois de analisar 1,2 milhão de citações verificadas do ChatGPT, encontrei um padrão tão consistente que tem um valor P de 0,0: a “rampa de esqui”. ChatGPT presta atenção desproporcional aos 30% principais do seu conteúdo. Além disso, encontrei cinco características claras do conteúdo citado. Para vencer na era da IA, você precisa começar a escrever como um jornalista.

1. Quais seções de um texto têm maior probabilidade de serem citadas pelo ChatGPT?

Não se sabe muito sobre quais partes de um texto os LLMs citam. Analisamos 18.012 citações e encontramos uma distribuição de “rampa de esqui”.

1. 44,2% de todas as citações vêm dos primeiros 30% do texto (a introdução). A IA parece um jornalista. Ele pega “Quem, o quê, onde” do topo. Se o seu insight principal estiver na introdução, as chances de ele ser citado são altas.
2. 31,1% das citações vêm de 30-70% de um texto (meio). Se você enterrar os principais recursos do produto no parágrafo 12 de uma postagem de 20 parágrafos, a IA terá 2,5 vezes menos probabilidade de citá-lo.
3. 24,7% das citações vêm do último terço do artigo (a conclusão). Isso prova que a IA acorda no final (assim como os humanos). Ele pula o real rodapé (veja a queda de 90-100%), mas adora a seção “Resumo” ou “Conclusão” logo antes do rodapé.

Possíveis explicações para o padrão de rampa de esqui são treinamento e eficiência:

• Os LLMs são treinados em jornalismo e trabalhos acadêmicos, que seguem a estrutura “BLUF” (Bottom Line Up Front). O modelo aprende que a informação mais “ponderada” está sempre no topo.
• Embora os modelos modernos possam ler até 1 milhão de tokens para uma única interação (~700.000-800.000 palavras), eles visam estabelecer o quadro o mais rápido possível e, em seguida, interpretar todo o resto através desse quadro.

18.000 de 1,2 milhão de citações nos dão todos os insights de que precisamos. O valor P desta análise é 0,0, o que significa que é estatisticamente indiscutível. Dividi os dados em lotes (divisões de validação aleatórias) para demonstrar a estabilidade dos resultados.

• O lote 1 foi um pouco mais plano, mas os lotes 2, 3 e 4 são quase idênticos.
• Conclusão: como os lotes 2, 3 e 4 seguem exatamente o mesmo padrão, os dados são estáveis ​​em todas as 1,2 milhões de citações.

Embora esses lotes confirmem a estabilidade em nível macro de onde o ChatGPT olha em um documento, eles levantam uma nova questão sobre seu comportamento granular: esse viés pesado persiste mesmo dentro de um único bloco de texto ou o foco da IA ​​muda quando ele lê mais profundamente? Tendo estabelecido que os dados são estatisticamente indiscutíveis em escala, quis “aumentar o zoom” até o nível do parágrafo.

Uma análise profunda de 1.000 conteúdos com grande quantidade de citações mostra que 53% das citações vêm do meio de um parágrafo. Apenas 24,5% vêm da primeira e 22,5% da última frase de um parágrafo. ChatGPT não é “preguiçoso” e lê apenas a primeira frase de cada parágrafo. Lê profundamente.

Remover: Você não precisa forçar a resposta na primeira frase de cada parágrafo. O ChatGPT busca a frase com o maior “ganho de informação” (o uso mais completo de entidades relevantes e informações aditivas e expansivas), independentemente de a frase ser a primeira, a segunda ou a quinta do parágrafo. Combinado com o padrão de rampa de esqui, podemos concluir que as maiores chances de citações vêm dos parágrafos nos primeiros 20% da página.

2. O que torna o ChatGPT mais propenso a citar pedaços?

Nós sabemos onde no conteúdo que o ChatGPT gosta de citar, mas quais são as características que influenciam a probabilidade de citação?

A análise mostra cinco características vencedoras:

1. Linguagem definitiva.
2. Estrutura conversacional de perguntas e respostas.
3. Riqueza da entidade.
4. Sentimento equilibrado.
5. Escrita simples.

1. Definitivo vs. Linguagem Vaga

Os vencedores das citações têm quase 2 vezes mais probabilidade (36,2% vs 20,2%) de conter linguagem definitiva (“é definido como”, “refere-se a”). A citação no idioma não precisa ser uma definição literal, mas as relações entre os conceitos devem ser claras.

Possíveis explicações para o impacto da escrita direta e declarativa:

• Em um banco de dados vetorial, a palavra “é” atua como uma ponte forte que conecta um assunto à sua definição. Quando um usuário pergunta “O que é X?” o modelo procura o caminho vetorial mais forte, que é quase sempre uma estrutura de frase direta “X é Y”.
• O modelo tenta responder ao usuário imediatamente. Prefere um texto que lhe permita resolver a questão numa única frase (Zero-Shot) em vez de sintetizar uma resposta em cinco parágrafos.

Remover: Comece seus artigos com uma declaração direta.

• Ruim: “Neste mundo acelerado, a automação está se tornando fundamental…”
• Bom: “Automação de demonstração é o processo de usar software para…”

2. Redação Conversacional

O texto citado tem 2x mais probabilidade (18% vs. 8,9%) de conter um ponto de interrogação. Quando falamos sobre escrita conversacional, queremos dizer a interação entre perguntas e respostas.

Comece com a consulta do usuário como uma pergunta e responda imediatamente. Por exemplo:

• Estilo vencedor: “O que é SEO programático? É…”
• Estilo perdedor: “Neste artigo, discutiremos as várias nuances de…”

78,4% das citações com perguntas vêm de títulos. A IA está tratando sua tag H2 como o prompt do usuário e o parágrafo imediatamente seguinte como a resposta gerada.

Exemplo de estrutura perdedora:

Exemplo de estrutura vencedora (78%):

• Quando o SEO começou?

  (Consulta Literal)

• SEO começou em…

  (Resposta Direta)

A razão pela qual o exemplo específico vence é o que chamo de “eco de entidade”: o cabeçalho pergunta sobre SEO, e a primeira palavra da resposta é SEO.

3. Riqueza da Entidade

O texto normal em inglês tem uma “densidade de entidade” (ou seja, contém nomes próprios como marcas, ferramentas, pessoas) de aproximadamente 5-8%. Texto fortemente citado tem uma densidade de entidade de 20,6%!

• O valor de 5-8% é uma referência linguística derivada de corpora padrão como o Brown Corpus (1 milhão de palavras de texto representativo em inglês) e o Penn Treebank (Jornal de Wall Street texto).

Exemplo:

• Frase do perdedor: “Existem muitas ferramentas boas para esta tarefa.” (0% Densidade)
• Frase do vencedor: “As principais ferramentas incluem Salesforce, HubSpot e Pipedrive.” (30% de densidade)

LLMs são probabilísticos. Aconselhamento genérico (“escolha uma boa ferramenta”) é arriscado e vago, mas uma entidade específica (“escolha Salesforce”) é fundamentada e verificável. O modelo prioriza sentenças que contenham “âncoras” (entidades) porque diminuem a perplexidade (confusão) da resposta.

Uma frase com três entidades carrega mais “bits” de informação do que uma frase com 0 entidades. Portanto, não tenha medo de perder nomes (sim, até mesmo de seus concorrentes).

4. Sentimento Equilibrado

Na minha análise, o texto citado tem uma pontuação de subjetividade equilibrada de 0,47. A pontuação de subjetividade é uma métrica padrão em processamento de linguagem natural (PNL) que mede a quantidade de opinião, emoção ou julgamento pessoal em um trecho de texto.

A pontuação varia em uma escala de 0,0 a 1,0:

• 0,0 (Pura Objetividade): O texto contém apenas fatos verificáveis. Sem adjetivos, sem sentimentos. Exemplo: “O iPhone 15 foi lançado em setembro de 2023.”
• 1.0 (Subjetividade Pura): O texto contém apenas opiniões pessoais, emoções ou descritores intensos. Exemplo: “O iPhone 15 é uma obra-prima absolutamente deslumbrante que adoro.”

A IA não quer texto seco da Wikipédia (0,1), nem quer opinião desequilibrada (0,9). Quer a “voz do analista”. Prefere frases que explicam como um fato se aplica, em vez de apenas declarar apenas a estatística.

O tom de “vencedor” é assim (pontuação ~0,5): “Embora o iPhone 15 possua um chip A16 padrão (fato), seu desempenho em fotografia com pouca luz o torna uma escolha superior para criadores de conteúdo (análise/opinião).“

5. Escrita de nível empresarial

Escrita de nível empresarial (pense O economista ou Revisão de negócios de Harvard) obtém mais citações. Os “vencedores” têm uma pontuação Flesch-Kincaid de 16 (nível universitário) em comparação com os “perdedores” com 19,1 (nível acadêmico/doutorado).

Mesmo para tópicos complexos, a complexidade pode prejudicar. Uma pontuação na 19ª série significa que as frases são longas, tortuosas e cheias de jargões multissílabos. A IA prefere estruturas simples de sujeito-verbo-objeto com frases curtas a moderadamente longas, porque são mais fáceis de extrair fatos.

Conclusão

O padrão “rampa de esqui” quantifica um desalinhamento entre a escrita narrativa e a recuperação de informações. O algoritmo interpreta a revelação lenta como falta de confiança. Prioriza a classificação imediata de entidades e fatos.

O conteúdo de alta visibilidade funciona mais como um briefing estruturado do que como uma história.

Isso impõe uma “taxa de clareza” ao escritor. Os vencedores neste conjunto de dados baseiam-se no vocabulário de nível empresarial e na alta densidade de entidades, refutando a teoria de que a IA recompensa o conteúdo “emburrecedor” (com exceções).

Não estamos apenas escrevendo robôs… ainda. Mas a lacuna entre as preferências humanas e as restrições das máquinas está a diminuir. Na redação comercial, os humanos procuram insights. Ao antecipar a conclusão, satisfazemos a arquitetura do algoritmo e a escassez de tempo do leitor humano.

Metodologia

Para entender exatamente onde e por que AI cita conteúdo, analisamos o código.

Todos os dados desta pesquisa vêm do Gauge.

• Gauge forneceu cerca de 3 milhões de respostas de IA do ChatGPT, juntamente com 30 milhões de citações. O conteúdo da web de cada URL de citação foi extraído no momento da resposta para fornecer correlação direta entre o verdadeiro conteúdo da web e a própria resposta. Tanto o HTML bruto quanto o texto simples foram eliminados.

1. O conjunto de dados

Começamos com um universo de 1,2 milhão de resultados de pesquisa e respostas geradas por IA. Disto, isolamos 18.012 citações verificadas para análise posicional e 11.022 citações para análise de “DNA linguístico”.

• Significado: Este tamanho de amostra é grande o suficiente para produzir um valor P de 0,0 (p < 0,0001), o que significa que os padrões que encontramos são estatisticamente indiscutíveis.

2. O motor “Colheitadeira”

Para descobrir exatamente qual frase a IA estava citando, usamos incorporações semânticas (uma abordagem de rede neural).

• O modelo: Usamos all-MiniLM-L6-v2, um modelo de transformador de frases que entende o significado, não apenas palavras-chave.
• O Processo: Convertemos cada resposta de IA e cada frase do texto fonte em vetores de 384 dimensões. Em seguida, combinamos eles usando similaridade de cosseno.
• O Filtro: Aplicamos um limite de similaridade estrito (0,55) para descartar correspondências fracas ou alucinações, garantindo que analisamos apenas citações de alta confiança.

3. As métricas

Depois de encontrar a correspondência exata, medimos duas coisas:

• Profundidade posicional: Calculamos exatamente onde o texto citado apareceu no HTML (por exemplo, na marca de 10% versus a marca de 90%).
• ADN linguístico: Comparamos “vencedores” (introduções citadas) versus “perdedores” (introduções ignoradas) usando Processamento de Linguagem Natural (PNL) para medir:
  • Taxa de definição: Presença de verbos definitivos (é, são, refere-se a).
  • Densidade da entidade: Frequência de nomes próprios (marcas, ferramentas, pessoas).
  • Subjetividade: Uma pontuação de sentimento de 0,0 (Fato) a 1,0 (Opinião).

---

Imagem em destaque: Paul Poetry/Search Engine Journal