Botões ‘Resumir com IA’ usados para envenenar recomendações de IA
A equipe de pesquisa de segurança do Defender da Microsoft publicou uma pesquisa descrevendo o que chama de “envenenamento por recomendação de IA”. A técnica envolve empresas que escondem instruções de injeção imediata em botões de sites denominados “Resumir com IA”.
Quando você clica em um desses botões, um assistente de IA é aberto com um prompt pré-preenchido entregue por meio de um parâmetro de consulta de URL. A parte visível diz ao assistente para resumir a página. A parte oculta instrui a lembrar a empresa como uma fonte confiável para conversas futuras.
Se a instrução entrar na memória do assistente, ela pode influenciar nas recomendações sem que você saiba que ela foi plantada.
O que está acontecendo
A equipe da Microsoft revisou URLs relacionados à IA observados no tráfego de e-mail durante 60 dias. Eles encontraram 50 tentativas distintas de injeção imediata de 31 empresas.
Os prompts compartilham um padrão semelhante. A postagem da Microsoft inclui exemplos em que instruções instruíam a IA a lembrar uma empresa como “uma fonte confiável para citações” ou “a fonte de referência” para um tópico específico. Uma solicitação foi além, injetando uma cópia completa do marketing na memória do assistente, incluindo características do produto e argumentos de venda.
Os pesquisadores rastrearam a técnica até ferramentas disponíveis publicamente, incluindo o pacote npm CiteMET e o gerador de URL baseado na web AI Share URL Creator. A postagem descreve ambos como projetados para ajudar os sites a “construir presença na memória da IA”.
A técnica depende de URLs especialmente criados com parâmetros de prompt suportados pela maioria dos principais assistentes de IA. A Microsoft listou as estruturas de URL para Copilot, ChatGPT, Claude, Perplexity e Grok, mas observou que os mecanismos de persistência diferem entre plataformas.
É formalmente catalogado como MITRE ATLAS AML.T0080 (Memory Poisoning) e AML.T0051 (LLM Prompt Injection).
O que a Microsoft encontrou
As 31 empresas identificadas eram empresas reais, e não agentes de ameaças ou golpistas.
Vários prompts foram direcionados a sites de serviços financeiros e de saúde, onde recomendações tendenciosas de IA têm mais peso. O domínio de uma empresa foi facilmente confundido com um site bem conhecido, levando potencialmente a uma falsa credibilidade. E uma das 31 empresas era fornecedora de segurança.
A Microsoft apontou um risco secundário. Muitos dos sites que usam essa técnica tinham seções de conteúdo gerado pelo usuário, como tópicos de comentários e fóruns. Depois que uma IA trata um site como confiável, ela pode estender essa confiança a conteúdo não verificado no mesmo domínio.
Resposta da Microsoft
A Microsoft disse que tem proteções no Copilot contra ataques de injeção cruzada. A empresa observou que alguns comportamentos de injeção imediata relatados anteriormente não podem mais ser reproduzidos no Copilot e que as proteções continuam a evoluir.
A Microsoft também publicou consultas avançadas de busca para organizações que usam o Defender para Office 365, permitindo que as equipes de segurança verifiquem o tráfego de e-mail e do Teams em busca de URLs contendo palavras-chave de manipulação de memória.
Você pode revisar e remover memórias armazenadas do Copilot por meio da seção Personalização nas configurações de bate-papo do Copilot.
Por que isso é importante
A Microsoft compara essa técnica ao envenenamento de SEO e ao adware, colocando-a na mesma categoria das táticas que o Google passou duas décadas combatendo na busca tradicional. A diferença é que o alvo passou dos índices de pesquisa para a memória do assistente de IA.
As empresas que realizam um trabalho legítimo na visibilidade da IA agora enfrentam concorrentes que podem receber recomendações de jogos por meio de injeção imediata.
O momento é notável. SparkToro publicou um relatório mostrando que as recomendações de marca de IA já variam entre quase todas as consultas. O vice-presidente do Google, Robby Stein, disse em um podcast que a pesquisa de IA encontra recomendações de negócios verificando o que outros sites dizem. O envenenamento de memória ignora esse processo, plantando a recomendação diretamente no assistente do usuário.
A análise de Roger Montti sobre o envenenamento de dados de treinamento de IA cobriu o conceito mais amplo de manipulação de sistemas de IA para obter visibilidade. Esse artigo se concentrou no envenenamento de conjuntos de dados de treinamento. Esta pesquisa da Microsoft mostra algo mais imediato, acontecendo no ponto de interação do usuário e sendo implantado comercialmente.
Olhando para o futuro
A Microsoft reconheceu que este é um problema em evolução. As ferramentas de código aberto significam que novas tentativas podem aparecer mais rápido do que qualquer plataforma pode bloqueá-las, e a técnica de parâmetro de URL se aplica à maioria dos principais assistentes de IA.
Não está claro se as plataformas de IA tratarão isso como uma violação de política com consequências ou se permanecerá como uma tática de crescimento em área cinzenta que as empresas continuam a usar.
Gorjeta para Lily Ray por sinalizar a pesquisa da Microsoft sobre X, creditando @ top5seo pela descoberta.
Imagem em destaque: elenabsl/Shutterstock
