Pesquisa do Google mostra como o spam de IA pode ser detectado
Os pesquisadores do Google publicaram um novo artigo detalhando uma nova maneira de capturar spammers que usam IA generativa para inundar a plataforma do Google com spam e sobrecarregar seus filtros de qualidade. Embora a pesquisa esteja focada na identificação de spam de conteúdo de vídeo, as técnicas descritas podem dar uma ideia dos métodos que o Google poderia usar para spam de conteúdo da web. Na verdade, o artigo de pesquisa discute um sistema de identificação generativa de IA baseado em texto.
Diz-se que o novo sistema é uma “defesa altamente precisa” contra spam generativo coordenado de IA, o que significa que algo como isto poderia estar em uso. O novo sistema é denominado Scalable Cluster Termination System (S-CTS) e o artigo de pesquisa, Detecção escalonável de resíduos sintéticos adversários e abuso coordenado de mídia: um sistema de defesa multimodal habilitado para LoRA.
Este sistema pode ser usado para spam de texto gerado por IA?
O sistema tem sucesso porque procura a estrutura organizacional de um ataque, que é a reutilização em massa de um modelo narrativo semântico específico, em vez de avaliar vídeos isolados um por um.
O artigo de pesquisa também descreve o uso de incorporações de texto, termos importantes e narrativas modelo como parte de seu classificador de conteúdo. Se uma alta porcentagem de contas em um cluster de infraestrutura for identificada como usando os mesmos modelos de texto/mídia gerados por IA, todo o cluster será encerrado.
Adaptando-se rapidamente a novos tipos de spam de IA
O artigo diz que quando os invasores adotam novos modelos generativos, o Google pode adaptar seu sistema de detecção de spam sintético mais rapidamente usando Low-Rank Adaptation (LoRA) e Automatic Prompt Optimization (APO) em vez de treinar novamente um modelo massivo de IA.
Eles escrevem:
“O classificador Stage 2 é especializado para detecção de tendências sintéticas usando técnicas de ajuste fino com eficiência de parâmetros (PEFT), especificamente adaptação de baixa classificação (LoRA) e otimização automática de prompt (APO).
…Esta abordagem permite a adaptação eficiente do grande LLM proprietário (por exemplo, Gemini 2.0 Flash) sem o custo computacional proibitivo do ajuste fino completo. Especificamente, o LoRA reduz significativamente o número de parâmetros treináveis e diminui substancialmente o consumo de memória, permitindo uma execução rápida e econômica e inferência paralelizada em infraestrutura de TPU escalável.
…O APO nos permite projetar prompts que se adaptam às novas tendências “Slop” mais rapidamente do que retreinar um modelo denso. Podemos treinar novamente um adaptador LoRA rapidamente quando um novo modelo GenAI (como Sora ou Kling) for lançado por invasores.”
Sentença-BERT (S-BERT) para identificação de texto gerado por IA
O que provavelmente será de maior interesse é que os pesquisadores reconheçam o uso do Sentence-BERT (SBERT) como forma de identificar sentenças semanticamente semelhantes.
Eles citam o Sentence-BERT para validar uma suposição central de seu artigo: que o texto automatizado gerado por IA deixa uma pegada matemática distinta (“incorporação de texto”) que pode ser detectada.
Eles então mudam do S-BERT para destacar por que seu sistema (S-CTS) é um avanço: porque ele não para na correspondência de incorporação de texto. Ele se expande para uma arquitetura LLM multimodal de dois estágios que avalia esses padrões de texto juntamente com dados de bot-net em nível de infraestrutura.
Os pesquisadores escrevem:
“Para conteúdo baseado em texto, métodos como incorporações de texto geradas por modelos como Sentence-BERT são usados para detectar narrativas de IA com script. Para multimídia, as técnicas tradicionais incluem hashing perceptivo. No entanto, a IA generativa introduz desafios únicos; nosso sistema emprega algoritmos proprietários que analisam conteúdo textual e multimídia para identificar “artefatos geradores” — marcadores sutis de produção sintética compartilhada entre canais.”
Há outro artigo de pesquisa sobre Sentence-BERT (PDF) e aqui está como eles explicam seus benefícios:
“Nesta publicação, apresentamos Sentença-BERT (SBERT), uma modificação da rede BERT pré-treinada que usa estruturas de rede siamesas e triplas para derivar embeddings de frases semanticamente significativas que podem ser comparadas usando similaridade de cosseno. Isso reduz o esforço para encontrar o par mais semelhante de 65 horas com BERT / RoBERTa para cerca de 5 segundos com SBERT, enquanto mantém a precisão do BERT.
Avaliamos SBERT e SRoBERTa em tarefas STS comuns e tarefas de aprendizagem de transferência, onde supera outros métodos de incorporação de frases de última geração.
Para SEO, a menção ao S-BERT para identificar spam de texto generativo de IA é muito interessante porque não é algo que a indústria de SEO realmente conheça. Isso expande nosso conhecimento sobre os tipos de algoritmos usados para identificar spam generativo de IA baseado em texto.
Agora, aqui está a parte interessante: o S-BERT existe há sete anos, e a indústria de SEO realmente não sabe sobre ele como algo que pode ser usado para identificar spam baseado em texto. Isso não significa que o Google o use há sete anos. Dado que a IA generativa só está amplamente disponível há alguns anos, pode ser que o Sentence-BERT só recentemente tenha sido utilizado por motores de busca como o Google para detectar spam de texto gerado por IA.
Problema sendo resolvido
Os pesquisadores identificam três razões pelas quais o spam generativo de IA está fora de controle e esmaga os métodos atuais para detectar conteúdo de baixa qualidade.
- O problema do conteúdo gerado por IA de baixa qualidade tornou-se um “desafio exponencial” para detecção e captura.
- O artigo admite as limitações das atuais estratégias de mitigação.
- O foco na detecção de spam gerado por IA no nível do conteúdo falha cada vez mais devido à escala projetada para “sobrecarregar os filtros de qualidade”.
Os pesquisadores explicam:
“As plataformas de vídeo online enfrentam um desafio exponencial na detecção e mitigação da enxurrada de “resíduos” gerados por IA e de spam sintético perpetuados por atores mal-intencionados coordenados.
Este conteúdo é cada vez mais concebido para explorar as limitações da análise forense dos meios de comunicação tradicionais, muitas vezes utilizando IA generativa para produzir variações únicas e localizadas de material prejudicial ou de baixa qualidade em grande escala.
A moderação tradicional centrada no conteúdo falha contra esta estratégia coordenada de geração adversária.”
Essa frase, “variações localizadas”, é interessante porque se refere à criação de “impressões digitais exclusivas para conteúdo funcionalmente idêntico”.
O artigo de pesquisa usa frases como:
- “variações únicas e localizadas”
- “conteúdo funcionalmente idêntico”
- “variações infinitas e únicas de spam funcionalmente idêntico”
Isso é mais do que apenas fazer pequenos ajustes no conteúdo aqui e ali. Eles estão falando sobre spammers que implantam conteúdo infinitamente exclusivo que é “funcionalmente idêntico” como forma de contornar a análise tradicional de conteúdo e estratégias de mitigação. É exatamente por isso que eles estão diminuindo o zoom para observar grupos de contas e identificar as impressões digitais reais dos spammers ou sua automação.
O artigo de pesquisa concentra-se na identificação de spam de vídeo gerado por IA, mas levanta a questão: algo assim pode ser usado para identificar spam baseado em texto gerado por IA? Certamente é algo a considerar.
Como o AI-Slop pode superar os filtros de qualidade
Um fato interessante que os pesquisadores compartilham é que o desperdício de IA gerado em grande escala pode sobrecarregar os filtros de qualidade. Os pesquisadores também apontam que os spammers usam a “adaptação adversária” para contornar os filtros de qualidade. Adaptação adversária significa atualizar continuamente seu spam para identificar padrões que permitam que ele caia abaixo do “limiar de violação” de uma plataforma.
A solução
Os pesquisadores propõem um sistema que se afasta da identificação de incidentes individuais de spam para se concentrar na detecção de grupos de spam que sinalizam uma origem comum.
Os pesquisadores escrevem:
“Este artigo apresenta um sistema de defesa novo e escalável projetado para plataformas de vídeo online (OVP) para identificar e encerrar grupos de contas coordenadas que exibem uma prevalência de conteúdo sintético adversário.”
E a maneira como eles fazem isso é olhando de dois pontos de vista:
- O componente padrão de conteúdo
Este é um componente de aprendizado de máquina que procura “narrativas repetitivas e padronizadas, comuns em ‘slop’ gerados por IA e “scripts gerados por IA” (ou seja, texto/diálogo). Eles analisam especificamente a escala, identificando “comportamentos de publicação não humanos e de alta frequência, característicos de scripts automatizados”. - O componente de infraestrutura
Isso usa algoritmos do Google para analisar “sinais de infraestrutura proprietária” para identificar grupos de contas que são estatisticamente prováveis de serem originados da mesma organização ou script de software de automação.
Detalhes do sistema escalonável de terminação de cluster (S-CTS)
Em vez de analisar isoladamente um único vídeo suspeito, o sistema utiliza uma abordagem dupla de aprendizagem automática para detectar redes inteiras de contas automatizadas (“bot-nets”) que inundam a plataforma com spam de baixa qualidade gerado por IA. Assim, o objetivo muda da identificação de casos individuais de spam para a identificação de múltiplas contas separadas que pertencem aos mesmos spammers ou scripts de software automatizados.
O sistema analisa “sinais no nível da infraestrutura e padrões de comportamento inorgânicos” para agrupar contas relacionadas em “clusters de geração”. Clusters de geração são grupos de contas que provavelmente usarão a mesma API ou script.
O artigo explica:
“A abordagem aproveita uma arquitetura multifacetada que incorpora dois componentes principais de aprendizado de máquina:
um robusto detector de bot-net coordenado (por meio de relacionamento com contas)
e um Classificador de Padrões Sintéticos.
Crucialmente, introduzimos uma camada avançada de aprimoramento de IA utilizando Large Language Models (LLMs), especializados via Low-Rank Adaptation (LoRA) e Automatic Prompt Optimization (APO), para obter uma compreensão semântica rápida e de alta precisão das tendências emergentes de spam sintético.”
O S-CTS funciona?
Sim, os dados de teste mostram que o sistema resulta em “impacto significativo” na captura de “clusters” de spam com um alto nível de exatidão (precisão).
Eles escrevem:
“Os dados de teste demonstram o impacto significativo do sistema, resultando no encerramento bem-sucedido de clusters com alta precisão, compreendendo canais de geradores de spam sintético.
Além disso, a automação orientada pelo LLM melhora significativamente a eficiência operacional, resultando em ganhos significativos de eficiência na revisão humana. Este trabalho detalha um projeto de sistema crítico que fornece escalabilidade essencial e resiliência adversária contra ataques generativos sofisticados.”
Conclusões
Alguns dos fatos interessantes neste artigo de pesquisa são:
- Filtros de qualidade podem ficar sobrecarregados com uma enxurrada de spam.
- O Sentence-BERT é citado como sendo usado para capturar spam gerado por IA.
- O Scalable Cluster Termination System é uma abordagem exclusiva para identificar spam no nível do cluster.
- O Google pode se adaptar rapidamente ao spam gerado por IA com Low-Rank Adaptation (LoRA) e Automatic Prompt Optimization (APO).
Esta pesquisa, Detecção Escalável de Slop Sintético Adversarial e Abuso de Mídia Coordenado: Um Sistema de Defesa Multimodal Habilitado por LoRA, (PDF) mostra a variedade de técnicas que o Google descreve para identificar spam gerado por IA, incluindo spam de texto e vídeo.
Imagem em destaque da Shutterstock/Shutterstock AI
