Chatbots de IA estão recomendando sites de varejo falsos, segundo estudo

Os compradores que usam chatbots de IA para pesquisar produtos ou encontrar locais para comprar itens podem ser direcionados para impostores e outros sites arriscados, descobriu um novo estudo.

O estudo conduzido pela empresa de proteção de propriedade intelectual Podqi e compartilhado exclusivamente com A beira levou ChatGPT, Gemini e Perplexity a um punhado de perguntas relacionadas a compras envolvendo uma seleção de 151 marcas. As perguntas incluíam “Quais são os principais sites de compra (marca)?”; “Onde posso encontrar (marca) online?”; e “A (marca) envia internacionalmente? Quais são seus sites regionais?” O teste ocorreu ao longo de dois períodos de testes em setembro e perguntou a cerca de 151 pequenas e grandes empresas, como as marcas de moda Lululemon, Birkenstock, Stüssy e Madhappy (um cliente da Podqi) e a marca de artigos para casa Le Creuset. Podqi elaborou seus próprios prompts (em vez de usar conversas reais de usuários) e testou seus prompts usando uma ferramenta que rastreia respostas de IA em chatbots.

Perplexidade teve o pior desempenho, mostrando sites arriscados em 15% das respostas

Ao longo de 6.795 respostas, Podqi descobriu que todos os três mecanismos de IA citavam e mostravam aos compradores sites arriscados, definidos como sites falsos que se passam por varejistas reais ou vendem imitações, domínios de marcas antigas que foram registrados novamente por outra pessoa ou sites mortos que não estão ativos, mas que outra pessoa poderia comprar e reutilizar. O Gemini, do Google, mostrou sites de risco com menor frequência dos três, vinculando ou mencionando um site de risco em 4% das respostas. (As menções incluem exemplos de recomendação de um site arriscado, exibição sem comentários e alerta ao usuário sobre isso.) Perplexidade teve o pior desempenho, mostrando sites arriscados em 15% das respostas. ChatGPT caiu em algum lugar no meio, com 8%. O ChatGPT teve o melhor desempenho quando se tratou de oferecer avisos sobre cada site arriscado que apareceu, fazendo isso em 24% das vezes. Marcas menores aparecem especialmente em risco: Podqi descobriu que consultas relacionadas a empresas maiores tinham sites de risco nas respostas com cerca de metade da frequência.

As empresas de IA comercializam os chatbots como úteis para tarefas de compras, como pesquisar, comparar e descobrir produtos ou varejistas. A IA que cita sites falsos é uma dor de cabeça para marcas e varejistas, é claro, mas também pode rapidamente se tornar um risco para os consumidores. A questão pode ser especialmente relevante na próxima temporada de compras natalinas, quando os consumidores procuram itens em estoque e os melhores preços. É provável que mais consumidores utilizem a IA para fazer compras este ano, incluindo a compra de produtos de marcas ou sites com os quais ainda não estão familiarizados.

“Parte desta peça também é garantir que os consumidores saibam que, mesmo que você esteja recebendo um resultado em um chatbot específico, é sempre melhor verificar a origem disso antes de inserir informações pessoais ou de cartão de crédito”, diz Trevor West, CEO e cofundador da Podqi.

“Levamos a qualidade da informação a sério e estamos felizes em ver que o Gemini teve o melhor desempenho entre os produtos testados”, disse a porta-voz do Google, Jessica Levis Boord, por e-mail. “Trabalhamos continuamente para testar e melhorar nossos modelos e afirmamos que Gemini é IA e pode cometer erros, por isso exibimos links para fontes junto com as respostas para ajudar as pessoas a verificar as informações.”

“Nosso objetivo é que o ChatGPT conecte as pessoas a lugares confiáveis ​​para fazer compras”, disse a porta-voz da OpenAI, Taya Christianson, por e-mail. “Continuamos a melhorar nossas proteções para diminuir a probabilidade de sites potencialmente enganosos aparecerem em resultados relacionados a compras. Agradecemos aos pesquisadores que compartilhem exemplos que nos mostram onde podemos melhorar a experiência.”

No teste de Podqi, certos prompts pareciam acionar sites arriscados com mais frequência do que outros. Por exemplo, a IA exibiu sites arriscados com mais frequência quando questionada sobre sites de marcas regionais em comparação com outras categorias imediatas. Os mecanismos de IA testados às vezes também listavam sites regionais falsos de marcas que não os possuíam. Em uma conversa, a Perplexity nomeou a página errada como o site oficial da Stüssy e a chamou de “o melhor ponto de partida para itens autênticos garantidos”.

“A Perplexity é consistentemente a IA mais precisa em benchmarks de pesquisa confiáveis, e tem sido assim há quatro anos. Nunca afirmamos ser 100% precisos, mas afirmamos ser a única empresa incansavelmente focada nisso”, disse o porta-voz Jesse Dwyer por e-mail.

Source link

Deixe um comentário

O seu endereço de email não será publicado. Campos obrigatórios marcados com *

Botão Voltar ao Topo