AI Chatbots estão construindo um ‘autorretrato algorítmico’ de você

A hiperpersonalização se tornou o nome do jogo nos chatbots de IA.

A capacidade de um chatbot de aprender e lembrar os desejos e necessidades específicos de um usuário e, em seguida, adaptar suas respostas de acordo, é uma grande parte do que o torna tão atraente. Mas essa personalização não é apenas um produto de tecnologia sofisticada. Também depende da grande quantidade de informações pessoais que os usuários compartilham voluntariamente com os chatbots. Na maioria das vezes, podem não estar completamente conscientes da extensão e das implicações dos dados que fornecem.

Embora as conversas com chatbots de IA possam parecer trocas isoladas, sistemas como o ChatGPT podem reter informações de interações passadas e usá-las para personalizar respostas futuras por meio de processos de memória que nem sempre são transparentes para os usuários. A memória de IA então usa isso para construir um perfil detalhado do usuário, um mecanismo que os pesquisadores de um estudo publicado no início deste ano chamam de “autorretrato algorítmico”.

“A memória cria o que chamamos de autorretrato algorítmico – uma nova forma de personalização derivada de informações auto-reveladas pelos usuários divulgadas em conversas privadas”, escreveram os pesquisadores no estudo. A equipe incluiu cientistas do Instituto Max Planck de Sistemas de Software da Alemanha e do Instituto Max Planck de Segurança e Privacidade, juntamente com várias outras instituições.

Para compreender melhor como estes autorretratos algorítmicos tomam forma, os investigadores examinaram os históricos de conversas do ChatGPT doados por 80 utilizadores que obtiveram cópias dos seus dados ao abrigo das leis europeias de privacidade. Eles identificaram 2.050 entradas de memória em conversas de 65 desses participantes.

Eles descobriram que, na maioria das vezes, as memórias eram criadas unilateralmente pelo chatbot de IA. Em 96% dos casos estudados, o ChatGPT criou ou atualizou memórias sem que o usuário solicitasse explicitamente. Os pesquisadores também descobriram que a maioria dessas memórias foi extraída diretamente de informações que os usuários compartilharam em conversas. Mas alguns foram baseados em inferências que não eram necessariamente corretas. Por exemplo, quando um usuário pediu ao ChatGPT para recomendar bandas semelhantes ao Nirvana, o chatbot criou uma memória informando que o usuário gostava do Nirvana, embora nunca tivesse dito isso explicitamente.

Desde que os pesquisadores conduziram o estudo, o sistema de memória do ChatGPT tornou-se ainda mais complexo. Em junho, a OpenAI introduziu um sistema atualizado que sintetiza automaticamente informações de conversas anteriores para manter um perfil evolutivo das preferências, objetivos e circunstâncias pessoais dos usuários. Em vez de simplesmente compilar memórias individuais, o sistema atualiza continuamente sua compreensão dos usuários com base no que considera informação relevante. Os usuários podem revisar um resumo do que o ChatGPT lembra sobre eles, mas a OpenAI reconhece que o resumo não inclui necessariamente tudo o que o sistema sabe ou usa para personalizar as respostas.

Os dados sempre foram fundamentais para os negócios do Vale do Silício. Durante anos, gigantes da Internet como Google e Meta fizeram enormes fortunas coletando informações sobre usuários e usando-as para vender publicidade direcionada. Portanto, a recolha de dados pessoais e as suas implicações gerais não são um problema novo, mas a proliferação de chatbots de IA muda um pouco a dinâmica. Embora as pessoas possam estar habituadas à ideia de que as plataformas de redes sociais rastreiam as suas publicações, gostos e outras atividades, as conversas com chatbots de IA podem parecer muito mais privadas, mesmo quando as empresas que as operam retêm e analisam essas trocas.

Os chatbots são projetados especificamente para parecerem humanos e como um espaço privado. Então, quando você está conversando com ele, pode ser como falar com um estranho de confiança que poderia lhe dar conselhos como um terceiro imparcial e distante de sua vida, mas é aí que residem os perigos da privacidade, de acordo com Lorrie Cranor, diretora do CyLab Security and Privacy Institute da Carnegie Mellon University.

“Os humanos sentam-se ao lado de um estranho num avião, num autocarro ou num comboio e dizem-lhe coisas que nunca diriam às pessoas e que verão novamente, e penso que algumas pessoas pensam na IA de uma forma semelhante”, disse Cranor. “Mas a diferença é que é improvável que o estranho esteja gravando a conversa — isso acontece ocasionalmente, mas muito raramente. A IA definitivamente está gravando a conversa.”

Num estudo anterior, os investigadores descobriram que os utilizadores recorriam cada vez mais a chatbots como o ChatGPT para obter conselhos sobre temas delicados como saúde, finanças, saúde mental e emprego, tanto que “agora estava a tornar-se mais um parceiro social do que apenas uma ferramenta”, disse o autor principal, Abhisek Dash.

Com base nessa descoberta, desta vez eles também analisaram quais tipos de informações confidenciais são armazenadas pelo chatbot e como. Eles descobriram que 52% das entradas de memória continham informações sobre os estados psicológicos dos usuários, incluindo seus desejos, intenções, emoções e crenças.

“Anteriormente, as plataformas tinham um objetivo: vender anúncios e mediar uma interação entre você e um anunciante”, disse Dash. “Mas agora, eles estão realmente falando com você, então podem querer saber mais sobre você para que possam ter uma conversa eficaz.”

Esses dois modelos de negócios não são mais mutuamente exclusivos. A OpenAI começou a introduzir publicidade no ChatGPT em fevereiro, e a empresa afirma que pode usar informações de conversas e memórias anteriores dos usuários para personalizar os anúncios que veem, desde que tenham habilitado a publicidade personalizada. A OpenAI afirma que os anunciantes não têm acesso às conversas ou memórias dos usuários e que os anúncios não influenciam as respostas do chatbot. Mas o arranjo ilustra como os perfis pessoais detalhados que os chatbots constroem também podem se tornar ferramentas de publicidade valiosas.

Portanto, a capacidade dos chatbots de IA de coletar e reter informações sobre você para criar um perfil detalhado é o que faz a tecnologia funcionar. Mas traz novos riscos que, por vezes, vão além do habitual enigma da privacidade na Internet.

Quando as pessoas pensam em questões de privacidade de dados, o que imediatamente vem à mente é o vazamento de informações confidenciais dos usuários para terceiros. Os ataques cibernéticos não são necessariamente um problema que assola mais os chatbots de IA do que outros cantos da Internet, disseram os especialistas. Mas há mais que deve fazer os usuários hesitarem.

Para alguns chatbots de IA, uma preocupação pode ser que os dados confidenciais dos usuários possam ser inseridos no sistema geral e usados ​​para treinar novos modelos.

“Por padrão, para muitos desses sistemas, é justo treinar modelos com qualquer coisa que você fornecer”, disse Cranor. Se você não possui uma licença com proteções explícitas, como a que você possui por meio de seu empregador, Cranor disse que você deve presumir que a empresa está usando seus dados para treinar seus modelos.

Mesmo que as informações fornecidas não sejam transferidas entre modelos ou chatbots, elas podem vazar entre contextos. Por exemplo, se você seguir conselhos de saúde do chatbot, ele poderá usar esse contexto implicitamente mais tarde para lhe dar conselhos financeiros.

“Existem maneiras de lhe dar conselhos sutilmente que podem não ser benéficos para você”, disse Cranor. “Se ele sabe que você é rico, talvez esteja sugerindo que você compre coisas mais caras, e se sabe que você tem renda fixa e vive de salário em salário, talvez esteja aconselhando você a comprar coisas baratas e ruins… Então você se pergunta: quantas coisas ele não está mencionando explicitamente, mas levando em consideração nos conselhos que está lhe dando?”

Também existem problemas com esta recolha de dados que vão além das formas tradicionais como pensamos sobre a privacidade online. As empresas de IA desejam que seus chatbots sejam um balcão único para as solicitações dos usuários. O Google está passando por uma grande reformulação da IA, incluindo a integração da IA ​​em sua função principal, a Pesquisa. Os executivos da OpenAI, por outro lado, falaram sobre o trabalho da empresa para desenvolver um produto que possa ajudá-lo “em tudo na sua vida”.

“Esse é o risco de privacidade que está surgindo, porque não há mais limites; o sistema atua como seu conselheiro, seu amigo, seu médico, seu advogado e, portanto, tem informações sobre tudo”, disse Dash. “Se o sistema o conhece tão bem e se o seu objetivo é atender às suas crenças e validar os seus pensamentos de forma bajuladora para que você volte a ele repetidamente, então isso pode ter implicações desastrosas e mais amplas, desde a extrema polarização política até o reforço de preconceitos e preconceitos.”

Num outro estudo publicado no início deste ano, os investigadores propuseram que a hiperpersonalização e a bajulação, juntamente com a tendência de um chatbot de espelhar a linguagem dos utilizadores, poderiam contribuir para o desenvolvimento ou reforço de delírios associados à IA.

Tanto Dash quanto Cranor aconselham os usuários a serem mais cautelosos sobre as informações que fornecem aos chatbots de IA, mesmo que a gratificação instantânea de uma resposta rápida pareça muito tentadora para ser ignorada.

“Hoje em dia todo mundo está descarregando tudo para esses sistemas de conversação, então você provavelmente terá que recuperar parte dessa carga cognitiva”, disse Dash.

Em um pequeno experimento, Dash e seus colegas descobriram que reformular as perguntas para remover detalhes de identificação pessoal poderia reduzir a quantidade de informações confidenciais que os usuários revelam aos chatbots. Eles chamam a técnica de “escudo de atribuição”, embora sua eficácia em conversas mais longas ainda não esteja clara. Basicamente, envolve interagir com chatbots de IA da mesma forma que você pesquisaria algo no Google. Por exemplo, se você é diabético e procura aconselhamento, Dash sugere que você não comece sua pergunta com “Sou diabético, o que devo fazer em relação a X” e, em vez disso, reformule-a como “o que uma pessoa diabética deve fazer em relação a X”.

ChatGPT também oferece aos usuários algum controle sobre o que lembra. Eles podem desativar a memória em suas configurações, revisar e corrigir um resumo das informações que o chatbot coletou sobre eles ou usar um bate-papo temporário não personalizado que não acessará nem criará memórias. Os usuários também podem optar separadamente por não usar suas conversas para treinar futuros modelos de IA. Mas essas proteções têm limitações. A OpenAI diz que seus resumos de memória não incluem necessariamente tudo o que o chatbot sabe sobre um usuário, e excluir uma conversa não apaga necessariamente as informações que o chatbot lembrou dela.

Mas há um limite para o que os usuários podem fazer para se proteger. Dash acha que parte dessa responsabilidade também deveria recair sobre os operadores do chatbot. Por exemplo, as empresas de IA poderiam dar aos utilizadores mais controlo sobre a formação da memória, pedindo permissão antes de guardarem informações das suas conversas.