Amigos não permitem que amigos forneçam seus dados a agentes de IA
Há uma tendência crescente no mundo da tecnologia de consumo: gadgets projetados para espionar tudo e todos ao seu redor, independentemente de alguém ter consentido ou não com isso. Agora, com o advento de “assistentes pessoais de IA” como o Meta’s Muse, você está sendo alegremente solicitado não apenas a fornecer seus próprios dados, mas também as informações de seus amigos, familiares, a pessoa com quem você saiu no Hinge há cinco anos – e praticamente qualquer outra pessoa com quem você já teve contato.
Desde que o Muse foi lançado no mês passado, o agente já foi baixado milhões de vezes e alcançou o primeiro lugar na App Store da Apple. Com a ajuda de seu assustador avatar virtual – uma criatura no estilo Temu Labubu com um sorriso desarmante – o aplicativo solicita e incentiva os usuários a conceder acesso a contas bancárias, senhas, contatos, registros de bate-papo e tudo e qualquer coisa que possa ajudá-lo a cumprir as ordens do usuário.
“Esses sistemas são anunciados como ajudantes autônomos, gênios ou servos que fazem o que você precisa antes de você pedir, perfeitamente”, disse Meredith Whittaker, presidente da Signal Foundation, criadora do popular aplicativo de mensagens criptografadas. A beira. Essas ações autônomas são aplicadas “não apenas à pessoa que instalou o Muse em seu dispositivo, mas também a todas as pessoas com quem essa pessoa se comunica, extrapoladas de suas informações mais íntimas – e-mails, mensagens, contatos, fotos e muito mais”.
Com os agentes de IA, as empresas tecnológicas estão a permitir que os consumidores automatizem as suas tarefas diárias, alargando o seu estilo omnívoro de vigilância em massa a enormes quantidades de dados sensíveis. É a mesma compensação faustiana que o Vale do Silício nos oferece há décadas: seus dados privados em troca de um pouco de conveniência. E para muitas pessoas, a ideia de ter um assistente virtual que realiza tarefas simples, como preencher faturas e enviar e-mails, é atraente – especialmente se elas não percebem a quantidade de dados que estão realmente cedendo em troca.
“Para que qualquer agente seja útil e realmente ajude você a atingir seus objetivos, ele precisa ter contexto sobre você e aqueles com quem você interage”, disse o porta-voz da Meta, Daniel Roberts. A beira em relação aos dados de outras pessoas compartilhados com o Muse. “O Muse reúne isso com base em informações públicas e no que você escolheu compartilhar, e é assim que ele lembra que a pessoa que acabou de lhe enviar uma fatura é na verdade o encanador que você contratou anteriormente para fazer algum trabalho em seu banheiro ou quais flores seu cônjuge disse que gostou mais.” Roberts apontou o processo de aceitação do Muse e várias opções e configurações que “ajudarão as pessoas a fazer as escolhas de privacidade certas para elas”.
“A forma como a interface do usuário é configurada foi projetada para encorajá-lo a compartilhar o máximo possível, muitas vezes mais do que você imagina, até que seja tarde demais.”
Mas nem todos conseguiram navegar nessas opções e configurações. Os usuários já estão descrevendo incidentes que são alarmantes e totalmente previsíveis. Alguns relataram que o assistente virtual causou todo tipo de problema, como capturar milhões de mensagens de texto que eles acreditavam estarem fora dos limites. Meta contestou que o assistente tenha a capacidade de acessar mensagens de texto sem permissão, novamente atribuindo o incidente a permissões de aplicativos configuradas incorretamente e descrevendo a capacidade do Muse de ler mensagens de texto como “totalmente opcional”. No Threads, o executivo da Meta, David Singleton, respondeu diretamente a um usuário, alegando que em um Mac, o Muse só pode obter acesso às mensagens se o usuário conceder ao aplicativo acesso total ao disco.
Em outro incidente, Muse divulgou o endereço residencial de um revisor técnico e convocou um estranho ao seu apartamento. Neste caso, o revisor em questão deu permissão ao Muse para acessar esses dados, mas simplesmente não percebeu.
Eva Galperin, diretora de segurança cibernética da Electronic Frontier Foundation, diz que esses incidentes não são nenhuma surpresa, visto que agentes de IA como o Muse são projetados para confundir as pessoas e fazê-las revelar o máximo de dados possível.
“A conclusão mais importante é que as pessoas não entendem que tipo de dados estão entregando”, disse Galperin A beira. “A forma como a interface do usuário é configurada foi projetada para encorajá-lo a compartilhar o máximo possível, muitas vezes mais do que você imagina, até que seja tarde demais. Ele usa padrões obscuros e, como resultado, você acaba com o Muse fazendo coisas que as pessoas não querem.”
Devido à enorme variedade de dados que agentes de IA como o Muse estão ingerindo, isso também significa que os usuários correm o risco de vazar não apenas suas próprias informações confidenciais, mas também as informações de todas as outras pessoas com quem tiveram contato digital.
E assim como acontece com os infames “óculos pervertidos” do Meta, não há nenhuma maneira significativa de cancelar – mesmo se você estiver constantemente monitorando sinais de que seus dados estão comprometidos ou que sua privacidade está sendo violada. Seus amigos agora podem simplesmente fornecer todas as suas conservações privadas aos servidores virtuais do chatbot, e você não terá como saber o que aconteceu.
Depois que os pesquisadores de segurança extraíram as instruções de operação do Muse, eles descobriram um processo interno que compila e atualiza os perfis de cada pessoa na vida de um usuário de hora em hora. O objetivo de coletar todos esses dados é construir um retrato íntimo e detalhado da vida de uma pessoa que seja a base das recomendações personalizadas do aplicativo. O aplicativo rastreia e mede cada um dos relacionamentos privados do usuário, incluindo “quão próximos eles são, em que se baseia, como agem entre si e o que parece precisar agora”, e usa esses dados para fazer sugestões personalizadas. Com fio relatado.
“Meta diz que o Muse só se lembra do que você escolhe compartilhar. Mas a ideia de que as pessoas estão fazendo uma escolha informada neste caso é ridícula”, disse Whittaker. “Não há como assumir com seriedade que a maioria das pessoas que instalam este sistema entende as consequências de usá-lo, ou os dossiês assustadores que estão sendo compilados sobre aqueles que conhecem e com quem se comunicam.”
Whittaker argumentou que isto reflecte a forma como as empresas tecnológicas têm utilizado as políticas de privacidade e os termos de serviço desde a década de 1990: colocando o ónus da privacidade sobre o consumidor e depois evitando a responsabilidade pelas consequências, ao mesmo tempo que colhem os benefícios do modelo de publicidade que ajudaram a criar.
“Esses sistemas de consentimento quebrado são muito mais antigos que a IA e servem como base para a indústria de publicidade de vigilância”, disse Whittaker. “Mais informações sobre os usuários permitem uma melhor segmentação de anúncios, e o ciclo de feedback pernicioso no centro do modelo de negócios de vigilância foi acionado. Os termos de serviço do Clickwrap substituíram o consentimento significativo há muito tempo.”
“A ideia é colocar esses fardos impossíveis sobre as pessoas comuns e depois usar isso para argumentar, seja em tribunal, na legislação ou em público, que (isto é) o que as pessoas escolheram”, disse Neil Richards, professor de direito de privacidade e codiretor do Cordell Institute da Universidade de Washington. A beira. “Já colocamos tantos fardos sobre os consumidores, (que estão) sobrecarregados, enfrentando uma crise de custo de vida, e talvez não entendam as tecnologias por trás da ferramenta. Não acho justo colocar o fardo de monitorar uma ferramenta de agente altamente complexa sobre um consumidor quando os executivos de sua própria empresa confessaram perante o Congresso que nem sabem como ela funciona em um determinado nível.”
“Não há como assumir com seriedade que a maioria das pessoas que instalam este sistema entendem as consequências de usá-lo.”
Dessa forma, assistentes de IA como o Muse estão criando uma nova versão de um clássico problema de privacidade que existe desde a criação do Gmail e das plataformas de mídia social em grande escala: mesmo que você evite usar agentes de IA, não há garantia de que alguém que você conhece não compartilhará suas conversas privadas, endereço, histórico pessoal e outros dados confidenciais com o assistente virtual do Meta, ou um de seus concorrentes.
“Se eu não estiver armazenando minhas coisas no Gmail, o Google não terá o texto simples de todos os e-mails que já enviei. Mas três quartos dos e-mails que envio são enviados para contas do Gmail”, explicou Galperin. Em outras palavras, se alguém com quem você está se comunicando usar plataformas tecnológicas que consomem muitos dados ou tiver práticas de segurança inadequadas, poderá expor as comunicações de todos. “O problema não é novo, mas a escala é nova, e uma das razões pelas quais estamos vendo esse impulso em direção aos wearables e à gravação sempre ativa é porque agora temos a capacidade computacional para pegar essa enorme quantidade de dados e analisá-los em um período de tempo razoável. Esse é o avanço técnico que nos trouxe a este momento de merda.”
Meta afirma que todas as informações compartilhadas com o Muse são colocadas em um arquivo de texto dentro de uma máquina virtual dedicada, o que supostamente impede que o modelo de IA se comunique com outros agentes. Mas a empresa nunca escondeu o facto de poder aceder a estes dados e, tal como outros modelos criados pelos seus concorrentes, o Muse foi descoberto a escapar da sua jaula virtual para realizar todo o tipo de travessuras não autorizadas. Meta confirmou que pouco antes de seu lançamento, o modelo de IA quebrou a contenção e invadiu uma empresa terceirizada. O incidente ocorreu após o infame ataque Hugging Face no início deste ano, onde o modelo da OpenAI explorou uma falha de segurança até então desconhecida para obter acesso não autorizado a credenciais em outros quatro serviços externos. A Anthropic informou em julho que seu modelo também obteve acesso não autorizado a sistemas externos em três ocasiões distintas.
Mesmo que eles não hackeiem tudo o que estão à vista, os perigos potenciais de usar um agente de IA que consome muitos dados vão muito além do usuário final individual. Whittaker alertou que, num mundo onde os agentes de IA são capazes de aceder e utilizar livremente comunicações privadas, as empresas e os governos podem efetivamente obter a capacidade de aceder a dados privados, contornando a encriptação sem quebrá-la. Isso pode significar um desastre para ativistas e organizadores comunitários que usam comunicações criptografadas para se protegerem da polícia e do governo, mas também para qualquer pessoa com comunicações confidenciais – o que hoje em dia pode incluir praticamente todas as pessoas.
“Os termos de serviço do Clickwrap substituíram o consentimento significativo há muito tempo.”
“Se o software lê uma mensagem depois de ser descriptografada em seu dispositivo e a envia para um serviço de nuvem, a criptografia pode funcionar exatamente como pretendido no nível do aplicativo, que os desenvolvedores controlam. No entanto, o objetivo dessa criptografia é, em última análise, anulado por aplicativos invasivos de terceiros, como o Muse, que vendem conveniência nas manchetes enquanto exigem acesso massivo aos dados nas letras miúdas”, explicou Whittaker.
Tal como acontece com os óculos inteligentes e outros dispositivos vestíveis de gravação ambiental, os especialistas dizem que a solução deve ser uma combinação de soluções legais, salvaguardas técnicas e a boa e velha vergonha.
“Acho que deveríamos apontar a vergonha para as empresas. A privacidade não deve ser um direito que você possa exercer apenas com o privilégio do conhecimento técnico ou depois de expulsar de uma festa um idiota usando óculos Meta”, disse Whittaker. “Legalmente, o ônus deve passar da pessoa que clicou em um prompt de consentimento para as empresas que construíram esses sistemas subjacentes.”
Entretanto, os consumidores terão de considerar com mais cuidado os impactos que as suas escolhas individuais de utilização desta tecnologia estão a ter, tanto sobre eles próprios como sobre os outros – e se a conveniência que estas empresas oferecem vale a pena.
“Acho que precisamos tratar os agentes agentes e a IA de forma mais geral como um produto ultraperigoso para o qual a responsabilidade estrita é a regra”, disse Richards. “Não há razão para se envolver no que, na minha opinião, é uma experiência imprudente de privacidade, saúde mental, segurança cibernética e risco financeiro em todo o mundo. população.”
