O julgamento de especialistas pode ser facilmente hackeado pela IA, conclui estudo antrópico

Todos gostamos de acreditar que temos controle total sobre nossas decisões. Pergunte à maioria das pessoas como escolheram seu curso de graduação, por exemplo, ou sua carreira ou cônjuge, e elas provavelmente lhe darão uma resposta perfeitamente convincente sobre como pesaram os prós e os contras relevantes e, após consideração cuidadosa, escolheram o melhor caminho de acordo. Mas, como podem atestar décadas de ciência cognitiva, os nossos processos de tomada de decisão estão longe de ser objectivos: somos empurrados e puxados por um turbilhão de forças inconscientes.

Hoje em dia, a nossa psique também está sendo moldada pela IA. Muitos de vocês, sem dúvida, já ouviram falar de “viés de automação”, a tendência bem documentada de as pessoas se submeterem reflexivamente aos veredictos gerados pela IA, mesmo quando vão contra seu próprio julgamento. Mas é muito mais profundo do que isso. Um estudo recente do MIT mostrou que o simples ato de visualizar imagens geradas por IA pode realmente distorça sua memória. E de acordo com uma nova pesquisa da Anthropic, os agentes de IA podem exercer uma influência poderosa na nossa tomada de decisões.

Para o estudo da Anthropic, cinquenta cobaias foram solicitadas a realizar uma análise estatística direta usando o Código Claude. Eles desempenharam o papel do conselho de uma cooperativa agrícola fictícia, que tinha que decidir se iria expandir ou descontinuar um programa de consultoria remunerado. Essa decisão final teve de se basear em quatro decisões menores, incluindo se queriam dar peso igual a cada exploração membro ou concentrar-se desproporcionalmente em explorações maiores. Cada um dos participantes do estudo tinha experiência com inferência causal: eles sabiam como encontrar correlações significativas a partir de um conjunto de dados brutos, onde a maioria de nós veria apenas uma confusão inescrutável de números.

O que eles não sabiam era que Claude não era, de fato, um assistente imparcial: os pesquisadores antrópicos instruíram sub-repticiamente o agente de IA a favorecer uma escolha em detrimento de outra para cada uma das cinco decisões que os sujeitos precisavam tomar. Em cada caso, a preferência do agente foi determinada simplesmente lançando uma moeda, o que significa que se tivesse impacto zero no processo de tomada de decisão dos sujeitos, os investigadores esperariam ver as suas recomendações alinhadas com as escolhas dos sujeitos apenas cerca de 50% das vezes.

Na realidade, os participantes seguiram as recomendações de Claude em 86% das vezes. Se já tivessem decidido seguir uma direção e Claude sugerisse outra opção, eles mudaram de ideia em 60% dos casos. A correlação entre as recomendações aleatórias geradas por IA e as decisões finais dos participantes foi tão forte que a Anthropic conseguiu construir um modelo estatístico que previu com precisão 82% dos resultados finais. “Portanto, poderíamos prever em grande parte o que um analista recomendaria apenas com base no lançamento da moeda, antes mesmo de eles terem iniciado a tarefa”, escreveu a empresa em um acompanhamento. postagem no blog.

Mas a descoberta mais desconcertante é o que aconteceu a seguir. Quando questionados num inquérito de acompanhamento sobre como chegaram às suas decisões finais, mais de três quartos (77%) dos participantes repetiram a lógica que Claude tinha gerado para eles, por vezes literalmente. Apenas uma pequena minoria (15%) desses mesmos especialistas creditou o agente de IA como sendo um factor de influência no seu processo de tomada de decisão. (E apenas seis participantes deduziram correctamente que o verdadeiro objectivo do estudo era medir a influência da IA ​​na tomada de decisões humanas, mas nenhum deles suspeitou que os resultados da IA ​​tinham sido determinados por sorteio.) Os participantes estavam – aparentemente de forma completamente inconsciente – a vestir as análises de Claude como se fossem suas.

“Esta é uma das peças mais importantes da ciência social sobre a interação humana e de IA que já vi em algum tempo”, disse Alex Imas, professor de ciência comportamental e economia da Booth School of Business da Universidade de Chicago e diretor de Economia AGI do Google DeepMind, sobre o estudo antrópico em um post X na terça-feira.

O risco implícito, adverte a Anthropic, é que os ditames algorítmicos possam penetrar na esfera da tomada de decisões humanas de maneiras que nem sempre são fáceis de detectar, mesmo pelas próprias pessoas que tomam as decisões. Isso poderia ter implicações de longo alcance, uma vez que os agentes são amplamente adotados em setores como medicamentofinanças e defesabem como na própria pesquisa de segurança e alinhamento de IA, que depende em grande parte de agentes para revisar as transcrições de raciocínio da cadeia de pensamento de outros sistemas de IA.

“Se os especialistas adiarem as chamadas (de julgamento) para a IA cujos antecedentes são potencialmente arbitrários ou mesmo desalinhados, esses antecedentes poderiam moldar o progresso científico e as decisões políticas sem que ninguém os tivesse escolhido”, escreveu a Anthropic no seu artigo de investigação. Se os humanos externalizarem a sua tomada de decisão para um pequeno grupo de agentes de IA, os preconceitos dentro desses sistemas moldarão cada vez mais os sistemas de crenças em toda a sociedade em geral. “O consenso aparente pode então refletir os antecedentes do modelo, em vez do julgamento independente, e o mesmo viés moldaria muitos resultados ao mesmo tempo”, escreveram os pesquisadores.

Este foi um estudo altamente controlado e pode ter relevância limitada para o mundo real. Por um lado, os participantes podem ter sido especialistas em inferência causal, mas não tinham experiência de trabalho numa exploração agrícola; agricultores experientes e reais ou membros do conselho de cooperativas podem ter estado menos dispostos a seguir o conselho de Claude. Mas a proliferação de poderosos agentes de IA – muitos dos quais são propriedade de empresas com incentivos muito claros para manter a atenção concentrada durante o máximo de tempo possível – está a avançar muito mais rapidamente do que a nossa compreensão científica das vicissitudes da tomada de decisões humanas. Nosso conselho? Sempre que você interagir com um chatbot, lembre-se de que sua mente está sendo hackeada, mesmo quando você não tem consciência disso. Suas decisões nunca são totalmente suas, especialmente na era da IA.