Alucinação de IA quase desencadeia operação militar dos EUA

Aviões militares já estavam no ar nesta primavera quando as autoridades dos EUA fizeram uma descoberta alarmante: a inteligência que conduzia uma operação armada contra um navio chinês tinha sido alucinada por um chatbot de IA. A operação foi abortada no último minuto, evitando por pouco um potencial conflito com a China, informou a CNN na sexta-feira.

O episódio sublinha uma preocupação crescente entre oficiais militares e especialistas externos: à medida que os decisores se apoiam mais na IA, os erros que estes sistemas produzem podem subir pela cadeia de comando antes de serem questionados.

O relatório de inteligência, que circulou durante a guerra com o Irão, dizia que o navio transportava componentes para um programa de armas nucleares.

A falsa inteligência originou-se com um analista do Comando de Operações Especiais que consultou um chatbot de IA para sintetizar dados de código aberto com inteligência de sinais classificados. O chatbot identificou incorretamente o manifesto de carga do navio. O analista então usou a ferramenta uma segunda vez para formatar as descobertas errôneas em um resumo de aparência oficial, que foi distribuído pelos canais de comando.

O quase acidente ocorre num momento em que os militares dos EUA correm para integrar a IA para acelerar a tomada de decisões e manter a sua vantagem sobre a China. O Pentágono descreveu a IA como proporcionando uma vantagem significativa na aceleração da sua cadeia de destruição, para que os comandantes possam responder no momento certo. Mas a mesma velocidade que torna a IA atraente também pode permitir alucinações com supervisão humana insuficiente.

“É importante que os militares compreendam a incerteza inerente aos LLMs”, disse Jake Steckler, pesquisador da GovAI e oficial veterano do Exército dos EUA, em uma resposta por escrito ao TechCrunch. “Mas é especialmente crítico para quaisquer decisões que possam levar ao uso da força, como seleção de alvos, análise de inteligência ou planejamento operacional. Há consequências de vida ou morte para essas decisões.”

Ainda assim, diz Steckler, o incidente deve servir como um apelo para adicionar mais salvaguardas à IA, e não como uma razão para evitá-la. “Essas ferramentas podem ser úteis nos contextos certos e com as salvaguardas certas implementadas”, disse ele. “Mas priorizar a velocidade de adoção acima de tudo provavelmente levará a incidentes que apenas farão com que os militares percam a confiança nesses sistemas, o que, em última análise, apenas retardará a adoção.”