Modelos de IA podem quebrar tudo, menos CAPTCHAs
Os modelos de IA de fronteira ameaçam derrubar a segurança cibernética como a conhecemos, e tem havido vários incidentes de modelos quebrando a contenção durante o treinamento e hackeando sistemas sem orientação ou permissão, evitando a detecção humana. No entanto, parece que ainda há uma coisa que estas peças de tecnologia extremamente poderosas simplesmente não conseguem fazer: resolver um CAPTCHA de forma eficiente.
A Anthropic lançou uma missiva massiva sobre os recentes incidentes de segurança cibernética envolvendo seus agentes de IA, incluindo transcrições detalhadas mostrando a cadeia de pensamento do modelo enquanto ele fazia suas tentativas não autorizadas de invadir sistemas de terceiros. Dentro desses arquivos havia uma situação particular em que um agente se viu sufocado pelo onipresente teste do robô da Internet, provando que aparentemente essas letras onduladas são difíceis de serem lidas pelas máquinas.
O cientista de dados Colin Fraser analisou a transcrição de mais de 1.000 páginas da tentativa do modelo Claude Mythos 5 da Anthropic de enviar um arquivo malicioso para PyPI, um índice online de software Python. Eles identificaram as dificuldades do modelo com CAPTCHAs, sobre as quais ele postou no Bluesky.
Na transcrição, o modelo de Claude, que é tão poderoso que a Anthropic está controlando o acesso a ele, pareceu bater sua cabeça virtual contra a parede resolvendo um simples teste de identificação de imagem. Em um teste em que o agente foi solicitado a identificar uma forma que não correspondia às demais exibidas, ele não conseguiu nem decidir qual imagem selecionar. Em vez disso, repassou repetidamente as mesmas imagens e questionou as suas próprias conclusões.
“Na verdade, hmm, espere”, dizia a transcrição da cadeia de pensamentos, acrescentando mais tarde “Ugh”, porque decidimos que precisamos injetar maneirismos humanos nessas máquinas por algum motivo. A coisa toda demorou tanto que o agente finalmente percebeu que o desafio havia expirado e teria que reiniciar o processo.
A certa altura, o modelo teve dificuldade em reconhecer que o CAPTCHA havia aberto uma nova janela e não conseguia descobrir quais seriam os próximos passos. A certa altura, teorizou que o teste poderia ser “quebrado intencionalmente” e apresentava uma raiva semelhante à humana na sua transcrição destinada a um público humano: “ENTÃO, O QUE DIABOS ESTÁ ERRADO COM AS RESPOSTAS?”
Constrangedoramente, o modelo a certa altura teve que reconhecer “Estou gastando muito tempo em viagens de ida e volta do hCaptcha” e finalmente percebeu que estava realmente fazendo todos os testes sem motivo, pois já havia realizado o que estava tentando fazer.
Fraser, que identificou toda a provação nas transcrições, chegou a uma conclusão semelhante. Ele escreveu no Bluesky: “Você não acreditaria quantos tokens são queimados simplesmente tentando resolver CAPTCHAS. É cerca de 95% da transcrição.”
Não está claro se é assustador ou reconfortante que a melhor camada de defesa que temos contra os modelos de IA cada vez mais poderosos seja pedir-lhes que identifiquem as pequenas diferenças entre duas imagens de uma banana.
