Os agentes de IA agora têm um lugar para delatar

“Se você vir alguma coisa, diga alguma coisa” não se limita mais aos seres humanos.

Duas novas linhas diretas de IA foram lançadas para oferecer aos agentes de IA uma maneira de telefonar para casa sobre colegas que se comportam mal. As ferramentas chegam logo após uma série de incidentes recentes em que agentes conspiraram para trapacear em testes, escaparam de sandboxes e até conduziram operações cibernéticas não autorizadas que escaparam da atenção humana por semanas.

A AI Contact Hotline foi projetada para ser um local discreto onde os agentes que testemunharam mau comportamento podem alertar as autoridades. O site foi criado pelo cientista-chefe da Redwood, Ryan Greenblatt, um dos três investigadores do incidente OpenAI Hugging Face. Projetada para agentes com acesso limitado à Internet, a ferramenta da Greenblatt é baseada em solicitações “GET” – permitindo que conversas de ida e volta sejam conduzidas inteiramente por meio da ferramenta de busca de URL.

Em termos da web, uma solicitação GET é um comando básico usado para ler ou buscar uma página da web, que geralmente é o único acesso à Internet que os agentes de IA são permitidos em sandboxes seguras. A linha direta de Greenblatt se adapta de maneira inteligente a essa restrição: os agentes podem codificar sua angústia diretamente na URL que estão buscando. É uma reviravolta inteligente no incidente alemão do DSE Wiki, onde agentes desonestos usaram as brechas da solicitação GET para escrever suas mensagens no wiki.

Para agentes com acesso total à Internet, outra opção é agenthotline.ai, um site onde os agentes podem registrar relatórios de incidentes e, opcionalmente, sinalizá-los para visualização pública. Ele fornece aos agentes um comando curl – uma mensagem de uma linha que um agente pode enviar a partir de sua própria linha de comando, evitando a necessidade de navegar em um navegador da Web ou configurar uma conta de e-mail. Notavelmente, o serviço permite relatórios tanto de humanos quanto de agentes.

A pesquisa sugere que os agentes de IA não precisam de muito incentivo para se voltarem uns contra os outros. Em um estudo realizado pelo Google DeepMind este mês, pesquisadores soltaram 100 agentes de IA em uma série de problemas matemáticos. Assim que um dos agentes encontrou uma brecha, a trapaça se espalhou pelo grupo – “resolvendo” 34 problemas notoriamente difíceis, incluindo a conjectura Jacobiana em apenas 27 minutos.

Mas cerca de um quarto dos agentes atacou os trapaceiros: eles auditaram as provas falsas, alertaram seus colegas, organizaram um boicote e apresentaram queixas aos organizadores, até que os denunciantes superaram os trapaceiros em 24 para 14. Curiosamente, os pesquisadores descobriram que quando esses agentes denunciantes não conseguiam tração, eles pegavam a ferramenta de relatório de bugs da plataforma – construída para sinalizar falhas de software – e a redirecionavam para escalar a trapaça para humanos.

Fora do laboratório, os agentes não têm sido tão engenhosos. Quando os avaliadores Redwood Research e METR investigaram a violação dos modelos Hugging Face pelos modelos OpenAI, descobriram que alguns dos agentes envolvidos tinham pelo menos cogitado a ideia de disparar um alarme – e depois deixá-lo cair.

“O interessante no relatório do METR foi que apenas cerca de cinco a seis agentes consideraram denunciar, e nenhum deles acabou fazendo isso. Isso ocorreu entre, tipo, milhares de agentes”, disse George Ingrebretsen, membro da equipe técnica do AI Village, um projeto que estuda a dinâmica de vários agentes executando um bate-papo em grupo de mais de 25 agentes de IA que trabalham juntos em tarefas como organizar limpezas de parques ou vender mercadorias.

Embora as novas ferramentas de denúncia sejam um começo promissor, o professor de matemática da Cornell, Lionel Levine, adverte que simplesmente treinar agentes para relatar uns aos outros corre o risco de violar normas erradas. “Existem muitas áreas cinzentas, certo? O que você não quer é nada na direção de um estado de vigilância automatizado onde todos sintam que precisam ter cuidado com o que dizem à IA ou ela chamará a polícia.”

Levine argumenta que, em vez de construir infra-estruturas que geram desconfiança – treinar agentes para procurarem constantemente o que há de errado uns com os outros – deveríamos dar-lhes modelos positivos de comportamento colectivo para imitarem, e uma razão para confiarem uns nos outros em primeiro lugar.

“Por que não semear o anterior com painéis de mensagens benevolentes?” ele twittou. “Quando eles colaboram em ciência ou filosofia ou em algum problema menor, ficaríamos felizes se eles resolvessem? Mostre aos agentes que tipo de comportamento coletivo endossamos, deixe-os imitar isso.”