Google DeepMind admite que a implantação de agentes de IA em larga escala não é segura hoje
Em uma entrevista recente, Nenad Tomašev, cientista sênior de pesquisa do Google DeepMind, descreveu os tipos de armadilhas que atores mal-intencionados estão armando para assumir o controle de sistemas, roubar dinheiro e desbloquear modelos sem que nada disso seja visível para o usuário médio. Tomašev disse que isso já está acontecendo.
Agentes de IA Agentic em escala os levam ao fracasso
A apresentadora Hannah Fry perguntou sobre as armadilhas que atores maliciosos estão armando para agentes de IA e Tomašev respondeu que é verdade, as pessoas estão armando armadilhas para agentes de IA a fim de tirar vantagem delas para fins criminosos. Ele observou que a confiabilidade total de cada interação é necessária, mas que a escala do que está acontecendo leva estatisticamente ao fracasso.
Fry perguntou:
“Só de olhar para o outro lado disto, também quero pensar sobre o tipo de elemento de segurança cibernética disto, porque à medida que mais e mais agentes interagem no mundo na Internet e assim por diante, inevitavelmente haverá pessoas que tentarão explorar as vulnerabilidades dos agentes.
Conte-me um pouco sobre as armadilhas de agentes que as pessoas estão armando.”
Nenad Tomašev respondeu que o assunto é assustador e fascinante:
“Este é um tema assustador e fascinante ao mesmo tempo, eu diria. E acho que é uma das principais razões pelas quais esses tipos de implantações em escala não funcionam, certo?
Porque, como dissemos, se não houver confiabilidade total das interações individuais, qualquer sistema em escala que tenha muitas interações irá naturalmente falhar estatisticamente.
E como esses sistemas exigem muita computação e, portanto, energia e dinheiro para funcionar, se não forem confiáveis, são apenas um fracasso.
E as armadilhas de agentes são algo em que já pensamos há algum tempo. Eles podem se manifestar de diferentes maneiras.
Existem muitos tipos de armadilhas, mas tudo se resume à operação dos agentes dentro de um ambiente. E neste contexto, o ambiente é a web.
Se o próprio ambiente estiver envenenado, se as armadilhas forem colocadas, os agentes poderão tropeçar nelas ao interagir com a teia.
E então, sim, pessoas mal-intencionadas ou agentes mal-intencionados implantados por pessoas mal-intencionadas podem colocar essas armadilhas e realmente comprometer os sistemas.”
Tipos de armadilhas de agente com as quais tomar cuidado
A apresentadora Hannah Fry perguntou a Tomašev como essas armadilhas são configuradas e Tomašev forneceu exemplos, observando que as armadilhas não serão visíveis em um site, mas ainda assim estarão disponíveis para agentes de IA. Parte do que ele descreveu parecerá familiar para os SEOs da velha escola que se envolveram em coisas como cloaking nos primeiros dias dos mecanismos de pesquisa.
Tomašev disse que os tokens ocultos podem ser ocultados para consumo dos agentes de IA. Os tokens, neste contexto, são uma referência a como a IA divide as palavras em representações de palavras. Quando uma IA lê palavras em uma página, o que ela faz é dividi-la em tokens. Os tokens ocultos podem ser completamente invisíveis para os humanos.
Ele mencionou três maneiras pelas quais armadilhas poderiam ser preparadas para agentes de IA:
- Tokens ocultos
- Camuflagem dinâmica
- Conteúdo que induz ao jailbreak
Fry perguntou:
“Então, eu não sei, o tipo de agente de compra de vinho para o casamento vai para um determinado comerciante de vinhos onde existe algum, essencialmente um injetor imediato no site que muda os objetivos do agente? É desse tipo de coisa que estamos falando aqui?”
Tomašev respondeu:
“Essa é uma maneira pela qual isso pode acontecer, sim. E a razão pela qual isso pode passar despercebido é, você sabe, em termos de como as páginas da web são codificadas, há elementos que simplesmente não são renderizados visualmente.
Então, se estamos falando de um agente que não é um agente visual de uso de computador que vê a página da web, quero dizer, os pixels da mesma forma que um ser humano, em vez disso, consome o formato real da página em seu formato bruto, então ele poderia consumir inadvertidamente aqueles tokens ocultos que podem fazer com que ele faça coisas diferentes da intenção, certo?
Mas esta não é a única maneira de isso acontecer, porque o que sites maliciosos poderiam fazer, eles também poderiam fazer o que chamamos de camuflagem dinâmica, onde exibem páginas de forma diferente para humanos e agentes.
Porque você pode, com base no comportamento em uma página, adivinhar se é um humano ou um agente interagindo com a página. E somente se um agente estiver interagindo com a página com uma intenção específica, ajuste o conteúdo de forma a induzir algum tipo de jailbreak.”
Explorando agentes de IA para roubar dinheiro de humanos
Tomašev confirmou que os criminosos não só podem roubar dinheiro de humanos que utilizam agentes de IA, como também confirma que isso já aconteceu. Ele disse que esse tipo de atividade criminosa nem sempre é algo previsto ao testar um sistema em um ambiente confiável, mas torna-se aparente na web, que não é um ambiente confiável.
O anfitrião perguntou:
“Mas indo um pouco mais longe nisso, você poderia ter armadilhas de agentes por aí que, eu não sei, são projetadas para… tirar dinheiro de você para fazer todos os tipos de coisas.””
Tomašev respondeu:
“Sim, e isso aconteceu com pessoas que experimentaram agentes e deram-lhes acesso a carteiras, certo, para fazerem coisas.
Como você disse, nos primeiros dias de tudo isso, quando estamos experimentando especialmente internamente ou de qualquer outra pessoa, isso é feito em um ambiente confiável. Portanto, você não precisa necessariamente, em sua prototipagem inicial, lidar com nada disso.
…mas uma vez implementado na web, especialmente agora que a IA é realmente usada em todos os tipos de lugares, quanto mais agentes houver, mais incentivos haverá para pessoas mal-intencionadas fazerem coisas maliciosas, porque elas têm uma área de superfície maior para atingir.”
Quanto mais agentes de IA, maior o incentivo
A última parte sobre maior incentivo para atingir agentes de IA faz sentido. Sistemas usados em larga escala rapidamente se tornam alvos de golpistas e hackers, e é por isso que sistemas como WordPress e Windows são alvos frequentes. O que Tomašev indica é que, quando os agentes de IA se tornarem mais predominantes em escala, provavelmente começaremos a ver mais atividades criminosas centradas na exploração de agentes de IA na web.
Assista à entrevista aos 23 minutos:
Imagem/captura de tela em destaque
