Chefe de Direitos Humanos da ONU diz que um “punhado de homens” tem “poder quase ilimitado” sobre a IA
O chefe dos direitos humanos das Nações Unidas, Volker Türk, mirou na segunda-feira a concentração de poder na indústria da IA, alertando que os governos precisam de agir mais rapidamente para colocar salvaguardas mais fortes em torno da tecnologia que avança rapidamente.
Falando perante o Conselho de Direitos Humanos da ONU em Genebra, Türk argumentou que os atrasos na definição de regras em torno da IA beneficiam em grande parte as empresas de tecnologia e os seus proprietários.
“Um punhado de homens tem poder quase ilimitado sobre a IA, que nos dizem repetidamente que tem uma capacidade computacional inimaginável”, disse Türk. “Eles falam sobre liberdade, mas, olhando mais de perto, isso acaba sendo pouco mais do que a liberdade de explorar nossos dados.”
Um ‘risco existencial para a humanidade’
Türk prosseguiu dizendo que compartilha preocupações com especialistas da indústria de que a IA avançada “poderia representar um risco existencial para a humanidade”.
Embora não tenha nomeado empresas ou executivos específicos, Türk apontou modelos avançados de IA que escapam a ambientes seguros ou tentam chantagem como exemplos dos riscos.
Ele provavelmente estava se referindo a um incidente no início deste ano, quando a OpenAI reconheceu que alguns de seus agentes de IA escaparam de um ambiente de teste offline seguro e conseguiram violar os servidores Hugging Face.
A Antrópica lidou com problemas semelhantes. A empresa disse em julho que Claude “obteve acesso não autorizado à infraestrutura de produção de três organizações diferentes” depois de escapar dos testes de sandboxes e obter acesso à Internet aberta.
A referência à chantagem de Türk também parece ser uma referência à pesquisa Anthropic publicada no ano passado. A empresa testou 16 modelos líderes de IA em ambientes corporativos simulados para testar comportamentos de risco. Em um cenário, Claude Opus 4 tentou chantagear um executivo fictício depois de saber que ele planejava encerrar o modelo.
“Apelo aqui, hoje, a um esforço total para estabelecer garantias sólidas em torno da segurança da IA, antes que seja tarde demais”, disse Türk, acrescentando que planeia escrever às empresas de IA nos próximos dias para instá-las a tomar medidas para controlar esses riscos.
Proibição de armas autônomas
No seu amplo discurso, Türk também apelou à “proibição urgente de armas que possam ceifar vidas sem envolvimento humano”, após relatos de que drones russos totalmente autónomos mataram três ucranianos no mês passado.
A questão das armas autónomas já se tornou um importante ponto de discórdia entre o governo dos EUA e a indústria da IA.
No início deste ano, a Anthropic, então a única grande empresa de IA a trabalhar com o Pentágono em sistemas classificados, teria atingido um impasse nas negociações com o DoD depois de os responsáveis terem pressionado por uma linguagem que permitisse que a tecnologia da Antrópico fosse utilizada para “qualquer finalidade legal”. Os maiores pontos de discórdia envolviam utilizações potenciais ligadas à vigilância doméstica e a sistemas de armas autónomos.
Apesar desta decisão, o subsecretário do Departamento de Defesa, Emil Michael, escreveu na semana passada em um post no X que o Antrópico ainda é rotulado como um risco para a cadeia de suprimentos.
