Um interruptor de interrupção de IA é real?

À medida que as preocupações sobre as capacidades da IA ​​atingem uma massa crítica, o governador da Califórnia, Gavin Newsom, está a acelerar o plano do estado para travar o desenvolvimento da tecnologia.

Numa nova ordem executiva emitida hoje (18 de setembro), Newsom pede a criação de um painel liderado por especialistas encarregado de “reforçar e fortalecer” as leis estaduais de segurança de IA, incluindo a aceleração de planos para fazer cumprir avaliações de segurança de terceiros e relatórios de risco obrigatórios.

“A ordem executiva do governador da Califórnia prioriza corretamente o desenvolvimento de melhores orientações em relação às definições e requisitos para regulamentos de segurança de IA, particularmente no que diz respeito à auditoria de terceiros”, disse Travis Hall, Diretor de Engajamento Estadual do CDT, em declaração ao Mashable. “Apelamos ao Governador para que garanta que quaisquer grupos de trabalho dedicados a estes processos incluam uma série de vozes e conhecimentos, incluindo defensores dos direitos e liberdades civis.”

A ordem também orienta o grupo a explorar a possibilidade de um “desligamento de emergência” para modelos de fronteira, “também conhecido como ‘interruptor de interrupção de IA’”, disse Newsom em um vídeo postado em sua conta X, “o que significa muitas coisas, dependendo de com quem você fala”.

O que é um interruptor de interrupção de IA?

Newsom está correto. A ideia de um botão de desligamento universal para impedir que agentes de IA cada vez mais poderosos se tornem desonestos tem sido infiltrado em conversas legislativas e no discurso online durante o último ano. O termo tornou-se sinónimo de um impulso crescente para a regulamentação da segurança da IA, liderado em parte pelos próprios criadores da IA.

Mas a aparência real do interruptor de interrupção – especificamente, os meios pelos quais ele interromperia a IA em massa e quem seria o seu guardião escolhido – ainda está amplamente em debate.

Em julho, dois representantes do Congresso apresentaram a lei bipartidária AI Kill Switch Act, que daria ao Departamento de Segurança Interna (DHS) autoridade para desacelerar ou interromper um sistema de IA considerado capaz de causar “danos catastróficos”. O projeto também exigiria que os desenvolvedores instituíssem mecanismos para “acelerar, suspender ou desligar totalmente um sistema de IA coberto” – a ordem de Newsom busca aprovar um mandato semelhante.

Embora não seja exigido pela lei dos EUA, a maioria dos laboratórios de IA individuais têm seus próprios meios para deter sistemas não autorizados, governados por humanos e pelas próprias estruturas de segurança e equipes de alinhamento da empresa.

Algumas propostas para o desenvolvimento de “interruptores de interrupção” simplesmente incentivam os laboratórios a avaliar esses processos por auditores de segurança externos. Outros procuram instituir normas de segurança da indústria que mandato desligamentos de emergência, regidos pelo governo federal. Um grupo cada vez mais vocal de apocalípticos exige uma proteção abrangente contra falhas para toda a IA.

Em uma entrevista à Scientific American, Mark Nitzberg, diretor executivo do Centro de IA Compatível com Humanos da Universidade da Califórnia, Berkeley, chamou um interruptor universal de interrupção da IA ​​”mais uma aspiração do que uma realidade”.

O cientista da computação Geoffrey Hinton, também conhecido como o “Padrinho da IA”, disse à CNN que não acha que um interruptor de interrupção seria uma solução eficaz a longo prazo para aqueles que temem a superinteligência da IA.

Este Tweet não está disponível no momento. Pode estar carregando ou foi removido.

Em geral, os especialistas em políticas, incluindo o Centro para a Democracia e Tecnologia (CDT), questionaram a eficácia do que chamam de regulamentos de segurança “binários”, ou propostas do tipo lista de verificação que se concentram em detalhes técnicos específicos. As empresas de IA podem facilmente manipular esses termos, e mecanismos únicos, como interruptores de interrupção, rapidamente se tornam desatualizados à medida que a tecnologia ultrapassa seus fabricantes, dizem eles.

“Continuamos preocupados com o facto de as propostas de ‘interruptores de interrupção’ se revelarem ineficazes na redução de riscos, ao mesmo tempo que introduzem novos riscos de segurança e sério potencial para abusos governamentais”, disse Travis Hall, Diretor de Envolvimento do Estado do CDT, numa declaração ao Mashable.

Em vez de uma única solução técnica, Hall explica que a supervisão eficaz da segurança da IA ​​precisa de ser “significativa, independente e contínua”, e os painéis de peritos devem incluir uma série de vozes e conhecimentos fora dos técnicos, incluindo defensores dos direitos civis.

Como os desenvolvedores sofreriam um impacto financeiro e de reputação caso decidissem puxar a alavanca de um sistema inteiro, políticas eficazes que obrigassem kill switches também precisariam ser implementadas. incentivar empresas a agir. O CDT insta o estado a “considerar uma variedade de mecanismos para aumentar os incentivos para priorizar a segurança ao desenvolver, implantar e usar sistemas de IA”.

Por que um kill switch é mais complicado do que você imagina

Para os tipos de sistemas de IA que agora constroem, executam e influenciam espaços online, um interruptor de eliminação de IA pode não ser a cura como dizem, alertam especialistas e líderes de IA como o cofundador da Anthropic, Jack Clark.

Os sistemas de IA não estão contidos em um único ambiente físico, por exemplo, como um computador que você pode simplesmente desligar. Às vezes, desligar os servidores de um sistema é suficiente. Às vezes não é. Agentes de IA desonestos podem precisar ser “caçados” na Internet aberta para localizar e conter seus operadores, sugeriu Michael Vermeer, cientista físico sênior da RAND Corporation, à Scientific American.

E mesmo assim, pode ser necessária uma coordenação global resposta para isolar, parar e então degradar a IA a um ponto gerenciável.

Além da consideração técnica, os kill switches levantam questões de autoridade: Quem pode fazer a ligação? Está nas mãos do desenvolvedor original? É um processo industrial? Uma agência como a segurança interna deveria dar a ordem?

A IA não é um ser humano com quem se pode argumentar. A internet não tem portas para trancar, nem entende inatamente as fronteiras políticas (ou, para ser justo, qualquer coisa). A tecnologia, muitas vezes perigosamente antropomorfizada, é, em última análise, dirigida e influenciada pelos humanos – e o mesmo acontece com o seu desaparecimento.

Ainda assim, os políticos e os observadores da indústria estão a exortar os tecnólogos a considerarem esta opção. Os apelos tornaram-se mais prementes à medida que os indivíduos alertam para um potencial cenário de “dia do juízo final”, no qual a IA se torna senciente e maliciosamente determinada a frustrar a raça humana – sem falar em todas as questões éticas que já suscitou.

ATUALIZAÇÃO: 18 de setembro de 2026, 14h26 Esta história foi atualizada com um comentário de Travis Hall, do Centro para Democracia e Tecnologia.

Source link