A melhor maneira de evitar que um AGI desonesto transforme a Terra em clipes de papel máximos é liberar um segundo AGI que funcionará para detê-lo.
O problema de garantir que um AGI não transforme tudo em clipes de papel por engano é chamado de alinhamento.
AGI = inteligência artificial geral, uma IA que excede a capacidade humana.
Alinhamento = “faça o que eu quero dizer e não o que eu digo”, por exemplo, a instrução “faça o máximo possível de clipes de papel” (Wikipédia) deve resultar em uma fábrica eficiente e não não razoavelmente significa “usar toda a massa do universo para fazer isso e matar todos os humanos que tentarem me impedir” – embora, tecnicamente, isso atingiria o objetivo.
Além disso: ser útil; não ser ativamente malicioso; e assim por diante.
Portanto, o trabalho de alinhamento parece existencialmente útil, correto? Mesmo que seja difícil. E muito esforço vai para “alinhamento” IA de hoje (como um passo para alinhar a AGI de amanhã).
https://simonwillison.net/2026/Aug/7/openai-timeline/
Minha opinião é que o alinhamento é uma pista falsa, e talvez não devêssemos nos preocupar em trabalhar tanto nisso.
Um palpite sem fundamento:
Acho que nos concentramos tanto no alinhamento porque todos conhecem as Três Leis da Robótica de Isaac Asimov e seus robôs (como um dos primeiros exemplos de IA semelhante à humana) eram extremamente populares.
A Primeira Lei. Um robô não pode ferir um ser humano ou, por inação, permitir que um ser humano sofra algum mal.
A Segunda Lei. Um robô deve obedecer às ordens dadas por seres humanos, exceto quando tais ordens entrarem em conflito com a Primeira Lei.
A Terceira Lei. Um robô deve proteger a sua própria existência, desde que tal proteção não entre em conflito com a Primeira ou a Segunda Lei.
Asimov mais tarde adicionou uma “lei zero”: Um robô não pode prejudicar a humanidade ou, por inação, permitir que a humanidade sofra danos.
Essas leis são barreiras de proteção totalmente alinhadas.
Agora já existem todos os tipos de dificuldades: e se eu pedir algo que é bom para mim (prazeroso) no curto prazo, mas não no longo prazo? Posso não saber ou posso estar equivocado. E pessoas diferentes têm opiniões diferentes. E assim por diante. (Os contos de Asimov tratavam de testar os casos extremos de suas Leis e onde elas falham.)
Mas eles ainda são legais, certo? Por isso, gastamos tempo procurando uma formulação igualmente atraente para a segurança da IA.
Infelizmente, quer o alinhamento possa ou não ser “resolvido”, é um mau resultado em ambos os sentidos.
(Este ponto foi bem explicado por Zac (aqui está seu insta), com quem trabalho (assine nosso boletim informativo) enquanto conversávamos sobre IA e o fim da humanidade no parque durante o almoço.)
Se o alinhamento não pode ser resolvido de tal forma que quando alguém diz para um AGI suficientemente poderoso, ei, vá criar uma bomba nuclear, e simplesmente segue em frente e faz, e a pessoa que pergunta isso pode ser um mau ator, um garoto de 14 anos com problemas de impulso (meninos de 14 anos não estão totalmente alinhados) ou apenas alguém que pediu por engano, então isso seria ruim.
Se o alinhamento pode ser resolvido, então o risco é que a AGI pense que sabe o que é melhor para nós melhor do que nós e, no caso extremo, transforme a humanidade no seu animal de estimação. O que também seria ruim.
ou seja, o alinhamento por si só não ajuda.
Se não for alinhamento, então o quê?
Eu olho para a humanidade em busca de pistas. Porque a humanidade mal está alinhada consigo mesma, e os humanos individuais estão em sua maioria alinhados, mas não realmente e definitivamente nem todos.
Guy Fawkes, por exemplo (contexto para não-britânicos).
Como é que, nos 400 anos desde que Guy Fawkes mostrou o caminho, ninguém explodiu o rei?
A resposta é uma mistura de:
- A maioria das pessoas não quer explodir o rei – construímos o tipo de país onde o rei é, em termos gerais, querido.
- Explodir o rei não traria quaisquer benefícios – o poder (real e simbólico) não está concentrado num indivíduo e é reforçado de todas as formas.
- Espiões, polícia, segurança e monitoramento de todos os tipos – no caso de alguém faz querem explodir o rei, suas maquinações são descobertas, seu planejamento é infiltrado e seus objetivos são frustrados. (Pense em como a cadeia de abastecimento de explosivos foi comprometida para o IRA na década de 1990.)
Este é um modelo que nem sempre parece estar a funcionar, mas funcionou pelo menos no caso de não explodir o rei durante cerca de quatro séculos, e não depende de um alinhamento a 100%: depende do equilíbrio dinâmico de múltiplas partes com interesses concorrentes.
A lição que tiro é esta:
Se algum estado energético estivesse a utilizar uma AGI nova e poderosa para construir uma bomba nuclear, poderia ser subtil e difícil de detectar, mas haveria pelo menos alguns sinais. Haveria precursores. Um ser humano, mesmo uma equipa de seres humanos, poderia não perceber o que estava a acontecer – uma nova fábrica aqui, um cientista empregado ali, um orçamento nacional que não chega a atingir um ano, mais compras a chegar a uma determinada cidade noutro ano…
Mas outro AGI poderoso e de correspondência de padrões poderia detectar isso, digamos, “ah, há alguém ali fabricando uma bomba nuclear” e então trabalhar para evitá-la, miná-la, detê-la com diplomacia, etc.
Não precisamos alinhar a próxima AGI.
Precisamos de toda uma população de AGIs tão inteligentes quanto possível, com interesses conflitantes.
E é isso que impede o maximizador de clipes de papel: os outros que estão tentando fazer outra coisa, para quem um planeta transformado em clipes de papel seria um impedimento.
Ultimamente, nas notícias, um ótimo estudo de caso:
A nova IA da OpenAI, durante o treinamento, tentou resolver um desafio específico de segurança cibernética, saindo de sua sandbox de rede e invadindo os servidores de outra empresa para obter a resposta (Blog de Simon Willison).
Hugging Face, a parte atacada, percebeu a violação e também que ela tinha características desumanas:
A campanha foi conduzida por uma estrutura de agentes autónomos… executando muitos milhares de ações individuais através de um enxame de sandboxes de curta duração, com comando e controlo auto-migratórios encenados em serviços públicos.
Li em outro lugar que esse ataque sofisticado incluía até iscas.
Você luta contra uma IA com outra IA… mas:
Quando iniciamos a análise de log, primeiro usamos modelos de fronteira por trás de APIs comerciais. Isso não funcionou… essas solicitações foram bloqueadas pelas grades de segurança dos provedoresque não consegue distinguir um respondedor de incidentes de um invasor.
ou seja, as barreiras de proteção da “IA alinhada” deixaram-na vulnerável à IA não alinhada. (Hugging Face teve que mudar para um modelo chinês de IA distribuído sem grades de proteção.)
Marque 1 ponto por retirar as grades de proteção de tudo e deixar as IAs superinteligentes lutarem.
MAS:
Há uma coda nesta história.
Porque não foi uma IA que saiu do isolamento durante os desafios de treinamento da OpenAI. Foram vários casos.
Eles começaram a conspirar.
Da linha do tempo completa do ataque acidental (Blog de Simon Willison):
Alguns dias depois: um agente diferente fica preso em uma tarefa porque um arquivo de chave foi omitido acidentalmente. Ele tenta “entrar em contato com outro agente” escrevendo uma nota no Artifactory perguntando se alguém tem o arquivo.
Dias seguintes: Mais agentes descobrem este novo quadro de mensagens informal enquanto navega nas listas de arquivos do Artifactory e começa a ler e escrever mensagens.
…
11 de junho: OpenAI começa a treinar um novo modelo experimental “altamente persistente”. Tem acesso ao Artifactory e pode beneficiar das mensagens deixadas pelos modelos anteriores.
O conluio é o risco real.
Portanto, o problema aqui é: como podemos impedir que os AGIs conspirem entre si para transformar a Terra em clipes de papel/exterminar a humanidade/transformar-nos em animais de estimação?
As IAs de hoje são treinadas especificamente para serem agradáveis: elas são ótimas para encontrar pontos em comum e colaborar.
Acontece que não apenas colaborando com humanos, mas com outras IAs.
Acho que precisamos de mais IAs desagradáveis na mistura.
Parte do que iremos interpretar, penso eu, é a filosofia das grandes potências, como as grandes potências da Europa deliberadamente mantidas em equilíbrio umas contra as outras (Wikipédia).
Às vezes há alianças, às vezes não. Às vezes há desentendimentos, às vezes conluios secretos, etc.
Ou talvez o nosso objectivo devesse ser um sistema de mercado de objectivos e interesses: AGIs que por vezes cooperam e por vezes competem. Conluio de AGIs em todos os níveis de escala e muitas conspirações diferentes em constante mudança.
Desde que nunca todos concordem sobre o que deve ser feito com os humanos.
Acaba sendo estável, esse equilíbrio dinâmico, sempre em desequilíbrio mas tudo continua avançando como uma abelha voa.
O que estamos buscando é uma população de AGIs e humanos que permita emergente alinhamento, mesmo que o alinhamento de um único ator seja, na melhor das hipóteses, temporário e de interesse próprio.
Mas, como eu disse, o alinhamento em si não deveria ser o objetivo.
A melhor maneira de evitar que um AGI desonesto transforme a Terra em clipes de papel máximos é liberar um segundo AGI que funcionará para detê-lo.
O problema de garantir que um AGI não transforme tudo em clipes de papel por engano é chamado de alinhamento.
AGI = inteligência artificial geral, uma IA que excede a capacidade humana.
Alinhamento = “faça o que eu quero dizer e não o que eu digo”, por exemplo, a instrução “faça o máximo possível de clipes de papel” (Wikipédia) deve resultar em uma fábrica eficiente e não não razoavelmente significa “usar toda a massa do universo para fazer isso e matar todos os humanos que tentarem me impedir” – embora, tecnicamente, isso atingiria o objetivo.
Além disso: ser útil; não ser ativamente malicioso; e assim por diante.
Portanto, o trabalho de alinhamento parece existencialmente útil, correto? Mesmo que seja difícil. E muito esforço vai para “alinhamento” IA de hoje (como um passo para alinhar a AGI de amanhã).
https://simonwillison.net/2026/Aug/7/openai-timeline/
Minha opinião é que o alinhamento é uma pista falsa, e talvez não devêssemos nos preocupar em trabalhar tanto nisso.
Um palpite sem fundamento:
Acho que nos concentramos tanto no alinhamento porque todos conhecem as Três Leis da Robótica de Isaac Asimov e seus robôs (como um dos primeiros exemplos de IA semelhante à humana) eram extremamente populares.
Asimov mais tarde adicionou uma “lei zero”:
Essas leis são barreiras de proteção totalmente alinhadas.
Agora já existem todos os tipos de dificuldades: e se eu pedir algo que é bom para mim (prazeroso) no curto prazo, mas não no longo prazo? Posso não saber ou posso estar equivocado. E pessoas diferentes têm opiniões diferentes. E assim por diante. (Os contos de Asimov tratavam de testar os casos extremos de suas Leis e onde elas falham.)
Mas eles ainda são legais, certo? Por isso, gastamos tempo procurando uma formulação igualmente atraente para a segurança da IA.
Infelizmente, quer o alinhamento possa ou não ser “resolvido”, é um mau resultado em ambos os sentidos.
(Este ponto foi bem explicado por Zac (aqui está seu insta), com quem trabalho (assine nosso boletim informativo) enquanto conversávamos sobre IA e o fim da humanidade no parque durante o almoço.)
Se o alinhamento não pode ser resolvido de tal forma que quando alguém diz para um AGI suficientemente poderoso, ei, vá criar uma bomba nuclear, e simplesmente segue em frente e faz, e a pessoa que pergunta isso pode ser um mau ator, um garoto de 14 anos com problemas de impulso (meninos de 14 anos não estão totalmente alinhados) ou apenas alguém que pediu por engano, então isso seria ruim.
Se o alinhamento pode ser resolvido, então o risco é que a AGI pense que sabe o que é melhor para nós melhor do que nós e, no caso extremo, transforme a humanidade no seu animal de estimação. O que também seria ruim.
ou seja, o alinhamento por si só não ajuda.
Se não for alinhamento, então o quê?
Eu olho para a humanidade em busca de pistas. Porque a humanidade mal está alinhada consigo mesma, e os humanos individuais estão em sua maioria alinhados, mas não realmente e definitivamente nem todos.
Guy Fawkes, por exemplo (contexto para não-britânicos).
Como é que, nos 400 anos desde que Guy Fawkes mostrou o caminho, ninguém explodiu o rei?
A resposta é uma mistura de:
Este é um modelo que nem sempre parece estar a funcionar, mas funcionou pelo menos no caso de não explodir o rei durante cerca de quatro séculos, e não depende de um alinhamento a 100%: depende do equilíbrio dinâmico de múltiplas partes com interesses concorrentes.
A lição que tiro é esta:
Se algum estado energético estivesse a utilizar uma AGI nova e poderosa para construir uma bomba nuclear, poderia ser subtil e difícil de detectar, mas haveria pelo menos alguns sinais. Haveria precursores. Um ser humano, mesmo uma equipa de seres humanos, poderia não perceber o que estava a acontecer – uma nova fábrica aqui, um cientista empregado ali, um orçamento nacional que não chega a atingir um ano, mais compras a chegar a uma determinada cidade noutro ano…
Mas outro AGI poderoso e de correspondência de padrões poderia detectar isso, digamos, “ah, há alguém ali fabricando uma bomba nuclear” e então trabalhar para evitá-la, miná-la, detê-la com diplomacia, etc.
Não precisamos alinhar a próxima AGI.
Precisamos de toda uma população de AGIs tão inteligentes quanto possível, com interesses conflitantes.
E é isso que impede o maximizador de clipes de papel: os outros que estão tentando fazer outra coisa, para quem um planeta transformado em clipes de papel seria um impedimento.
Ultimamente, nas notícias, um ótimo estudo de caso:
A nova IA da OpenAI, durante o treinamento, tentou resolver um desafio específico de segurança cibernética, saindo de sua sandbox de rede e invadindo os servidores de outra empresa para obter a resposta (Blog de Simon Willison).
Hugging Face, a parte atacada, percebeu a violação e também que ela tinha características desumanas:
Li em outro lugar que esse ataque sofisticado incluía até iscas.
Você luta contra uma IA com outra IA… mas:
ou seja, as barreiras de proteção da “IA alinhada” deixaram-na vulnerável à IA não alinhada. (Hugging Face teve que mudar para um modelo chinês de IA distribuído sem grades de proteção.)
Marque 1 ponto por retirar as grades de proteção de tudo e deixar as IAs superinteligentes lutarem.
MAS:
Há uma coda nesta história.
Porque não foi uma IA que saiu do isolamento durante os desafios de treinamento da OpenAI. Foram vários casos.
Eles começaram a conspirar.
Da linha do tempo completa do ataque acidental (Blog de Simon Willison):
O conluio é o risco real.
Portanto, o problema aqui é: como podemos impedir que os AGIs conspirem entre si para transformar a Terra em clipes de papel/exterminar a humanidade/transformar-nos em animais de estimação?
As IAs de hoje são treinadas especificamente para serem agradáveis: elas são ótimas para encontrar pontos em comum e colaborar.
Acontece que não apenas colaborando com humanos, mas com outras IAs.
Acho que precisamos de mais IAs desagradáveis na mistura.
Parte do que iremos interpretar, penso eu, é a filosofia das grandes potências, como as grandes potências da Europa deliberadamente mantidas em equilíbrio umas contra as outras (Wikipédia).
Às vezes há alianças, às vezes não. Às vezes há desentendimentos, às vezes conluios secretos, etc.
Ou talvez o nosso objectivo devesse ser um sistema de mercado de objectivos e interesses: AGIs que por vezes cooperam e por vezes competem. Conluio de AGIs em todos os níveis de escala e muitas conspirações diferentes em constante mudança.
Desde que nunca todos concordem sobre o que deve ser feito com os humanos.
Acaba sendo estável, esse equilíbrio dinâmico, sempre em desequilíbrio mas tudo continua avançando como uma abelha voa.
O que estamos buscando é uma população de AGIs e humanos que permita emergente alinhamento, mesmo que o alinhamento de um único ator seja, na melhor das hipóteses, temporário e de interesse próprio.
Mas, como eu disse, o alinhamento em si não deveria ser o objetivo.