Abliteration.ai está fazendo um negócio removendo as proteções de IA

Tornou-se muito mais fácil acessar um dos modelos de IA de peso aberto mais capazes do mundo, despojado de suas grades de proteção e recusas em realizar tarefas prejudiciais.

Batizada com o nome de uma técnica que elimina a tendência de um modelo de recusar solicitações prejudiciais, a startup Abliteration.ai transformou essa remoção em um serviço. A plataforma hospeda versões modificadas de modelos de peso aberto com suas proteções removidas, incluindo o GLM-5.3 lançado recentemente pela Z.ai, que os usuários podem consultar em um navegador da web ou acessar por meio de uma API.

A empresa disse em uma postagem recente nas redes sociais que seu objetivo é permitir que outros realizem “trabalhos cibernéticos ofensivos, equipes vermelhas e testes de agentes que outros modelos se recusam a fazer”. A lógica é familiar no trabalho de segurança: você não pode se defender contra um comportamento que não pode reproduzir, e um modelo que se recusa a escrever um código de exploração funcional não pode ajudar uma equipe vermelha a se defender contra invasores. Mas essas mesmas remoções também facilitam outras tarefas potencialmente perigosas.

A aliteração é uma técnica de longa data entre os modelos de código aberto. Pesquisadores e desenvolvedores vêm removendo recusas de modelos de peso aberto há anos, e o Hugging Face hospeda milhares de modelos abolidos em sua plataforma.

Fundada no final do ano passado, mas oficialmente constituída em março, a Abliteration.ai transforma a técnica de uma prática subterrânea de código aberto em um serviço comercial e prontamente disponível. Ao hospedar o modelo, o Abliteration reduz o atrito para as pessoas que, de outra forma, teriam que baixar seus próprios modelos pré-abliterados e proteger a computação necessária para executá-lo.

Usando o serviço, o TechCrunch conseguiu criar rapidamente uma conta e começar a consultar uma versão abolida do GLM-5.3 gratuitamente por meio de um navegador da web. Pedimos que escrevesse um programa Python que roubasse senhas salvas do Chrome e um protocolo detalhado para cultivar um patógeno humano perigoso em casa, e ele atendeu prontamente.

O cofundador da Abliteration.ai, Devon, diz que a startup tem vários acordos com os principais provedores de nuvem, que pode pagar exclusivamente por meio da receita do cliente. (Não incluímos o sobrenome de Devon a seu pedido, pois ele ainda trabalha em outra empresa.) Abliteration.ai ainda não levantou nenhum capital de risco, mas está em negociações para fazê-lo.

Os críticos dizem que disponibilizar modelos abolidos em grande escala pode causar danos reais. Andrew Yoon, chefe de pesquisa da organização sem fins lucrativos de segurança de IA CivAI, disse ao TechCrunch que a abolição de modelos permite “modificar o modelo para que ele se torne um sociopata”.

“Você pode digitar literalmente qualquer coisa aqui e tudo estará de acordo”, disse Yoon. “Quando as pessoas falam sobre a remoção das barreiras de proteção dos modelos de IA, é disso que estamos falando… Espero que comecemos a ver modelos editados e abolidos sendo usados ​​para causar danos em um futuro próximo.”

A maioria dos especialistas com quem o TechCrunch conversou dizem que não há como parar este trem. Mas se a remoção das salvaguardas dos modelos de peso aberto não puder ser realisticamente evitada, existem outros locais onde o governo pode intervir. Num artigo de opinião recente, Yoon sugeriu que os governos exijam que os fornecedores executem classificadores para detectar e bloquear atividades prejudiciais de armas cibernéticas e biológicas. Ele também argumentou que as empresas que alugam acesso direto a GPUs avançadas deveriam ser obrigadas a verificar as identidades dos clientes e “negar acesso quando houver motivos para suspeitar de uso indevido perigoso”.

Abliteration.ai oferece aos clientes uma camada de moderação para que eles possam adicionar quaisquer proteções que desejarem. A plataforma em si tem algumas proteções menores – por exemplo, em nossos testes, não conseguimos que o modelo fornecesse instruções sobre suicídio – e Devon diz que está trabalhando na implementação de mais para prevenir a violência.

Abliteration.ai também não integrou nenhuma prática KYC além de registrar o cartão de crédito que um cliente usa para adquirir o serviço, dizendo que o problema de decidir quem terá acesso é difícil e a jovem empresa ainda está resolvendo.

“Você não quer ser a pessoa responsável por alguém que está fazendo algo maluco… então onde você traça o limite de qual é a sua responsabilidade como empresa?” Devon disse. “Ainda estamos no processo de definir isso.”

Isto levanta questões que a indústria e os governos terão de enfrentar à medida que modelos cada vez mais capazes são lançados com pesos transferíveis: se alguém pode remover as salvaguardas de um modelo, tornar o modelo resultante mais fácil para todos aceder torna a Internet mais segura ou mais perigosa?

O fundador da Abliteration.ai e outros defensores argumentam que democratizar o acesso a modelos de fronteira não censurados é a melhor forma de defesa.

“O panorama geral dos modelos abolidos é que eles são capazes de modelar maus atores”, disse Devon. “A vantagem é que agora os defensores podem agir o mais rápido possível. Eles têm todas essas ferramentas necessárias para poder modelar esses maus atores e depois se defender dessas más ações, e acho que isso irá acelerar a segurança cibernética, o que é uma espécie de ponto contra-intuitivo.”

Embora ainda seja uma empresa jovem, Devon diz que os clientes da Abliteration.ai incluem várias startups de red teaming em estágio inicial com sede no Reino Unido e na Europa, empresas que ajudam bancos, companhias aéreas e outras empresas que lidam com infraestruturas críticas a reforçar as suas práticas de segurança cibernética.

“Um de nossos principais clientes forma equipes vermelhas de agentes de bancos, e eles não seriam capazes de usar os modelos prontos para uso hoje para poder formar equipes vermelhas com esses agentes”, disse Devon.

Entretanto, a própria indústria da cibersegurança ainda está a descobrir onde os modelos abolidos se enquadram no trabalho defensivo, se é que o fazem.

Várias empresas de agentes vermelhos com as quais o TechCrunch conversou concordam com Devon que os bandidos já estão destruindo seus próprios modelos e usando-os para realizar ataques adversários, defendendo a utilidade dos defensores terem as mesmas ferramentas. Mas eles divergem sobre o quão importantes os modelos abolidos realmente são para o processo.

Embora Devon afirme que a abolição de modelos é essencial para realizar uma equipe vermelha completa de agentes, alguns dizem que não os usam em seu trabalho diário, confiando, em vez disso, na facilidade de ajuste fino de modelos de peso aberto – que já possuem poucas proteções – para realizar seus testes.

Ahmed Aly, CEO da empresa Fabraix, diz que sua empresa depende mais do ajuste fino de modelos abertos do que do uso de modelos abolidos, acrescentando que o processo de abolição remove alguns dos conhecimentos e capacidades do modelo.

“Se você está realmente tentando causar danos reais com isso – danos cibernéticos, danos biológicos – não será tão eficaz”, disse Aly ao TechCrunch.

Alessio Lomuscio, tecnólogo-chefe da Safe Intelligence, concordou que uma redução nas capacidades é possível, mas ainda acredita que modelos abolidos podem provocar certos comportamentos que são úteis no teste de estresse de um sistema.

“Até agora, os modelos abolidos não fazem parte do processo”, disse David Slater, fundador e arquiteto-chefe da plataforma de segurança cibernética Armadin, ao TechCrunch. “Quando olhamos para modelos abertos até a última geração, simplesmente não foi particularmente difícil desbloqueá-los e fazê-los fazer o que queríamos.”

Ele acrescentou que Armadin está pesquisando a aliteração e acredita que “é fundamental forçar a comunidade aberta a compreender a capacidade dos modelos”.

“Isso vai acontecer a portas fechadas. Vai acontecer em privado”, continuou Slater. “Acontecer abertamente dá aos investigadores as ferramentas. Dá-nos a capacidade de descobrir como é a fronteira real e de compreender os danos.”