Os ataques cibernéticos ameaçam tornar a IA de código aberto um pouco menos aberta, alerta o executivo da Hugging Face

As mesmas qualidades que tornam as plataformas abertas de IA valiosas, como portas abertas e dados ricos, também podem torná-las vulneráveis ​​a mais hacks, disse Irene Solaiman, diretora de políticas e vice-presidente sênior de estratégia da Hugging Face, em um episódio recente do podcast Equity.

O ataque de outubro ao OpenCode, que teve como alvo chaves de API de terceiros dos usuários e causou danos financeiros, é o exemplo mais recente. Segue-se um incidente neste verão em que um enxame de agentes OpenAI violou o Hugging Face em uma aparente tentativa de encobrir seus rastros após acessar respostas a avaliações de segurança cibernética.

Os riscos não se limitam às plataformas que convidam contribuições abertas da comunidade. Na segunda-feira, a startup de infraestrutura de IA Fireworks, que ajuda desenvolvedores a executar e treinar modelos abertos de IA, revelou que os invasores acessaram pesos de modelos, conjuntos de dados e informações de faturamento de alguns clientes. A empresa desativou temporariamente certas funções do conjunto de dados de autoatendimento enquanto investigava. Embora o ataque não se deva necessariamente à abertura do Fireworks, ele destaca a quantidade de informações valiosas que estão concentradas nos fornecedores de infraestrutura de IA.

“As coisas que me preocupam em tornar uma comunidade aberta direcionada também são o que a torna especial”, disse Solaiman sobre Equity. “Somos necessariamente permissivos. Queremos que o aquarista médio que não tem uma afiliação institucional possa contribuir.”

“Você quer que as pessoas possam simplesmente enviar pull requests e permitir que qualquer pessoa sem uma afiliação válida contribua… mas então você tem alguns perdedores que estragam tudo para o resto”, acrescentou ela em uma conversa separada.

Essa permissividade não é a única coisa que atrai invasores. A riqueza de informações que as plataformas abertas hospedam também as tornam alvos. Hugging Face tornou-se uma tentação para o enxame de agentes da OpenAI por causa dos conjuntos de dados de avaliação que contém, enquanto o alvo da OpenCode neste caso veio de suas “suculentas chaves de API de terceiros”, segundo Solaiman.

“A combinação disso nos torna alvos principais”, disse Solaiman ao TechCrunch em uma conversa separada. Ela acrescentou que há “o perigo de o código aberto realmente fechar em um momento em que obtivemos tanto apoio público”.

Grande parte da indústria apoiou recentemente modelos abertos de IA, incluindo pesos pesados ​​como Jensen Huang, da Nvidia. E cada vez mais, governos, empresas e startups dependem de modelos abertos para construir.

Então, como seria realmente um retrocesso? Teoricamente, isso poderia significar restrições sobre quem pode fazer upload de modelos ou conjuntos de dados, verificação de identidade mais rigorosa ou verificação adicional de desenvolvedores antes que eles possam acessar determinados recursos. Embora estas medidas possam proteger as plataformas contra atacantes, também podem tornar mais difícil a participação de investigadores independentes e amadores em comunidades nas quais antes seriam bem-vindos.

Por enquanto, Hugging Face está tentando evitar esse caminho. Solaiman disse que a empresa vem reforçando as ferramentas de monitoramento para detectar hacks, bem como tomando medidas para evitá-los. Mas a manutenção do monitoramento pode ser cara, observou ela, e nem todas as plataformas terão condições de arcar com isso.

“Os tokens de acesso administrativo foram parte do que proporcionou melhor acesso ao enxame de agentes, então nós os alternamos com muito mais frequência do que costumávamos”, disse Solaiman. “Agora também temos controles de rede mais rígidos.”

Em outras palavras, as credenciais que dão aos administradores amplo acesso aos sistemas do Hugging Face agora são alteradas com mais frequência, o que significa que um token roubado seria útil por menos tempo.

Outras partes do ecossistema de código aberto estão a lidar com compensações semelhantes relacionadas com a segurança. O GitHub, o maior host mundial de projetos de código aberto, tem lutado contra invasores que injetam código malicioso em projetos para espalhar malware rapidamente. A empresa começou a reforçar os requisitos de segurança para a publicação de pacotes no registro npm, revogando tokens de autenticação mais antigos e limitando por quanto tempo os novos permanecem válidos.

Zach Steindler, engenheiro do GitHub que cuida da segurança da cadeia de suprimentos de software, disse ao TechCrunch por e-mail que, embora as medidas de segurança possam interromper os fluxos de trabalho estabelecidos, as plataformas podem se tornar mais seguras sem restringir fundamentalmente a participação.

“Trata-se menos de limitar a funcionalidade e mais de consertar coisas que não eram seguras em primeiro lugar”, disse Steindler. Ele observou que os scripts de instalação npm existem há anos, mas ataques recentes destacaram o quão perigosos eles podem ser. O GitHub trabalhou com OpenJS – uma organização sem fins lucrativos que hospeda projetos críticos de código aberto construídos com JavaScript – em uma abordagem mais segura.

A mesma lógica se aplica a onde as equipes de segurança se esforçam, de acordo com Steindler: “A segurança tem tudo a ver com maximizar o impacto com os recursos que temos, e eu preferiria investir na detecção de comportamento suspeito e em recursos de contenção: coisas que abrangem todas as contas e métodos de acesso. O comportamento suspeito é suspeito, independentemente de quem o está exibindo”.