As novas leis de segurança infantil da Califórnia visam IA e empresas de mídia social

A assinatura do governador da Califórnia, Gavin Newsom, está agora em uma série de novas leis de tecnologia, incluindo uma dúzia de novos projetos de lei estaduais que visam mídias sociais e gigantes de IA.

Além de fortalecer as leis existentes de segurança infantil, os esforços mais recentes do estado para regular produtos de players como Meta e OpenAI incluem disposições que poderiam efetivamente proibir as redes sociais para crianças menores de 16 anos.

A medida política colocaria a Califórnia no mesmo nível de governos nacionais como a Austrália, que foi o primeiro a impedir o acesso de jovens utilizadores às redes sociais. Na prática, a lei revelou-se difícil de aplicar.

A tão esperada legislação de segurança infantil online surge num momento em que a indústria enfrenta uma pressão crescente para restringir a influência das Big Tech nas mentes dos jovens, incluindo algoritmos de redes sociais, chatbots de IA e tecnologias educacionais encontradas nas salas de aula.

“A segurança das nossas crianças merece estar no centro de todas as conversas sobre tecnologia. À medida que a inovação avança mais rapidamente, as nossas proteções devem acompanhar o ritmo”, disse Newsom num comunicado de imprensa.

Califórnia reprime redes sociais “viciantes”

Os principais projetos de lei, AB 1709 e AB 2, impõem restrições mais fortes às formas como os adolescentes podem interagir com as redes sociais. De acordo com a AB 1709, as plataformas de redes sociais não podem permitir que crianças menores de 16 anos acessem redes sociais com recursos prejudiciais. O projeto destaca especificamente elementos “viciantes”, como feeds personalizados e reprodução automática de vídeo.

As plataformas devem confirmar a idade dos utilizadores antes de oferecerem tais funcionalidades, uma medida que poderá estimular os apelos por ferramentas mais fortes de garantia de idade.

Com o AB 2 registrado, as plataformas também podem ser responsabilizadas financeiramente por danos infantis, variando de US$ 5.000 a US$ 1 milhão por criança.

A organização sem fins lucrativos de segurança infantil e patrocinadora de projetos de lei, Common Sense Media, aplaudiu a decisão de Newsom em um comunicado à imprensa. “Hoje é uma grande vitória para crianças e pais em toda a Califórnia”, escreveu a organização. “O ímpeto desta luta mudou, e mudou aqui, no estado natal das empresas de tecnologia.”

Pais de crianças que morreram por suicídio após uso extensivo de mídias sociais e chatbots se uniram em apoio à legislação, incluindo Julianna Arnold, diretora executiva da Parents RISE. “Somos gratos ao deputado Lowenthal não apenas por ouvir, mas por levar a sério a nossa experiência vivida e deixá-la moldar a legislação”, disse Arnold em comunicado à imprensa.

As plataformas podem depender mais fortemente de contas de adolescentes com restrição de idade à luz do novo regulamento. Estudos mostraram, no entanto, que os adolescentes muitas vezes encontram maneiras de desafiar as restrições de idade.

“Durante anos, a indústria tecnológica disse aos pais que a resposta é monitorizar mais de perto, estabelecer mais controlos parentais e, de alguma forma, acompanhar os produtos que estão em constante mudança”, disse Shelby Knox, Diretora de Campanhas de Segurança Online da ParentsTogether Action. “Mas os pais não podem controlar os projetos de plataformas projetadas para manter as crianças envolvidas”.

Newsom visa empresas de IA, apoiadas por empresas de IA?

Os desenvolvedores de IA têm pressionado a liderança da Califórnia nos últimos anos, em um esforço para conter os esforços de regulamentação propostos. Eles tiveram algum sucesso, incluindo o veto de Newsom a um projeto de lei semelhante sobre segurança infantil online no ano passado.

O CEO da OpenAI, Sam Altman, apelou diretamente a Newsom sobre o novo pacote legislativo na semana passada, de acordo com fontes internas, depois que os líderes da indústria pressionaram por um escopo cada vez mais restrito.

Mas nos últimos meses, mais empresas sinalizaram que se opõem menos veementemente às leis de segurança infantil do que antes, especialmente porque a maioria enfrenta agora batalhas judiciais cada vez mais árduas e pesadas sanções financeiras. Um funcionário da Meta aludiu recentemente à aprovação da Lei de Segurança Online para Crianças para evitar litígios em andamento. E a OpenAI mais tarde se pronunciou a favor da legislação de IA proposta pela Califórnia.

Em meio a esse debate, Newsom sancionou a lei SB 1179, também conhecida como Lei de Adam, que tenta impor requisitos de segurança mais rígidos para empresas de IA. A legislação foi nomeada em homenagem a Adam Raine, um jovem adolescente que morreu por suicídio após consultar o ChatGPT. Os pais de Raine entraram com o primeiro processo por homicídio culposo contra uma empresa de IA por suposto comportamento prejudicial de chatbot.

A Lei de Adam exige que os desenvolvedores de chatbots complementares conduzam e publiquem avaliações anuais de risco de segurança infantil e submetam seus produtos a auditorias independentes. Os desenvolvedores também devem criar processos de resposta a crises para chatbots. Muitas empresas já possuem medidas de segurança em vigor, mas as proteções falharam consistentemente em prevenir totalmente o comportamento do chatbot prejudicial aos adolescentes.

“Ainda não nos adaptamos à vida sem Adam, mas estamos satisfeitos que um elemento de seu legado seja ajudar a tornar os chatbots de IA mais seguros para menores”, disseram os pais de Raine, Matt e Maria Raine, em comunicado à imprensa. “Acreditamos que os riscos da companhia não regulamentada de IA estão no mesmo nível de outros riscos de IA mais discutidos, e estamos confiantes de que a Lei de Adam salvará vidas e evitará outros danos.”

Outro projeto de lei expande a definição estadual de “exploração sexual infantil” para incluir “qualquer assunto alterado digitalmente ou gerado por IA que retrate uma pessoa menor de 18 anos envolvida em um ato de conduta sexual”.

Os brinquedos infantis com chatbots integrados, que suscitaram preocupação por parte dos defensores da segurança, são agora proibidos na Califórnia sob o SB 867.

Novos regulamentos de privacidade irão adicionar maiores restrições ao uso de dados de alunos em sistemas de IA implantados em escolas de ensino fundamental e médio. Algumas cidades estão proibindo totalmente a IA nas salas de aula do ensino fundamental e médio.

Grupos de privacidade ainda estão preocupados com os efeitos posteriores

Embora as organizações de segurança infantil celebrem uma vitória num esforço de anos para aprovar projetos de lei como o AB 1709, os grupos da sociedade civil continuam preocupados com as suas implicações na liberdade de expressão.

A Electronic Frontier Foundation chamou o AB 1709 de uma “peça legislativa bem-intencionada, mas profundamente falha” e um “pesadelo massivo de privacidade e liberdade de expressão”. No mês passado, a organização instou Newsom a vetar a medida até que as preocupações com a censura fossem devidamente resolvidas.

Em vez de nos concentrarmos nas proibições, escreveu a organização num comunicado de imprensa de 10 de setembro, “deveríamos redobrar os nossos esforços para acertar as leis tecnológicas – e apoiar a aprovação de novas leis robustas de privacidade que visem modelos de negócios de vigilância.

As novas leis da Califórnia devem entrar em vigor no próximo ano.