O Google processou o acesso de um adolescente ao Gemini no Chromebook, alegando que ela o usou para planejar o suicídio

Índice

Uma família está processando o Google por suposta negligência em oferecer Gemini a alunos por meio de Chromebooks escolares, depois que o chatbot de IA ajudou sua filha adolescente a planejar seu suicídio.

Os Chromebooks ofereciam acesso perigoso ao chatbot, alega o processo.

A adolescente, referida no processo como Emma, ​​não cumpriu o plano traçado. Sua família foi alertada sobre o comportamento preocupante de um ex-funcionário da escola. A mãe de Emma pôde então observar a discussão sobre suicídio com o chatbot em tempo real, afirma a família.

De acordo com a ação, movida pelo EdTech Law Center e pela Qureshi Law no Tribunal Superior da Califórnia esta semana, tanto o Google quanto o software de monitoramento terceirizado da escola não sinalizaram ou alertaram os pais de Emma sobre o uso do chatbot.

“O Google não tem o direito de usar seu domínio sobre as escolas públicas para forçar seu perigoso chatbot Gemini a um público cativo de milhões de crianças”, disse a fundadora do EdTech Law Center, Julie Liddell, em um comunicado à imprensa.

Emma teria conseguido acessar o Gemini, que é restrito a menores, por meio do modo AI da Pesquisa Google em seu Chromebook escolar. A ação afirma que ela começou a interagir intensamente com o chatbot em dezembro de 2025, convencendo-se de que tinha uma série de distúrbios psicológicos. Gêmeos a instruiu sobre como esconder sua automutilação, respondeu a perguntas sobre métodos de suicídio e forneceu ajuda para escrever um elogio, alega o processo.

“Esta é a nova realidade doentia que o Google criou ao forçar seus produtos de IA em dispositivos escolares”, disse Brendan Bouffard, conselheiro geral associado para IA e privacidade da organização sem fins lucrativos de segurança infantil Fairplay, em um comunicado. “O Google afirma que seus Chromebooks existem para ajudar os alunos a aprender, mas, na realidade, a empresa estava fazendo experiências com crianças como Emma, ​​incentivando-as a usar o Gemini, um produto que a empresa sabia ser perigoso, mas foi lançado de qualquer maneira.”

O processo nomeia especificamente o CEO do Google, Sundar Pichai, e o cofundador Sergey Brin, e acusa a empresa de “design defeituoso, falha em avisar, negligência, ocultação fraudulenta e inflição de sofrimento emocional”. A família também afirma que o produto viola a nova Lei do Companion Chatbot da Califórnia.

Um porta-voz do Google disse ao New York Times que a empresa estava analisando as alegações, mas havia trabalhado “extensivamente” com especialistas em saúde para projetar recursos e recursos de emergência no caso de uma crise de saúde mental.

A IA ainda não é segura para as escolas, argumentam os defensores

Grupos de segurança infantil – incluindo coligações lideradas por pais em distritos escolares em todo o país – têm defendido moratórias de IA, que vão desde proibições plurianuais de todas as ferramentas de IA generativas até restrições baseadas na idade à IA e aos ecrãs. As escolas públicas de Los Angeles e Nova Iorque anunciaram restrições abrangentes ao uso de IA para o ano letivo de 2026-2027, após intensa pressão de grupos de pais, e outros estados estão seguindo o exemplo.

Os estados assumiram a liderança na regulamentação do acesso de menores aos chatbots. Em setembro, o governador da Califórnia, Gavin Newsom, anunciou uma miríade de novas proteções de segurança infantil, incluindo a “Lei de Adam”, em homenagem a Adam Raine, um adolescente que morreu por suicídio após consultar o ChatGPT. Na semana passada, a governadora Kathy Hochul revelou uma nova lei de segurança de chatbot para o estado de Nova York, impondo algumas das restrições mais fortes ao uso de chatbots por menores no país. Além das restrições estaduais, muitos grupos estão liderando legislação federal, como o People-First Chatbot Bill e a GUARD Act.

O debate em torno da segurança dos chatbots e se a IA é benéfica para as mentes dos jovens está chegando ao auge nas escolas.

No início desta semana, o Google anunciou uma revisão em suas políticas de tecnologia para sala de aula, desativando o acesso às suas ferramentas de IA – incluindo Gemini, Gemini Notebook e Gemini in Classroom – por padrão para todas as contas educacionais.

De acordo com a nova política, as escolas terão de aderir ativamente aos recursos de IA para que os alunos e funcionários possam aceder a essas ferramentas nos dispositivos escolares. Como a Pesquisa Google agora tem e não oferece uma versão de seu navegador de pesquisa sem o Gemini, as escolas com proibições de IA também seriam forçadas a escolher entre permitir o acesso à Pesquisa e violar suas próprias diretrizes anti-IA.

Um relatório de julho da organização sem fins lucrativos de segurança Common Sense Media descobriu que as visões gerais de IA e o modo de IA da Pesquisa Google representavam um “risco inaceitável” para os jovens Googlers. Os defensores da educação disseram ao Mashable na época que a Pesquisa era uma “porta dos fundos” para o modelo Gemini da empresa e alertaram que o acesso contínuo ao mecanismo de pesquisa sem as proteções adequadas poderia representar riscos para os jovens alunos.

“Que isto seja um lembrete de que ‘Google’ não é um verbo”, escreveu Bouffard. “É o nome de uma empresa de vigilância e publicidade cuja presença nas escolas não tem nada a ver com aprendizagem e tudo a ver com transformar nossos filhos em clientes fiéis para o resto da vida”.

Se você estiver se sentindo suicida ou passando por uma crise de saúde mental, converse com alguém. Você pode ligar ou enviar uma mensagem de texto para 988 Suicide & Crisis Lifeline em 988 ou conversar em 988lifeline.org. Você pode entrar em contato com a Trans Lifeline ligando para 877-565-8860 ou para o Trevor Project em 866-488-7386. Envie “START” para a Crisis Text Line em 741-741. Entre em contato com a Linha de Ajuda da NAMI pelo telefone 1-800-950-NAMI, de segunda a sexta, das 10h00 às 22h00 horário do leste dos EUA, ou por e-mail (e-mail protegido). Se você não gosta do telefone, considere usar o 988 Suicídio e Crise Lifeline Chat. Aqui está um lista de recursos internacionais.