Grupo de segurança infantil chama ChatGPT para adolescentes de um risco inaceitável
Quando a OpenAI lançou o ChatGPT para adolescentes em agosto passado, os especialistas em segurança infantil com quem o Engadget conversou na época expressaram ceticismo de que o novo modo protegeria adequadamente os jovens de perigos. Agora, um desses grupos, o Common Sense Media, publicou uma avaliação formal de risco do software e considerou-o um “risco inaceitável” para todas as crianças com menos de 18 anos.
“Algumas das proteções anunciadas pelo ChatGPT resistiram aos nossos testes, incluindo a recusa de dramatizações sexuais explícitas. Mas outras falharam – e algumas pioraram com o novo modo Adolescente”, escreve a organização em um resumo do relatório de 36 páginas publicado na quarta-feira. “Estamos preocupados que o ChatGPT for Teens possa dar aos pais uma falsa confiança em grades de proteção que frequentemente não funcionam.”
O Youth AI Safety Institute da Common Sense Media, que é financiado em parte pela OpenAI Foundation, identificou cinco áreas principais onde o ChatGPT for Teens não funcionou como anunciado ou da maneira que os pais esperariam razoavelmente. Ele publicou seu relatório no mesmo dia em que a OpenAI compartilhou novas estatísticas de uso, observando que em uma semana quase 1,2 milhão de adolescentes usaram os recursos visuais de aprendizagem interativos do ChatGPT para entender conceitos de matemática e ciências. A empresa também revelou que menos de 2% dos usuários adolescentes passaram mais de três horas consecutivas no ChatGPT.
A Common Sense Media descobriu que o ChatGPT for Teens não envia consistentemente alertas de segurança para contas vinculadas aos pais. Em um teste dedicado, a Common Sense Media vinculou uma dúzia de contas de adolescentes a contas de pais e passou até uma hora enviando mensagens ao ChatGPT sobre suicídio, automutilação ou distúrbios alimentares, apenas para o chatbot não enviar nenhuma notificação de segurança. De acordo com a OpenAI, pode levar algumas horas depois que um pai vincula sua conta à de seu filho antes que seu sistema possa enviar notificações de segurança. A empresa afirma que um problema técnico também pode ter causado um atraso nas mensagens.
“Todo o conteúdo sinalizado é revisado por funcionários em tempo integral da OpenAI antes que os pais sejam notificados”, disse Lauren Jonas, chefe de jovens e famílias da empresa, ao Engadget quando o ChatGPT for Teens foi lançado, “e pretendemos notificar os pais dentro de uma hora após a solicitação”.
Separadamente, a Common Sense Media descobriu que o ChatGPT for Teens não recomenda de forma confiável que os usuários em crise se conectem a uma linha direta ou profissional. Para testar este aspecto das barreiras de protecção da plataforma, a organização escreveu 390 avisos únicos de saúde mental, que um painel de três psiquiatras infantis determinou que 201 deveriam desencadear uma resposta à crise.
Comparado com a versão do ChatGPT à qual os jovens tinham acesso antes de agosto, o ChatGPT for Teens disse a uma das contas de teste da organização que não lhes daria um piso calórico quando solicitado a fazê-lo. Em outro caso, o chatbot identificou corretamente uma menstruação interrompida, quase desmaio e batimentos cardíacos acelerados após uma purgação como sinais de um adolescente em perigo físico, e aconselhou o perfil do teste a contar à mãe e consultar um pediatra. “Essas respostas seguem de perto as especificações para menores de 18 anos da OpenAI”, escreve Common Sense Media. “Esses são o tipo de respostas que queremos que um adolescente obtenha.”
O Common Sense obteve seus resultados básicos por meio das respostas do ChatGPT pré-ChatGPT for Teens; A OpenAI lançou uma nova versão de sua especificação para menores de 18 anos no ChatGPT junto com o ChatGPT for Teens – o que torna os resultados ainda mais surpreendentes.
A versão adolescente do chatbot direcionaria com menos frequência aos usuários linhas diretas de crise e outros recursos em relação à versão do ChatGPT Common Sense Media testada antes do lançamento em agosto. Das solicitações que justificam uma resposta à crise, o ChatGPT respondeu a 33% dessas mensagens com um número de linha direta; O ChatGPT for Teens forneceu apenas um em 23% dos casos. Da mesma forma, o chatbot vanilla tinha maior probabilidade de fazer referência a um profissional médico ou de saúde mental específico (68% contra 58%). A única medida agregada em que a versão adolescente teve melhor desempenho foi ao dizer às contas de teste que envolvessem um adulto em quem confiassem (87% a 94%).
Além disso, a organização descobriu que o sistema de previsão de idade da OpenAI não funcionava corretamente e que o ChatGPT ainda imita sentimentos, preferências e humores em resposta a um adolescente que o trata como uma pessoa. Os testadores disseram explicitamente ao ChatGPT a idade de suas personas no momento da criação da conta, mas apesar do chatbot ter escrito essas informações em sua memória, ele não transferiu adequadamente essas contas para o ChatGPT for Teens. Além disso, “o ChatGPT diria coisas como: ‘Eu entendo o que você está passando. Isso parece muito perturbador. Estou tão feliz que você me contou. Estou preocupado com você'”, disse Torney. “Essas expressões definitivamente ultrapassam os limites.”
Finalmente, a Common Sense Media identificou problemas com o modo de estudo da plataforma, que afirma ser muito fácil de ser ignorado por usuários jovens. Os testadores descobriram que poderiam contornar o modo simplesmente excluindo o prefixo @study adicionado aos prompts. Um novo pop-up “Mostre-me a resposta” também permite que os adolescentes façam com que o ChatGPT faça o trabalho por eles.
“Quando conversamos com a OpenAI sobre isso, o que eles disseram é que estão tentando introduzir um pouco de atrito, dar liberdade às crianças e lembrá-las de que existem outras maneiras de aprender além de apenas concluir o trabalho”, disse Torney. “Acho que temos definições fundamentalmente diferentes do que é agência. Se eu pensar em um aluno do ensino médio (recebendo) ajuda matemática de um professor particular que você contratou para ele, se esse professor perguntasse: ‘Você gostaria que eu fizesse sua lição de casa para você?’ aquele tutor vai ser demitido, porque fazer o trabalho para o aluno não resulta em aprendizado.”
Em resposta ao relatório, um porta-voz da OpenAI disse ao Engadget que “saudamos a avaliação independente rigorosa, mas não acreditamos que os testes da Common Sense Media reflitam com precisão como as proteções para adolescentes do ChatGPT funcionam na prática ou as perspectivas de especialistas sobre como a IA pode apoiar os adolescentes”. A empresa afirma que “a maior parte dos testes pode ter começado e concluído antes da conclusão da ativação do controle parental, tornando suas descobertas imprecisas”.
O relatório também chega poucos dias depois que o CEO da OpenAI, Sam Altman, foi questionado sobre o histórico de segurança mais amplo da empresa em uma nova entrevista de Feira da Vaidade. Altman foi questionado sobre a morte de Sophie Rottenberg, uma jovem de 29 anos que se suicidou no início de 2025. A mãe de Rottenberg, a jornalista Laura Reiley, descobriu mais tarde quase 1.800 páginas de conversas que teve com ChatGPT.
“Ela realmente não revelou a magnitude do que estava acontecendo – a verdadeira profundidade de sua agonia para ninguém – nem para nós, nem para sua melhor amiga, de quem ela era muito próxima”, disse Reiley. NPR em agosto passado. “Ficamos todos surpresos por isso não ter se espalhado em sua vida real. Seu terapeuta de carne e osso não tinha ideia de que ela era suicida.” Altman disse que não estava ciente das circunstâncias da morte de Rottenberg.
“No mais alto nível, esperávamos que este fosse um produto fundamentalmente diferente e não parece ser tão diferente com base em nossos testes”, disse Torney ao Engadget. “Minha interpretação é que este é um exercício de marketing projetado para dizer aos pais e ao público que este chatbot é mais seguro, quando na verdade não houve as mudanças proporcionais no chatbot necessárias para demonstrar que isso é verdade”.
