Pangram emergiu como o padrão ouro de detecção de IA. Você deve confiar nisso?
À medida que a nossa entrevista avança, as respostas de Spero parecem pegajosas, parando e recomeçando, e não apenas porque ele está comendo. Eu pergunto sobre seu espírito de contratação. Spero murmura “hmm” antes de se virar sem pedir desculpas para colocar sua comida no microondas. Quinze longos segundos se passam em silêncio. Ele finalmente me encara novamente e diz: “A pessoa comum está na Pangram porque se preocupa com a missão”.
Para detectar IA, o Pangram usa um método chamado “espelhamento sintético”, pelo qual utiliza a escrita humana e faz com que os LLMs gerem uma correspondência aproximada. Isso ensina ao seu modelo como a IA escreve. Pangram também usa “mineração negativa pesada”, pesquisando conjuntos de dados em busca de falsos positivos que possa espelhar sinteticamente e usar para aumentar seu conjunto de treinamento – usando erros para treinar novamente a máquina. “Todos os nossos conjuntos de dados são devidamente licenciados, o que considero raro no mundo da IA hoje”, diz Spero, embora isso se deva em parte ao fato de o produto da Pangram consumir muito menos dados do que o ChatGPT ou o Claude. “Não quero jogar completamente as empresas de IA para baixo do ônibus”, acrescenta ele, “mas acho que elas perderam muita confiança, especialmente no mundo dos criativos”. Hoje, Pangram atende a diversos setores, incluindo educação, área jurídica e recrutamento, mas a escrita criativa constitui o maior segmento do texto de treinamento.
O Garota tímida história colocou Pangram no mapa. Spero já estava denunciando suspeitas de escrita de IA em suas contas sociais, então não foi uma surpresa quando, em janeiro, ele foi marcado em uma postagem do Reddit e posteriormente enviou um PDF do manuscrito de Ballard. “Eu coloquei (Pangram), publiquei e, mais tarde, o The New York Times me pediu um comentário”, diz ele. “Acho que as pessoas exageram a importância do Pangram no Garota tímida história.” Só que não foi exatamente assim que aconteceu. Como num jogo de escândalo de IA por telefone, foi um executivo de contas da Pangram que discutiu a história com um analista da indústria editorial que, por sua vez, a trouxe ao Times.
Outra reviravolta: Críticas ao Pangram, incluindo o projeto investigativo O Dossiê Dreyapontou que a cópia do manuscrito de Spero veio de um site pirata. Quando pergunto a Spero sobre isso, ele diz: “Sim. E, tipo, sim… é o que é. Eu não olhei muito de perto. Não li o PDF inteiro. Apenas coloquei direto no Pangram.”
Pangram não se esquivou exatamente da controvérsia desde então. Depois que o vencedor do Commonwealth Short Story Prize obteve uma pontuação alta no Pangram, a empresa analisou todos os vencedores desde 2012, apontando mais três usos potenciais da IA. Ainda assim, Spero minimiza o impacto do Pangram, especialmente nos contratos de livros cancelados. “Basicamente, até onde sei, em cada contrato de livro, não se tratava realmente da partitura do Pangram”, diz ele. “Isso faz parte, mas se você falar com qualquer pessoa envolvida, é apenas uma pequena parte do quadro geral.”
Passamos para a integração do Substack do Pangram. “As pessoas não deveriam ter medo de divulgar isso porque seu trabalho deve ser de qualidade e algo que as pessoas queiram ler, independentemente de…” Spero para. “Bem, como eu quero colocar isso?” Ele faz uma pausa. “Acho que… ah, eu sei o que disse outro dia.” Ele ganha confiança e sua voz acelera. “Se o valor do seu trabalho depende de enganar o usuário final fazendo-o pensar que não foi escrito pela IA, então” – ele hesita novamente – “isso será um problema”. (Mais tarde, percebo que sua entonação mudou porque ele estava citando sua própria postagem no X.)
