As qualidades filipinas de que precisamos para construir tecnologias linguísticas de classe mundial

EU deu uma palestra na Analytics & AI Association of the Philippines (AAP) sobre o tema avaliação do modelo de linguagem filipina (Slides), especificamente no FilBench.
^{O objetivo do encontro era realmente descobrir (1) se poderíamos construir um “LLM filipino” e (2) o que isso implicaria. Tive alguma experiência na construção de modelos de linguagem aberta em meu trabalho anterior, e minha pesquisa sobre multilinguismo está diretamente relacionada, então pude compartilhar meus pensamentos e experiências.}

Para prefaciar: a resposta à pergunta “podemos realmente construir LLMs centrados nas Filipinas?” é definitivamente SIM. As ferramentas são de código aberto, as receitas estão disponíveis publicamente e há definitivamente muito talento. No entanto, os desafios são duplos:

1. Construindo LLMs centrados nas Filipinas não implica a aplicação de abordagens do Vale do Silício aos nossos contextos locais. A diferença de capital é vasta e o ecossistema é diferente. É melhor analisar como os nossos vizinhos (geográfica e economicamente) estão a fazer isso, como a Malásia ou a África.

2. Descobrir as necessidades reais é fundamental para evitar que o projeto se torne um exercício de treinamento de vaidade. Se o caso de uso puder ser resolvido no próximo lançamento do ChatGPT ou Claude, talvez não valha a pena ir mais fundo do que a camada do aplicativo.

   Recentemente, tem-se falado muito sobre a manutenção da propriedade de todo o pipeline de desenvolvimento do LM, daí a proliferação de LLMs soberanos. É uma motivação comum, mas ainda não sou versado neste assunto. A questão é: estamos construindo isso para atender a uma necessidade comercial? Para incluir mais línguas filipinas? Possuir a pilha de desenvolvimento LM?

Então, podemos construir LLMs centrados nas Filipinas e contribuir com tecnologias de classe mundial? Minha resposta é SIMporque nós, filipinos, temos o qualidades e valores únicos para fazer isso.

O próximo passo é fornecer um ambiente onde essas qualidades possam florescer. Essas qualidades são: Estratégia, Diligência e Perseverançae heróico. Deixe-me explicá-los nas seções a seguir.

Podemos construir LLMs centrados nas Filipinas e contribuir com tecnologias linguísticas de classe mundial porque temos as qualidades únicas para fazê-lo: Diskarte, Sipag em Tiyaga e Bayanihan. O desafio então é criar um ambiente que permita que essas qualidades floresçam.

Os slides abaixo foram retirados dos comentários finais da minha palestra (cerca de 75% da palestra é sobre FilBench), mas o texto não os mapeia individualmente. Pense nesta postagem do blog como uma versão estendida dos slides de encerramento.

Diskarte – alcançar um objetivo sob restrições extremas

Após a 2ª Guerra Mundial, vários caminhões Willys MB do Exército dos EUA foram deixados nas Filipinas quando as tropas americanas deixaram o país. Houve escassez de transporte público devido à destruição de infra-estruturas e, por isso, começámos a desmontar estes camiões e a alterá-los para adicionar telhados metálicos e várias pinturas e ornamentos. Mais tarde, este se tornou o jeepney ou jipe, que hoje é nosso ícone cultural e o atual meio de transporte.
^{Diskarte é difícil de traduzir para o inglês porque pode significar muitas coisas: desenvoltura, engenhosidade, pensamento criativo, etc. Existe um belo artigo que fala longamente sobre isso e encorajo qualquer pessoa a lê-lo. Pessoalmente, vejo o diskarte como a capacidade de atingir um objetivo sob restrições extremas.}

A melhor forma de inovar é semelhante à forma como abordámos o jeepney: pegar estas inovações do Norte Global e adaptá-las aos nossos contextos locais através da engenhosidade e da desenvoltura.

Eu defendo que A melhor maneira de inovar é semelhante à forma como abordamos o jeepney: pegar estas inovações do Norte Global e adaptá-las aos nossos contextos locais através de engenhosidade e desenvoltura. Simplesmente importar as abordagens do Vale do Silício não é suficiente. Escrevi longamente sobre isso em um artigo de pesquisa recente, mas uma abordagem que estou explorando atualmente é a geração cuidadosa de dados sintéticos para resolver a falta de dados de treinamento. Dados sintéticos são agora uma abordagem comum no treinamento de modelos de linguagens de fronteira, mas acredito que podemos retirá-los e, semelhante ao jeepney, adicionar alguns ornamentos/ajustes para fazê-los funcionar para linguagens de poucos recursos. Recomendo que você leia o documento da pesquisa, pois menciono caminhos potenciais para melhorias, como a criação de modelos de linguagem pequena para tarefas específicas, a implantação de modelos na borda e a melhoria dos recursos de um modelo por meio de um conjunto robusto de equipamentos.

Dito isto, o cenário da PNL nas Filipinas é limitado em termos de dados e computação. Embora haja uma presença significativa de falantes de filipino e a língua esteja bem representada na Internet, poucos transformaram este recurso em conjuntos de dados úteis e de alta qualidade. Esta situação é ainda mais pronunciada para outras línguas filipinas. Além disso, nossa situação computacional (tanto para desenvolvimento quanto para implantação) deixa muito a desejar. Falta-nos a infraestrutura computacional para treinar LLMs (Epoch AI Data on GPU Clusters, 2026), e a nossa penetração da Internet e da tecnologia está aquém da dos nossos vizinhos da ASEAN (dados da UIT baseados no Banco Mundial).

Diligência e Perseverança – apoiando o esforço sustentado ao longo do tempo

Existe um ditado famoso: “Pag may tiyaga, may nilaga”. Talvez a tradução mais próxima que eu possa fazer para o inglês seja: “Se a paciência for verdadeira, você vai conseguir um ensopado”.
^{Eu diria que a maioria dos componentes de uma receita de modelagem de linguagem (especialmente no pós-treinamento multilíngue) são mais um teste de paciência do que lampejos de insights: coletar dados suficientes por meio de anotações ou sínteses em grande escala, descobrir a combinação correta de dados em muitas ablações e garantir que as avaliações reflitam fielmente as capacidades que nos interessam. Como, então, podemos apoiar este tipo de atividades?}

A maioria dos componentes de uma receita de modelagem de linguagem (especialmente no pós-treinamento multilíngue) são mais um teste de paciência do que lampejos de insight.

Pelo lado positivo, sinto-me bastante otimista em relação a algumas das equipes espalhadas pelo governo e pela academia. Por exemplo, o E-CAIR construiu sistemas específicos para tarefas, e tenho visto alguns de seus membros publicando em *CL e ICML! Também conheci algumas pessoas da AIM no ano passado em Viena, na ACL, então há bons investimentos acontecendo lá também. E conversei com alguns grupos de teses de graduação na UST e PUP (e ainda recebo e-mails ocasionais sobre calamanCy), então há claramente uma rede frouxa de grupos trabalhando à margem. O que estou tentando dizer é que há talentos aqui dispostos a fazer as partes difíceis – é apenas uma questão de coordenar e alinhar esses esforços.

Gostaria de propor duas dimensões sobre como apoiar estas atividades: infraestrutura e incentivos. A infraestrutura aqui pode assumir duas formas: calcular subsídios que dão às pessoas espaço para experimentar, e governança estruturas com um decisor central para manter os esforços coordenados. O primeiro é bastante autoexplicativo. Mas acho que o segundo é muito mais importante.

Por exemplo, é é muito difícil encontrar qual é a estratégia canônica de IA nacional para as Filipinas. O AI Policy Navigator da OCDE e a UNESCO apontam para o NAISR v2, que é do DTI, mas o site diz que foi substituído por outro Roteiro de Estratégia de IA das Filipinas, do DOST. Agora, o único roteiro relacionado ao DOST que posso encontrar é esta apresentação de slides, mas não pode ser isso, certo?

Bayanihan – ação coletiva para atingir um objetivo

Sempre achei as imagens de bayanihan inspiradoras. Hoje em dia é incomum porque a maioria das casas são feitas de concreto, mas o espírito de bayanihan ainda vive: lembro-me de quando estávamos no ensino médio, quando tínhamos a Brigada Eskwela e nos reuníamos (meus colegas de classe, professores e até mesmo pais) para limpar salas de aula, ou até mesmo os pacotes de ajuda humanitária que reunimos para as vítimas do tufão Yolanda na faculdade. Gostaria de pensar que isso é possível no contexto do desenvolvimento do LLM.

Para que tal rede funcione, ela deve estar focada em um único objetivo, muito parecido com o imaginário de bayanihan, onde o único objetivo é mover uma casa de um lugar para outro.

Escrevi sobre isso no ano passado e ainda acredito na capacidade das redes de base. Tentámos construir uma pequena rede de investigação no início deste ano e, embora tenha sido um início lento, com alguns contratempos ao longo do caminho, sinto-me optimista quanto ao que poderemos alcançar a seguir.

Contudo, para que tal rede funcione, tem que ser focado em um único objetivomuito parecido com o imaginário de bayanihan, onde o único objetivo é mover uma casa de um lugar para outro. O desafio das redes flexíveis é que todos têm as suas próprias prioridades e interesses, pelo que o esforço se difunde. Mais uma vez, quero enfatizar que é importante focar em um objetivo único e mensurável. Na minha opinião, o projeto deve ter um escopo bem definido, ser de curto prazo e projetado para que os nós possam contribuir e fazer contribuições imediatas sempre que desejarem. Ainda tenho muito que aprender sobre como gerenciar esse tipo de rede, então se você já fez isso antes e gostaria de bater um papo, entre em contato!

Para que as redes de base sejam multissectoriais, tem de haver uma forma de alinhar incentivos diversos e muitas vezes contraditórios. No meio académico, por exemplo, há pressão para garantir bolsas e publicações (o que, na ciência da computação, significa publicar nas principais conferências e revistas). A indústria, por outro lado, tende a preferir implantações com muita engenharia e específicas ao contexto. Como estudante de doutorado, acho que Industry Tracks em conferências são um bom caminho para essas parcerias: o aluno trabalha em um projeto concreto e pode até escrever um artigo sobre ele. Finalmente, o envolvimento entre sectores não tem de ser profundo em todos os lados. Poderia ser uma configuração doador-receptor onde, por exemplo, o governo fornece a definição do problema, a indústria fornece os recursos e a academia fornece o rigor científico para atingir o objectivo.

Considerações finais e reflexões

Se quisermos construir modelos linguísticos centrados no filipino, precisamos construí-los do nosso jeito. Isto implica adaptar inovações de outras partes do mundo aos nossos contextos e restrições locais, em vez de simplesmente importá-las. (estratégia)criando estruturas de governança e incentivos que apoiem o trabalho experimental de longo prazo (diligência e perseverança)e construir redes de base em torno de um objetivo compartilhado e bem definido (heróico).

Para tornar isto concreto: um bom objectivo seria formar LMs centrados nas Filipinas que abrangessem as principais línguas do país (Tagalo, Cebuano, Ilokano, Hiligaynon, Bikol, Kapampangan). A abordagem mais razoável é pós-treinar em um modelo de base multilíngue forte e, em seguida, avaliar em uma nova versão do FilBench onde todos esses idiomas estejam bem representados. A primeira grande restrição são os dados, por isso precisamos obtê-los por meio de scraping, anotação de falante nativo ou geração de dados sintéticos (estratégia). A segunda é a computação e o financiamento, que exige parcerias com a indústria ou organizações dispostas a subscrevê-los (herói). Finalmente, grande parte deste trabalho exige experimentação sustentada, ablações de dados e pessoas dispostas a levá-lo até o fim (diligência e perseverança).

Como já disse, as ferramentas e receitas estão disponíveis publicamente e acredito verdadeiramente que temos as qualidades para fazê-las funcionar. A bola simplesmente precisa rolar.