Usando computação local (IA) para reduzir a dependência de modelos de fronteira
Grande parte da conversa atual sobre IA pressupõe que IA “útil” significa conseguir que um agente faça tudo por você. Existem algumas tarefas onde isso faz faz muito sentido – se bem feito – mas há muitas razões pelas quais esta não é a melhor opção.
Se eu quiser extrair e desduplicar uma coleção de listas de URLs de mapas de sites XML, você não precisa de um modelo de fronteira.
O que é melhor é ter um analisador XML e um script de desduplicação – por exemplo – algo barato para codificar (vibrar), executar e, em última análise, ser previsível.
Em SEO/GEO/AEO, existem tarefas em que um certo grau de interpretação é útil, mas enviar todas as solicitações para um grande modelo remoto não é necessário ou mesmo é a melhor opção.
Quando eu estava experimentando o Exactly Matchy (que ajuda você a entender se seu conteúdo pode ser recuperado por sistemas de IA), eu queria algo que as pessoas pudessem executar sem precisar lidar com APIs, cartões de crédito ou problemas em geral. Eu sabia que o Chrome tem uma versão do Gemini Nano (um modelo minúsculo, baixado quando necessário) e queria aproveitar isso para realizar tarefas simples para você.
O objetivo não era argumentar que um pequeno modelo local poderia substituir um modelo muito maior (realmente não pode, no caso de muitos). Era para explorar uma questão mais interessante: Quanto trabalho útil podemos aproximar do usuário?
Como o local se compara ao ChatGPT ou Claude?
Executar IA localmente é onde usamos nosso próprio hardware (telefone, computador, laptop) para fazer o trabalho de computação sem enviá-lo para outro lugar para ser processado.
Usar ChatGPT ou Claude é simples – e muitas vezes de uso gratuito – mas tem desvantagens:
- Uso intensivo de recursos (data centers, uso de água, etc.).
- Caro (e ficará mais caro).
- Levanta questões sobre privacidade de dados.
- Coloca um ponto de falha que você não pode controlar.
A execução da maioria dos LLMs (modelos) envolve um grau de complexidade E muitas vezes uma máquina poderosa capaz de executar o modelo selecionado. Mas qual modelo você seleciona e como saber para que serve o hardware? Estas são questões complicadas e importantes.
Mesmo depois de passar por todo esse trabalho, se você espera uma experiência semelhante à de Claude, provavelmente ficará frustrado porque ainda não estará à altura.
E se algum pequeno trabalho puder ser feito localmente?
Mas uma ‘tarefa pequena’ não significa necessariamente uma tarefa fácil
Essa jornada ajudou a realmente mostrar a diferença entre tarefas pequenas e simples. O Exactly Matchy apenas seleciona passagens de uma página com base em uma solicitação realmente simples e elimina alguns atritos para o usuário.
Ramificando para construir algo novo e útil
Decidi ver se ele poderia realizar pequenas tarefas para ajudar alguém a entender os problemas técnicos de SEO/GEO e se eles eram um problema real ou não. Em vez de apenas uma caixa de seleção técnica que muitas vezes leva a conclusões erradas.
Imagine uma extensão do Chrome que auxilia no SEO técnico, mas mais útil. Existem algumas extensões excelentes do Chrome que fazem coisas relativamente simples, muito bem. Mas será que a IA pode ajudar nessas pequenas tarefas para torná-lo mais eficaz? Nano seria capaz de lidar com isso?
Por exemplo, comparar o HTML bruto com o DOM renderizado produz uma quantidade relativamente pequena de evidências. Com bastante planejamento e processamento determinístico, é possível então apresentar essas informações a um modelo.
Qualquer SEO experiente consideraria esses dados cruciais para entender se a diferença entre bruto/renderizado é realmente um problema ou não. A MAIORIA das ferramentas de SEO faz um péssimo trabalho ao ajudar as pessoas a determinar isso sem que elas façam o trabalho duro!
E se entregássemos esses dados ao Gemini Nano, poderíamos deixar que ele tomasse essa decisão por nós? Infelizmente não… Este tipo de tomada de decisão não é um problema de raciocínio fácil; parece fácil, mas não é simples.
O modelo ainda precisa entender o que essa evidência significa. Tem de respeitar os factos (ou seja, não entrar em conflito com eles), combinar múltiplos sinais e evitar inventar informações ou razões que nem sequer estejam presentes. Então ele precisa tomar uma decisão precisa com base nisso.
Gemini Nano é um modelo intencionalmente pequeno e rápido e depois quantizado para caber no Chrome sem desacelerar as coisas. É intencionalmente assim, o que não é ideal para o que eu estava tentando alcançar.
Nos testes, o Nano foi útil em alguns tarefas, mas não é confiável para fazer o julgamento final em que você realmente poderia confiar. Um modelo de API mais forte (ChatGPT ou Gemini) lidou consideravelmente melhor com as mesmas evidências. Quando forneci os detalhes determinísticos (ou seja, os atributos do link acima), ele fez uma muito forte trabalho em raciocinar para você.
Isso é uma falha da IA local? Talvez – fiquei um pouco decepcionado, se não totalmente surpreso – mas isso foi muito útil como uma lição de arquitetura para esse tipo de problema.
Lição principal: coloque o trabalho certo no lugar certo
Ao longo deste processo, a nova extensão foi gradualmente assentada em três camadas:
1. O código trata de coisas que deveriam ser exatas
Buscar URLs, comparar HTML, verificar respostas HTTP, combinar elementos, identificar relacionamentos canônicos e detectar se um destino foi alterado não precisa de raciocínio probabilístico. Na verdade, pedir a um LLM para responder a essas perguntas é arriscado!
2. Um pequeno modelo local cuida da interpretação e comunicação da luz
Uma vez que os fatos já tenham sido estabelecidos, Nano pode transformar um conjunto bastante feio de evidências em algo que um ser humano possa usar rapidamente. Se alguma coisa que aprendi construindo equipes, programas de SEO/Serch ou treinamento é que o atrito mata o progresso mais do que qualquer outra coisa.
Apresentar uma passagem facilmente legível em vez de blocos de JSON ou planilhas é altamente de valor.
Eu consideraria um ponto forte o fato de Nano não ter que tomar a decisão – na verdade, é mais fácil no longo prazo.
3. Um modelo maior está disponível quando um julgamento real é necessário
Se houver detalhes tecnicamente complexos e ambíguos ou se precisarmos de algum raciocínio semântico ou técnico significativo, um modelo maior mostra o seu valor. Podemos fornecer a mesma evidência estruturada para Gemini, OpenAI ou outro modelo capaz.
É nesse momento que você precisa priorizar a velocidade ou complementar algumas lacunas de conhecimento de uma forma bastante confiável. O importante é que o pipeline não precisa mudar. Somente o modelo faz isso, o que afeta exatamente o que você recebe de volta.
Os modelos locais não precisam vencer todos os benchmarks
Tudo isso começou como um teste. Eu queria investigar o que o Nano poderia fazer, então comparei a capacidade de raciocínio do Nano com o Gemini Flash e o ChatGPT Luna.
Em cada teste, coloquei-os uns contra os outros, tratando os modelos igualmente no teste. Acho que é aqui que o pensamento sobre diferentes modelos de IA dá errado.
Eles não precisam substituir os modelos de fronteira para serem úteis! Você certamente também não precisa de um modelo de fronteira para tudo! Mas quantas pessoas vão saber/compreender isto – e, para ser honesto, por que deveriam?
No contexto que estou testando aqui, o modelo local (Nano neste caso) precisa ser bom o suficiente para tirar uma quantidade significativa de trabalho do usuário.
Existem vários motivos pelos quais isso ainda torna a inferência local (via Nano) atraente:
- Nenhuma chamada de API é necessária para todas as tarefas menores.
- Os dados podem permanecer no dispositivo, o que ajuda na segurança, nos custos e nos recursos de computação.
- A velocidade pode ser bom o suficiente se a inicialização do modelo/sessão for bem tratada.
- As ferramentas (que você cria) podem continuar funcionando sem depender de um serviço externo de IA.
- Modelos grandes podem ser reservados para tarefas onde são necessários – mas não são parte integrante do processo.
Outro efeito colateral positivo foi que forçar-se a apoiar um modelo pequeno incentiva você a melhorar o resto do sistema. Sua própria má tomada de decisão ou economia em algo que o código pode alcançar pode ser ocultada por um grande modelo de IA. Mas, para ser brutalmente honesto, não creio que os custos computacionais como são hoje sejam sustentáveis, então talvez não devêssemos confiar demais nisso.
Neste projeto, as limitações do Nano me levaram a dedicar mais tempo à análise do código determinístico. Isto significou que as evidências tornaram-se melhores e as responsabilidades da Nano tornaram-se muito mais focadas. Todas as suposições técnicas tinham que ser mais explícitas, para melhor.
Um grande subproduto disso foi que essas melhorias também fizeram com que os modelos mais fortes tivessem um melhor desempenho quando você optasse por usá-los.
Razões para otimismo para modelos locais menores
O modelo local disponível no Chrome hoje não será o último modelo local enviado pelo Chrome. Isso provavelmente se aplica de forma mais ampla a navegadores, sistemas operacionais, laptops e telefones.
Os modelos irão melhorar e os métodos de quantização irão melhorar. O hardware também melhorará – mesmo que os custos aumentem – juntamente com o gerenciamento de contexto, “memória”, chamada de ferramentas, etc.
Portanto, se um aplicativo que você está construindo já foi projetado em torno de um modelo local substituível, essas melhorias podem chegar sem redesenhar tudo. Podemos – espero – confiar ainda mais em modelos locais.
O que é mais interessante – para mim – é que me limitei intencionalmente ao Nano. É algo que acompanha todo o Chrome. Se você quiser rodar modelos um pouco maiores – ou tiver o hardware para ser mais aventureiro – é claro que você pode fazer mais, agora, hoje!
A oportunidade não é recriar ChatGPT ou Claude localmente. É construir software onde:
A computação exata acontece no código, a inteligência leve acontece localmente e a inteligência cara é chamada apenas quando é realmente necessária.
Para mim, esta é uma direção MUITO mais sensata para as ferramentas de IA, em vez de tratar cada problema como uma desculpa para criar o maior modelo disponível.
Mais recursos:
Esta postagem foi publicada originalmente no Chris Green SEO.
Imagem em destaque: Roman Samborskyi/Shutterstock
