Aprender a usar IA local é emocionante, opressor e frustrante

Estou embarcando em uma jornada que até agora hesitei em seguir: usar IA regularmente. Fornecer meus dados mais pessoais para serviços em nuvem tem sido um grande obstáculo para mim, mas é cada vez mais possível executar modelos poderosos localmente para ver do que eles são capazes. Essa tecnologia é tão útil que vale a pena gastar muito dinheiro em um computador ou laptop com muita RAM cara? Vou tentar ajudá-lo a descobrir. Não sou um especialista em IA, será uma jornada para mim, mas talvez eu possa ajudá-lo a ver se vale a pena fazer essa jornada – e postarei meu caminho através dela.

Uma grande parte da proposta da Apple para seus novos desktops Mac é o quão bons eles são para IA local, e há uma linha inteira de novas máquinas RTX Spark Windows chegando em breve com até 128 GB de RAM destinadas ao uso de IA de agência. A IA local e os agentes são apenas, tipo, então quente agora. Mas, falando sério, a ideia de ter um pequeno servo morando apenas na caixa da minha mesa que responde apenas a mim e não aos senhores da OpenAI, Google, Microsoft ou Anthropic é um pouco diferente de confiar em serviços de nuvem ou assinar um chatbot. Não me interpretem mal, ainda não há como escrever para mim, editar para mim ou gerar panfletos feios. Mas agora, com alguma privacidade do meu lado, talvez eu possa finalmente pensar em um trabalho útil e ocupado para “confiar”.

Portanto, como parte dos meus testes contínuos do M5 Ultra Mac Studio, bem como de experiências em outros sistemas Mac e Windows, instalei alguns LLMs locais e estou começando a mexer. Veja como as coisas estão indo.

Comecei instalando o Hermes Agent de código aberto no Mac Studio. Hermes é um aplicativo de desktop de agente de IA auto-hospedado que funciona em macOS, Windows e Linux. O uso é totalmente gratuito se você seguir os LLMs locais. Como este M5 Ultra Mac Studio possui 256 GB de memória unificada, eu poderia rodar praticamente qualquer modelo que quisesse. É assim que as coisas rapidamente se tornam opressoras. Existem mais modelos do que posso contar e alguns têm usos especializados. Geralmente, modelos com muitos bilhões de parâmetros são capazes de fazer mais do que modelos menores com apenas alguns bilhões. E como não precisamos nos preocupar em pagar por tokens ao executar um modelo localmente, decidi começar grande.

Usando a interface de integração direta e o seletor de modelo da Hermes, escolhi o modelo Qwen 3.8 Flash Next – um modelo de 125 bilhões de parâmetros com cerca de 105 GB de tamanho. Também pretendo passar algum tempo com modelos Qwen muito menores em dispositivos como M6 Mac Mini, M5 MacBook Air, Asus TUF Gaming A14 com processador AMD Strix Halo e, eventualmente, RTX Spark. (Importa-se de compartilhar quais modelos locais e hardware você usa? Você sabe onde deixar seus comentários. 🫡)

Não demorou muito para começar a trabalhar com Hermes e Qwen, e até mesmo torná-los controláveis ​​através do meu telefone usando um bot do Telegram. Mas então, fui presenteado com meu inimigo habitual quando se trata de usar IA: a caixa de texto.

“O que eu faço com essa coisa?”

Primeiro, para começar, segui alguns conselhos úteis do YouTube e pedi a Hermes que me fizesse um briefing matinal diário – para começar aos poucos com um cron job e garantir que tudo estivesse funcionando. Ele verifica meu e-mail e calendário, diz qualquer coisa que mereça minha atenção imediata e me fornece um breve boletim meteorológico. Não é tão útil e obviamente você não precisa de um computador de US$ 12 mil para construí-lo, mas é algo que posso desenvolver com o tempo. O briefing continuou falhando no início, mas depois descobri que o macOS não poderia estar dormindo quando o trabalho fosse iniciado às 7h30. Dã! Funciona como um relógio agora, mas preciso pensar em mais informações para tornar os resultados mais úteis.

Uma tarefa mais útil foi reorganizar minha biblioteca Steam. Tenho mais de 400 jogos no Steam e recentemente comecei a categorizá-los para quando quiser jogar algo novo por capricho. O Steam não categoriza seus jogos para você, então você precisa fazer isso manualmente, um por um. Mas é aqui que um lacaio agente poderia se encaixar. Perguntei: “Você pode reorganizar minha biblioteca Steam?” Hermes pôde ver a maioria dos meus jogos apenas visualizando o cliente Steam já instalado. Rapidamente surgiu algumas opções de organização para mim. Decidi organizar meus jogos por gênero, mas deixar algumas de minhas categorias especializadas (favoritos, títulos cooperativos, jogos de festa, jogos para jogar com minha esposa, etc.).

Você precisa conceder a uma IA local algumas permissões sobre sua máquina para que ela execute ações por você e, no caso da minha biblioteca de jogos, tive que registrar uma chave de API da web do Steam e fornecê-la ao Hermes. Depois de ter esse acesso, levou apenas alguns minutos para classificar todos os jogos em categorias. E a chave da API foi fácil de revogar logo em seguida, já que não preciso mais dela. A ideia é que ele faça esse trabalho pesado para mim apenas uma vez, e então arquivarei novos jogos nas categorias à medida que os comprar. No geral, fez um bom trabalho e agora minha biblioteca Steam é facilmente navegável.

Outra coisa simples que fiz foi análise de dados. Pedi a Hermes que desse uma olhada nos registros financeiros para analisar alguns números para mim e também fiz uma planilha de comparação de especificações para um novo laptop. Essas são coisas pequenas, mas ambas são tarefas nas quais não posso ou não confiarei em nenhum serviço de nuvem – não quero fazer upload desses dados confidenciais para a nuvem e, no caso de um laptop novo, essas informações estavam sob embargo. Mantê-los no meu computador foi a diferença entre eu usar essa ferramenta ou não.

A maior automação em que estou trabalhando atualmente é um script para executar uma série de testes de benchmark de laptop. Eu executo todos os nossos benchmarks manualmente e cuidar de um laptop para executar cerca de uma dúzia de testes – três vezes, para calcular a média – consome muito tempo. Eu adoraria automatizar pelo menos parte disso. Até mesmo orientar o Hermes por todos os procedimentos necessários e fazê-lo cuspir scripts Python codificados por vibração tem sido um pouco trabalhoso e continua sendo um trabalho em andamento. Mas espero fazer algum progresso positivo.

Ainda é cedo para trabalhar com Hermes e espero que esta seja apenas a ponta do iceberg sobre as coisas úteis que posso fazer por mim. Mas também está claro que mesmo esses poderosos modelos locais não constituem um assistente mágico que possa fazer qualquer coisa. As coisas ainda nem sempre funcionam como planejado – meu briefing diário já falhou várias vezes.

Vejo o Hermes e a IA local apenas como uma ferramenta, um programa de computador para ser executado no meu computador. Não quero um amigo digital. Não estou dizendo “obrigado” ou “por favor”, nem digitando “desculpe” quando mudo de ideia sobre alguma coisa. Continuo tão frio e indiferente ao ordená-lo quanto ao clicar com o mouse em um sistema operacional.

Espero permanecer vigilante e cauteloso enquanto continuo testando e aprendendo com a IA local. Vamos ver onde isso leva meu.