Como executar um chatbot em seu próprio computador

Não é exagero para dizer que os grandes modelos de linguagem que alimentam bots de IA como ChatGPT e Gemini estão mudando o mundo. Muitos de nós agora confiamos neles para codificar, escrever, resumir e pesquisar na web. Quaisquer que sejam as direções que a IA tomar nos próximos anos, os LLMs farão parte desse futuro.

Se você usa ChatGPT, Claude, Perplexity ou qualquer outra plataforma de IA, então você está usando um LLM. O que é menos conhecido é que esses LLMs podem ser executados localmente, em seu próprio computador. Os principais benefícios são o acesso offline e maior privacidade, porque você não envia nada para a nuvem para que outra pessoa analise ou revise.

Você também não está pagando uma assinatura mensal a nenhuma empresa de IA nem atingindo nenhuma taxa de uso. Vários LLMs estão disponíveis para download gratuito, inclusive de grandes nomes como Meta e Google. Embora eles tendam a não ser tão avançados ou rápidos quanto os LLMs dentro dos aplicativos pelos quais você tem que pagar, eles são capazes o suficiente para o uso diário e você pode escolher entre eles conforme necessário.

Há mais manutenção envolvida aqui e você perde um pouco da conveniência de apenas carregar o aplicativo ChatGPT. (Você mesmo precisará cuidar das atualizações, por exemplo.) No entanto, você obtém um sistema de IA mais personalizado e privado só para você e não é difícil começar.

O que você precisa para começar

Você pode executar LLMs locais no Windows, macOS e Linux, embora o macOS tenda a ser a plataforma preferida para a maioria dos entusiastas de IA. Tudo é mais unificado e consistente em Macs – ao contrário dos PCs com Windows, apenas uma empresa os fabrica – e os chips Apple Silicon combinam CPU, GPU e RAM, algo que os modelos de IA gostam.

Qualquer que seja a plataforma que você escolher, ter bastante RAM ajuda. O mínimo é 8 GB, mas se isso for tudo que você tem, você ficará um tanto limitado em termos do tamanho dos LLMs que pode executar e da velocidade com que eles irão. Dezesseis shows é melhor, e 32 ou mais são necessários se você quiser usar os modelos maiores e mais rápidos. Para obter os melhores resultados, você precisa de bastante VRAM em uma GPU dedicada (qualquer coisa acima de 8 GB fará a diferença), pois esse tipo de memória é otimizado para o tipo de tarefas que os modelos de IA realizam.

Um chatbot de IA como o ChatGPT depende da nuvem.Fotografia: David Nield