Alternativas Locais: llama.cpp, LM Studio, Ollama
Nesta página
Lição atualizada em 2 de novembro de 2026 com base na página Using offline models da documentação do Vibe. O Devstral foi removido da API da Mistral, mas os seus pesos permanecem publicados: Devstral Small 2 e Mistral Small 4 são os dois modelos abertos recomendados para uso local. O Vibe não inclui um modelo local: liga-o a um servidor compatível com OpenAI através de uma predefinição em
config.tomle alterna entre eles usando/model. Fonte: Using offline models.
Para além do vLLM
O vLLM é a estrutura que a documentação do Vibe recomenda para servir o Devstral, mas não é a única opção. Três alternativas cobrem cenários onde o vLLM encontra dificuldades: um Mac com Apple Silicon, uma máquina Windows onde a instalação falha, ou o desejo de testar um modelo em cinco minutos. Todas partilham o único aspeto que importa — expõem uma API compatível com OpenAI, tornando-as intercambiáveis do ponto de vista do Vibe.
llama.cpp: Portabilidade Máxima
llama.cpp é um motor de inferência escrito em C/C++ puro, concebido para funcionar no maior número possível de plataformas com dependências mínimas. Esta restrição é a sua força: funciona em Linux, macOS e Windows, incluindo ARM — tanto Apple Silicon como Raspberry Pi. A sua quantização nativa GGUF em Q4, Q5 ou Q8 torna-o particularmente adequado para GPUs de consumo onde a VRAM é limitada. Não requer Python nem um kit de ferramentas CUDA completo, e o seu desempenho no Apple Silicon via Metal, bem como em NVIDIA, é excelente. A contrapartida é uma etapa de compilação.
# Clonar e compilar
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
make LLAMA_CUDA=1 # Com suporte CUDA
# Iniciar o servidor
./llama-server \
-m devstral-small-2-24b-instruct.Q4_K_M.gguf \
--port 8080 \
-ngl 99 \
-c 32768
Sinalizadores principais:
-m: caminho para o modelo em formato GGUF-ngl 99: número de camadas transferidas para a GPU (99 = todas)-c 32768: tamanho da janela de contexto--port 8080: porta da API
Na prática, ajusta o -ngl: se o modelo se recusar a carregar, reduza o número de camadas enviadas para a GPU. Escolha o llama.cpp se estiver num Mac Apple Silicon (M1 a M4), quiser evitar quaisquer dependências Python, precisar da quantização mais agressiva para uma GPU pequena ou estiver a trabalhar em ARM — servidor Graviton, Raspberry Pi.
LM Studio: Tudo com o Rato
LM Studio é uma aplicação de ambiente de trabalho que reduz a implementação local a alguns cliques. A sua interface gere a transferência, configuração e lançamento; o seu catálogo permite navegar e obter modelos do Hugging Face sem linha de comandos; o seu servidor de API compatível com OpenAI integrado não requer ajustes. A aplicação funciona em Windows, macOS e Linux. A configuração ocorre inteiramente na interface:
- Abra o LM Studio
- Transfira o Devstral Small 2 a partir do catálogo
- Carregue o modelo
- Ative o servidor local (botão “Start Server”)
- No Vibe: declare o servidor LM Studio como um fornecedor compatível com OpenAI em
config.toml(o seu endereço aparece no LM Studio) e selecione o modelo com/model
Atenção à porta: o LM Studio escuta na porta 1234 por predefinição. Se o seu Vibe esperar a porta 8080, ajuste a configuração do LM Studio ou do Vibe — esta é a causa mais comum de “o Vibe não encontra o servidor”, mesmo que o modelo esteja carregado. O LM Studio é ideal se for novo em modelos locais, preferir uma interface gráfica à linha de comandos, quiser testar rapidamente vários modelos ou estiver no Windows e a instalação do vLLM lhe estiver a dar problemas.
Ollama: Configuração Mais Rápida
Ollama empresta a ergonomia do Docker: um comando para obter um modelo, outro para o executar. A instalação requer uma linha, a gestão usa ollama pull, ollama run e ollama list, a API compatível com OpenAI está integrada e ativa por predefinição, e os modelos atualizam-se como imagens Docker.
# Instalar o Ollama
curl -fsSL https://ollama.com/install.sh | sh
# Transferir e executar o Devstral Small 2
ollama pull devstral-small-2
# Lançar o modelo (o servidor API inicia automaticamente)
ollama run devstral-small-2
O servidor escuta na porta 11434, com o endpoint compatível com OpenAI em http://localhost:11434/v1/: este é o api_base a declarar no fornecedor do Vibe, com name = "devstral-small-2" na predefinição do modelo. Escolha o Ollama se quiser começar o mais rápido possível, gerir múltiplos modelos para teste, estiver confortável com fluxos de trabalho Docker ou quiser um servidor de inferência a funcionar permanentemente em segundo plano.
Escolher, e Por Que a Escolha Pouco Importa
Cada estrutura ocupa um nicho distinto. O vLLM oferece o melhor desempenho em produção com suporte nativo para múltiplas GPUs: é a escolha para servidores dedicados equipados com H100s ou A100s. O llama.cpp vence em portabilidade, brilha no Apple Silicon e em GPUs de consumo, e dispensa o Python. O LM Studio vence em ergonomia, com uma interface gráfica completa ideal para descobrir modelos locais. O Ollama oferece a configuração mais rápida e uma gestão de modelos simplificada, excelente para testes e prototipagem. No entanto, esta escolha pouco importa, porque todos expõem a mesma API no formato OpenAI — este denominador comum permite ao Vibe ligar-se sem saber nada sobre o motor que corre nos bastidores.
GET /v1/models # Listar modelos disponíveis
POST /v1/chat/completions # Conclusão de chat (principal)
GET /health # Estado do servidor (vLLM)
A configuração no Vibe é, portanto, idêntica em todas as estruturas: apenas a porta muda.
vLLM → http://localhost:8080
LM Studio → http://localhost:1234
Ollama → http://localhost:11434
llama.cpp → http://localhost:8080
Pode começar com o Ollama para ganhar experiência, migrar para o llama.cpp para otimizar a quantização e, depois, mudar para o vLLM no dia em que a sua equipa partilhar um servidor GPU — sem tocar na sua configuração do Vibe.
Resumo do Curso
Esta jornada levou-o através do ecossistema avançado do Mistral Vibe. Aprendeu a controlar quem executa as suas tarefas e com que permissões, através de agentes integrados e depois agentes personalizados, e a calibrar o risco com bloqueios reais: listas de ferramentas, permissões por ferramenta e pastas confiáveis, servindo o campo safety apenas como um rótulo visual. Os modos unificados agrupam ferramentas, permissões e comportamentos em perfis ativáveis; os subagentes delegam tarefas especializadas de forma independente. Depois, construiu componentes reutilizáveis com competências (skills) e o seu SKILL.md, lançados por comandos de barra numa única ação, e montou modos adaptados ao seu ciclo de desenvolvimento — revisão, implementação, linting. O esclarecimento de múltipla escolha mostrou-lhe como o Vibe pergunta antes de agir quando as coisas são ambíguas, e o modo local com Devstral abriu o caminho para um ambiente confidencial, offline e soberano. Dispõe agora de todas as ferramentas para construir um ambiente de desenvolvimento assistido por IA que respeite as suas restrições de segurança, desempenho e soberania.
Pontos-chave
- llama.cpp: C++ puro, multiplataforma, excelente no Apple Silicon
- LM Studio: Interface gráfica, ideal para iniciantes
- Ollama: Configuração mais rápida, fluxo de trabalho tipo Docker
- vLLM: Recomendado para produção com GPUs de servidor
- Todos expõem uma API compatível com OpenAI — o Vibe liga-se transparentemente
- Escolha a sua estrutura com base no seu hardware e nível de conforto
Teste os Seus Conhecimentos
Agentes, competências, modos, local: o Vibe avançado em cinco pontos.
1. O que permitem os agentes personalizados em TOML?
Resposta: Definir os seus próprios agentes — instruções, ferramentas, comportamento — num ficheiro TOML: o agente especializado da sua equipa torna-se um artefacto versionado.
2. O campo de segurança de um agente (safe, neutral, destructive, smart, yolo) limita as suas ações?
Resposta: Não. É uma indicação visual que colore a borda da entrada. O que realmente limita um agente são enabled_tools e disabled_tools, as permissões [tools.<tool>] (always, ask, never), o âmbito do diretório de trabalho e as pastas confiáveis.
3. Competências e comandos de barra: como funcionam em conjunto?
Resposta: Uma competência (SKILL.md) encapsula um procedimento reutilizável; o comando de barra aciona-o num único gesto — descoberta, ativação e prioridade gerem o catálogo.
4. Para que servem os subagentes?
Resposta: Para delegar subtarefas especializadas a agentes dedicados — o agente principal orquestra, os subagentes executam a sua especialidade.
5. Como executar o Vibe inteiramente em local?
Resposta: Servindo um modelo aberto recomendado (Devstral Small 2 ou Mistral Small 4) com vLLM ou uma alternativa (llama.cpp, LM Studio, Ollama), declarando-o como fornecedor em config.toml e, em seguida, desativando a telemetria e as verificações de atualização (enable_telemetry = false, enable_update_checks = false).
Agentes declarados, segurança graduada, competências equipadas, local possível: o Vibe avançado é uma plataforma — configure-o para corresponder à sua equipa.