Ir para o conteúdo principal
Português— Escolher um idioma
Menu

Alternativas Locais: llama.cpp, LM Studio, Ollama

Aula 14 de 14 Atualizada a 2 de novembro de 2026 Avancado
Nesta página
  1. Para além do vLLM
  2. llama.cpp: Portabilidade Máxima
  3. LM Studio: Tudo com o Rato
  4. Ollama: Configuração Mais Rápida
  5. Escolher, e Por Que a Escolha Pouco Importa
  6. Resumo do Curso
  7. Pontos-chave
  8. Teste os Seus Conhecimentos

Lição atualizada em 2 de novembro de 2026 com base na página Using offline models da documentação do Vibe. O Devstral foi removido da API da Mistral, mas os seus pesos permanecem publicados: Devstral Small 2 e Mistral Small 4 são os dois modelos abertos recomendados para uso local. O Vibe não inclui um modelo local: liga-o a um servidor compatível com OpenAI através de uma predefinição em config.toml e alterna entre eles usando /model. Fonte: Using offline models.

Para além do vLLM

O vLLM é a estrutura que a documentação do Vibe recomenda para servir o Devstral, mas não é a única opção. Três alternativas cobrem cenários onde o vLLM encontra dificuldades: um Mac com Apple Silicon, uma máquina Windows onde a instalação falha, ou o desejo de testar um modelo em cinco minutos. Todas partilham o único aspeto que importa — expõem uma API compatível com OpenAI, tornando-as intercambiáveis do ponto de vista do Vibe.

llama.cpp: Portabilidade Máxima

llama.cpp é um motor de inferência escrito em C/C++ puro, concebido para funcionar no maior número possível de plataformas com dependências mínimas. Esta restrição é a sua força: funciona em Linux, macOS e Windows, incluindo ARM — tanto Apple Silicon como Raspberry Pi. A sua quantização nativa GGUF em Q4, Q5 ou Q8 torna-o particularmente adequado para GPUs de consumo onde a VRAM é limitada. Não requer Python nem um kit de ferramentas CUDA completo, e o seu desempenho no Apple Silicon via Metal, bem como em NVIDIA, é excelente. A contrapartida é uma etapa de compilação.

# Clonar e compilar
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
make LLAMA_CUDA=1  # Com suporte CUDA

# Iniciar o servidor
./llama-server \
  -m devstral-small-2-24b-instruct.Q4_K_M.gguf \
  --port 8080 \
  -ngl 99 \
  -c 32768

Sinalizadores principais:

  • -m: caminho para o modelo em formato GGUF
  • -ngl 99: número de camadas transferidas para a GPU (99 = todas)
  • -c 32768: tamanho da janela de contexto
  • --port 8080: porta da API

Na prática, ajusta o -ngl: se o modelo se recusar a carregar, reduza o número de camadas enviadas para a GPU. Escolha o llama.cpp se estiver num Mac Apple Silicon (M1 a M4), quiser evitar quaisquer dependências Python, precisar da quantização mais agressiva para uma GPU pequena ou estiver a trabalhar em ARM — servidor Graviton, Raspberry Pi.

LM Studio: Tudo com o Rato

LM Studio é uma aplicação de ambiente de trabalho que reduz a implementação local a alguns cliques. A sua interface gere a transferência, configuração e lançamento; o seu catálogo permite navegar e obter modelos do Hugging Face sem linha de comandos; o seu servidor de API compatível com OpenAI integrado não requer ajustes. A aplicação funciona em Windows, macOS e Linux. A configuração ocorre inteiramente na interface:

  1. Abra o LM Studio
  2. Transfira o Devstral Small 2 a partir do catálogo
  3. Carregue o modelo
  4. Ative o servidor local (botão “Start Server”)
  5. No Vibe: declare o servidor LM Studio como um fornecedor compatível com OpenAI em config.toml (o seu endereço aparece no LM Studio) e selecione o modelo com /model

Atenção à porta: o LM Studio escuta na porta 1234 por predefinição. Se o seu Vibe esperar a porta 8080, ajuste a configuração do LM Studio ou do Vibe — esta é a causa mais comum de “o Vibe não encontra o servidor”, mesmo que o modelo esteja carregado. O LM Studio é ideal se for novo em modelos locais, preferir uma interface gráfica à linha de comandos, quiser testar rapidamente vários modelos ou estiver no Windows e a instalação do vLLM lhe estiver a dar problemas.

Ollama: Configuração Mais Rápida

Ollama empresta a ergonomia do Docker: um comando para obter um modelo, outro para o executar. A instalação requer uma linha, a gestão usa ollama pull, ollama run e ollama list, a API compatível com OpenAI está integrada e ativa por predefinição, e os modelos atualizam-se como imagens Docker.

# Instalar o Ollama
curl -fsSL https://ollama.com/install.sh | sh

# Transferir e executar o Devstral Small 2
ollama pull devstral-small-2

# Lançar o modelo (o servidor API inicia automaticamente)
ollama run devstral-small-2

O servidor escuta na porta 11434, com o endpoint compatível com OpenAI em http://localhost:11434/v1/: este é o api_base a declarar no fornecedor do Vibe, com name = "devstral-small-2" na predefinição do modelo. Escolha o Ollama se quiser começar o mais rápido possível, gerir múltiplos modelos para teste, estiver confortável com fluxos de trabalho Docker ou quiser um servidor de inferência a funcionar permanentemente em segundo plano.

Escolher, e Por Que a Escolha Pouco Importa

Cada estrutura ocupa um nicho distinto. O vLLM oferece o melhor desempenho em produção com suporte nativo para múltiplas GPUs: é a escolha para servidores dedicados equipados com H100s ou A100s. O llama.cpp vence em portabilidade, brilha no Apple Silicon e em GPUs de consumo, e dispensa o Python. O LM Studio vence em ergonomia, com uma interface gráfica completa ideal para descobrir modelos locais. O Ollama oferece a configuração mais rápida e uma gestão de modelos simplificada, excelente para testes e prototipagem. No entanto, esta escolha pouco importa, porque todos expõem a mesma API no formato OpenAI — este denominador comum permite ao Vibe ligar-se sem saber nada sobre o motor que corre nos bastidores.

GET  /v1/models              # Listar modelos disponíveis
POST /v1/chat/completions    # Conclusão de chat (principal)
GET  /health                 # Estado do servidor (vLLM)

A configuração no Vibe é, portanto, idêntica em todas as estruturas: apenas a porta muda.

vLLM      → http://localhost:8080
LM Studio → http://localhost:1234
Ollama    → http://localhost:11434
llama.cpp → http://localhost:8080

Pode começar com o Ollama para ganhar experiência, migrar para o llama.cpp para otimizar a quantização e, depois, mudar para o vLLM no dia em que a sua equipa partilhar um servidor GPU — sem tocar na sua configuração do Vibe.

Resumo do Curso

Esta jornada levou-o através do ecossistema avançado do Mistral Vibe. Aprendeu a controlar quem executa as suas tarefas e com que permissões, através de agentes integrados e depois agentes personalizados, e a calibrar o risco com bloqueios reais: listas de ferramentas, permissões por ferramenta e pastas confiáveis, servindo o campo safety apenas como um rótulo visual. Os modos unificados agrupam ferramentas, permissões e comportamentos em perfis ativáveis; os subagentes delegam tarefas especializadas de forma independente. Depois, construiu componentes reutilizáveis com competências (skills) e o seu SKILL.md, lançados por comandos de barra numa única ação, e montou modos adaptados ao seu ciclo de desenvolvimento — revisão, implementação, linting. O esclarecimento de múltipla escolha mostrou-lhe como o Vibe pergunta antes de agir quando as coisas são ambíguas, e o modo local com Devstral abriu o caminho para um ambiente confidencial, offline e soberano. Dispõe agora de todas as ferramentas para construir um ambiente de desenvolvimento assistido por IA que respeite as suas restrições de segurança, desempenho e soberania.

Pontos-chave

  • llama.cpp: C++ puro, multiplataforma, excelente no Apple Silicon
  • LM Studio: Interface gráfica, ideal para iniciantes
  • Ollama: Configuração mais rápida, fluxo de trabalho tipo Docker
  • vLLM: Recomendado para produção com GPUs de servidor
  • Todos expõem uma API compatível com OpenAI — o Vibe liga-se transparentemente
  • Escolha a sua estrutura com base no seu hardware e nível de conforto

Teste os Seus Conhecimentos

Agentes, competências, modos, local: o Vibe avançado em cinco pontos.

1. O que permitem os agentes personalizados em TOML?

Resposta: Definir os seus próprios agentes — instruções, ferramentas, comportamento — num ficheiro TOML: o agente especializado da sua equipa torna-se um artefacto versionado.

2. O campo de segurança de um agente (safe, neutral, destructive, smart, yolo) limita as suas ações?

Resposta: Não. É uma indicação visual que colore a borda da entrada. O que realmente limita um agente são enabled_tools e disabled_tools, as permissões [tools.<tool>] (always, ask, never), o âmbito do diretório de trabalho e as pastas confiáveis.

3. Competências e comandos de barra: como funcionam em conjunto?

Resposta: Uma competência (SKILL.md) encapsula um procedimento reutilizável; o comando de barra aciona-o num único gesto — descoberta, ativação e prioridade gerem o catálogo.

4. Para que servem os subagentes?

Resposta: Para delegar subtarefas especializadas a agentes dedicados — o agente principal orquestra, os subagentes executam a sua especialidade.

5. Como executar o Vibe inteiramente em local?

Resposta: Servindo um modelo aberto recomendado (Devstral Small 2 ou Mistral Small 4) com vLLM ou uma alternativa (llama.cpp, LM Studio, Ollama), declarando-o como fornecedor em config.toml e, em seguida, desativando a telemetria e as verificações de atualização (enable_telemetry = false, enable_update_checks = false).

Agentes declarados, segurança graduada, competências equipadas, local possível: o Vibe avançado é uma plataforma — configure-o para corresponder à sua equipa.