Implementar o Devstral Localmente com vLLM
Nesta página
Lição atualizada em 2 de novembro de 2026 com base na página Using offline models da documentação do Vibe. O Devstral foi removido da API da Mistral, mas os seus pesos permanecem publicados: Devstral Small 2 e Mistral Small 4 são os dois modelos abertos recomendados para uso local. O Vibe não inclui um modelo local: liga-o a um servidor compatível com OpenAI através de uma predefinição em
config.tomle alterna usando/model. Fonte: Using offline models.
Preparar a Implementação
Implementar o Devstral localmente significa executar um servidor de inferência na sua máquina que expõe uma API compatível com OpenAI. O Vibe liga-se a ele exatamente como se estivesse a comunicar com a nuvem da Mistral. Esta compatibilidade de interface torna a transição transparente; as suas ferramentas não têm razão para saber de onde vêm as respostas. A estrutura recomendada para esta função é o vLLM, um motor de inferência de alto desempenho desenvolvido pela comunidade de código aberto.
O Que o Seu Hardware Permite
Antes de instalar qualquer coisa, verifique a sua GPU. Ela determina a precisão utilizável e, consequentemente, o tamanho da janela de contexto que terá disponível.
| Configuração | GPU | VRAM | Precisão | Contexto |
|---|---|---|---|---|
| Recomendado | NVIDIA H100 / A100 | 80 GB | FP8 | ~128K tokens |
| Alternativa | RTX 4090 / RTX 6000 | 24–48 GB | 4-bit (quantizado) | ~32K tokens |
| Apenas CPU | Sem GPU | 64+ GB RAM | - | Lento (não recomendado) |
Nota importante: A configuração apenas com CPU é funcional, mas extremamente lenta para um modelo de 24B. É adequada apenas para testes, não para uso diário. Por outras palavras, permite-lhe verificar se a cadeia funciona, mas não que consiga trabalhar com ela.
Instalar o vLLM
O pré-requisito de software é mínimo: Python 3.10 ou superior, seguido de um pip install.
# Python 3.10+ necessário
python3 --version
# Instalar vLLM
pip install vllm
De seguida, verifique se os controladores NVIDIA e o CUDA estão instalados e operacionais. Este comando é o melhor teste de ponta a ponta: se exibir a sua GPU e uma versão do CUDA, a camada de baixo nível está saudável e quaisquer erros subsequentes virão de outro lugar.
nvidia-smi
# Deve exibir a sua GPU e a versão do CUDA
Iniciar o Servidor
O comando de arranque cabe em quatro argumentos, dois dos quais são essenciais para trabalhar com o Vibe.
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--port 8080
Vamos decompor as flags:
mistralai/Devstral-Small-2-24B-Instruct-2512: O modelo Hugging Face a carregar--tool-call-parser mistral: Ativa a análise de chamadas de ferramentas no formato Mistral--enable-auto-tool-choice: Permite que o modelo escolha automaticamente as suas ferramentas--port 8080: A porta de escuta do servidor
As duas flags relacionadas com ferramentas merecem atenção. Sem elas, o servidor responderia às suas perguntas, mas o modelo já não conseguiria ler um ficheiro ou executar um comando. O Vibe tornar-se-ia num simples chatbot, o que não é o objetivo.
Adaptar o Comando à Sua Máquina
Se tiver várias GPUs, o paralelismo de tensores distribui o modelo por todas as placas. A VRAM combinada permite então uma janela de contexto mais ampla.
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--tensor-parallel-size 2 \
--port 8080
Numa configuração mais modesta, precisa de reduzir a precisão. Um H100 ou A100 lida com FP8; um RTX 4090 usará quantização de 4 bits com AWQ, ao custo de uma ligeira perda de qualidade que é largamente compensada pelo facto de o modelo finalmente caber na memória.
# FP8 em H100/A100
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--dtype float16 \
--port 8080
# 4-bit em RTX 4090
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--quantization awq \
--port 8080
A última alavanca quando a VRAM permanece insuficiente é reduzir o comprimento máximo do contexto. A cache de atenção consome memória proporcionalmente ao contexto, e descer para 16.384 tokens liberta frequentemente o que faltava para iniciar.
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--max-model-len 16384 \
--port 8080
Ligar o Vibe e Verificar
O servidor está em execução; agora precisa de dizer ao Vibe para o usar. O Vibe não inclui um modelo local: declare um fornecedor e uma predefinição de modelo em config.toml.
# ~/.vibe/config.toml
active_model = "devstral-local"
[[providers]]
name = "local"
api_base = "http://localhost:8080/v1"
api_style = "openai"
backend = "generic"
[[models]]
name = "mistralai/Devstral-Small-2-24B-Instruct-2512"
provider = "local"
alias = "devstral-local"
Mantenha active_model acima da primeira tabela [[...]], caso contrário o TOML anexá-la-á a essa tabela. Defina max_context_length na predefinição para indicar o contexto do seu servidor, que também deve devolver a utilização em tokens nas respostas em streaming (stream_options.include_usage). Variante mais curta: o Vibe fornece um fornecedor predefinido, llamacpp, que aponta para http://127.0.0.1:8080/v1 sem chave; nesse caso, escreva provider = "llamacpp" na predefinição, sem um bloco [[providers]]. Numa sessão, /model alterna entre o modelo local e os modelos alojados.
Teste a cadeia em dois níveis: primeiro a API bruta, que confirma que o modelo está carregado, e depois um pedido real no Vibe para validar que as chamadas de ferramentas funcionam.
# Teste direto da API
curl http://localhost:8080/v1/models
# Teste no Vibe (o agente ask solicita antes de cada ferramenta)
vibe --agent ask
> List files in the current directory
Para uso diário, reiniciar manualmente o comando torna-se rapidamente tedioso. Um serviço systemd inicia o servidor no arranque e reinicia-o em caso de falha.
# Criar um serviço systemd
sudo tee /etc/systemd/system/vllm-devstral.service << EOF
[Unit]
Description=vLLM Devstral Server
After=network.target
[Service]
Type=simple
User=$USER
ExecStart=/usr/local/bin/vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 --tool-call-parser mistral --enable-auto-tool-choice --port 8080
Restart=always
RestartSec=10
[Install]
WantedBy=multi-user.target
EOF
sudo systemctl enable --now vllm-devstral
Os Três Problemas Que Irá Encontrar
Um erro CUDA out of memory significa que o modelo não cabe: reduza --max-model-len ou mude para quantização de 4 bits. A lentidão no primeiro lançamento é normal e não é um sintoma: o arranque inicial descarrega e carrega o modelo, cerca de 14 GB, e os lançamentos subsequentes beneficiam da cache. Finalmente, se o Vibe não conseguir encontrar o servidor local, verifique simplesmente se a porta 8080 está a escutar antes de procurar mais longe.
curl http://localhost:8080/health
Pontos-chave
- O vLLM é a estrutura recomendada para servir o Devstral localmente
- As flags
--tool-call-parser mistrale--enable-auto-tool-choicesão obrigatórias - Um H100/A100 oferece FP8 e contexto de 128K; um RTX 4090 oferece 4-bit e 32K
- Reduza
--max-model-lense a VRAM for insuficiente - Ligue o Vibe através de um fornecedor e predefinição de modelo em
config.toml(ou o fornecedor predefinidollamacpp), depois use/model - Execute o vLLM como um serviço systemd para uso diário