Ospitare Devstral in locale
In questa pagina
Lezione aggiornata il 2 novembre 2026 sulla base della pagina Using offline models della documentazione di Vibe: Devstral è stato rimosso dalle API, ma Devstral Small 2 rimane, insieme a Mistral Small 4, uno dei due modelli aperti raccomandati per l’uso locale. Le stime dei costi non verificate sono state rimosse e la connessione di Vibe a un server locale segue ora la sintassi ufficiale di
config.toml. Fonte: Using offline models.
Perché ospitare Devstral in locale?
Devstral Small 2 è rilasciato con pesi aperti sotto licenza Apache 2.0 (Devstral 2, il suo fratello maggiore da 123 miliardi di parametri, utilizza una licenza MIT modificata). Sebbene rimosso dalle API di Mistral il 31 marzo 2026, non è scomparso: puoi distribuirlo sui tuoi server senza inviare una singola riga di codice a un’API esterna, e la documentazione di Vibe continua a raccomandarlo per questo scopo.
Le motivazioni spesso si sovrappongono. La privacy viene prima di tutto: il tuo codice non lascia mai la tua infrastruttura, tagliando corto su qualsiasi dibattito riguardo ai termini d’uso di un fornitore. Segue la latenza, poiché nessun round-trip di rete verso le API di Mistral si interpone tra la tua digitazione e il suggerimento. La struttura dei costi cambia: paghi un prezzo fisso per una GPU invece di una fatturazione basata sull’uso, il che diventa vantaggioso non appena un intero team interroga il modello tutto il giorno. Infine, ci sono la conformità, richiesta da alcune normative e settori come quello bancario o della difesa, e la disponibilità, dato che nessun servizio di terze parti può interrompere il tuo lavoro.
Modelli raccomandati
La documentazione di Vibe raccomanda due modelli aperti per l’uso locale:
- Devstral Small 2 (
mistralai/Devstral-Small-2-24B-Instruct-2512su Hugging Face): 24 miliardi di parametri, denso, addestrato per compiti agentici e di coding, con l’impronta hardware più leggera; - Mistral Small 4: 119 miliardi di parametri in un’architettura mixture-of-experts, con 6,5 miliardi attivi, un modello ibrido di ragionamento e coding con un contesto di 256.000 token, sotto licenza Apache 2.0.
Prerequisiti hardware
Per prestazioni decenti su contesti lunghi, la documentazione raccomanda una distribuzione FP8 con un contesto di circa 128.000 token:
| Configurazione | Hardware | Precisione | Contesto |
|---|---|---|---|
| Consigliata | GPU H100 o A100 | FP8 | ~128.000 token |
| Workstation di sviluppo | RTX 4090 o qualsiasi GPU con 24 GB di VRAM | 4-bit | ~32.000 token |
| Senza GPU | Offload CPU, con RAM sufficiente | — | — significativamente più lento |
Queste cifre si applicano a Devstral Small 2. Mistral Small 4 richiede molta più memoria video per caricare i suoi pesi: conta su almeno una H100 da 80 GB in FP8, e ancora di più per contesti lunghi. Quindi regola precisione e lunghezza del contesto in base al tuo hardware.
Distribuzione con vLLM
vLLM è il framework di inferenza raccomandato dalla documentazione di Vibe per servire Devstral. L’installazione richiede un solo comando.
pip install vllm
Il server si avvia quindi in una singola riga, con le due opzioni che rendono il modello utilizzabile in modalità agente.
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--port 8080
Tre varianti coprono la maggior parte delle situazioni reali: suddividere il modello su più GPU, ridurre la precisione quando la VRAM è limitata o ridurre il contesto per lo stesso motivo.
# Multi-GPU (se hai 2+ GPU)
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--tensor-parallel-size 2 \
--port 8080
# Precisione ridotta (per GPU con meno VRAM)
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--dtype float16 \
--port 8080
# Contesto ridotto (per risparmiare VRAM)
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--max-model-len 32768 \
--port 8080
Ecco cosa controlla ciascun flag:
--tool-call-parser mistral— abilita l’analisi delle chiamate agli strumenti nel formato Mistral--enable-auto-tool-choice— consente al modello di decidere quando chiamare uno strumento--tensor-parallel-size— suddivide il modello su più GPU--dtype— controlla la precisione (float16, bfloat16, float32)--max-model-len— limita la dimensione del contesto per risparmiare VRAM
I primi due meritano un’attenzione speciale: ometterli ti dà un server che funziona perfettamente per la conversazione ma fallisce silenziosamente non appena un agente tenta di chiamare uno strumento. Questa è la causa più comune per cui una distribuzione locale viene giudicata “deludente”.
Utilizzo del server locale
Una volta avviato vLLM, la porta 8080 espone un’API compatibile con OpenAI. L’SDK di Mistral vi si connette semplicemente cambiando l’URL del server; la chiave non è più necessaria.
from mistralai.client import Mistral
# Punta al server locale
client = Mistral(
api_key="dummy", # Nessuna chiave necessaria in locale
server_url="http://localhost:8080",
)
response = client.chat.complete(
model="mistralai/Devstral-Small-2-24B-Instruct-2512",
messages=[
{"role": "user", "content": "Analizza questo codice e suggerisci miglioramenti."}
],
)
Anche l’SDK di OpenAI funziona altrettanto bene, permettendoti di passare il codice esistente a Devstral locale senza riscriverlo.
from openai import OpenAI
client = OpenAI(
api_key="dummy",
base_url="http://localhost:8080/v1",
)
response = client.chat.completions.create(
model="mistralai/Devstral-Small-2-24B-Instruct-2512",
messages=[
{"role": "user", "content": "Spiega questo codice."}
],
)
Framework alternativi
vLLM non è l’unica strada: Devstral funziona con qualsiasi framework di inferenza che esponga un’API compatibile con OpenAI. La documentazione di Vibe cita llama.cpp, adatto a configurazioni con poca VRAM grazie ai suoi modelli quantizzati GGUF, LM Studio, che offre un’interfaccia grafica senza riga di comando, e Ollama. Verifica il nome esatto del modello e la quantizzazione in ogni strumento prima di confrontare i risultati.
Connessione di Vibe al server locale
Vibe non include un modello locale: una volta avviato il server, dichiari un provider e un preset del modello in config.toml. Per un server compatibile con OpenAI sulla porta 8080:
active_model = "devstral-local"
[[providers]]
name = "local"
api_base = "http://localhost:8080/v1"
api_style = "openai"
backend = "generic"
[[models]]
name = "mistralai/Devstral-Small-2-24B-Instruct-2512"
provider = "local"
alias = "devstral-local"
Tre precauzioni dalla documentazione: mantieni active_model sopra il primo array [[...]], altrimenti TOML lo assocerà a quell’array; imposta max_context_length nel preset per indicare il contesto del tuo server; e verifica che il server restituisca l’uso dei token nelle risposte in streaming (stream_options.include_usage). Vibe fornisce anche un provider predefinito, llamacpp, che punta a http://127.0.0.1:8080/v1 senza chiave: in tal caso, scrivi semplicemente provider = "llamacpp" nel preset. Il comando /model permette quindi di passare dal modello locale a quelli ospitati.
Per un funzionamento completamente offline, disabilita anche la telemetria e i controlli degli aggiornamenti:
enable_telemetry = false
enable_update_checks = false
Con queste impostazioni e un provider locale, la CLI non contatta più mistral.ai. Le competenze, i server MCP e i connettori che raggiungono sistemi esterni devono essere disabilitati separatamente.
Punti chiave
- Devstral è rimosso dalle API, ma Devstral Small 2 (24B, Apache 2.0) rimane raccomandato per l’uso locale, insieme a Mistral Small 4
- vLLM è il framework raccomandato;
--tool-call-parser mistrale--enable-auto-tool-choicesono essenziali per un agente - H100 o A100 in FP8 con contesto ~128k; una GPU da 24 GB in 4-bit con contesto ~32k
- Il server espone un’API compatibile con OpenAI, utilizzabile con l’SDK di Mistral o l’SDK di OpenAI
- Vibe si connette al server tramite un preset in
config.toml(o il providerllamacpp); disabilita telemetria e aggiornamenti per l’uso offline