Vai al contenuto principale
Italiano— Scegli una lingua
Menu

Ospitare Devstral in locale

Lezione 13 di 14 Aggiornata il 2 novembre 2026 Sviluppatore
In questa pagina
  1. Perché ospitare Devstral in locale?
  2. Modelli raccomandati
  3. Prerequisiti hardware
  4. Distribuzione con vLLM
  5. Utilizzo del server locale
  6. Framework alternativi
  7. Connessione di Vibe al server locale
  8. Punti chiave

Lezione aggiornata il 2 novembre 2026 sulla base della pagina Using offline models della documentazione di Vibe: Devstral è stato rimosso dalle API, ma Devstral Small 2 rimane, insieme a Mistral Small 4, uno dei due modelli aperti raccomandati per l’uso locale. Le stime dei costi non verificate sono state rimosse e la connessione di Vibe a un server locale segue ora la sintassi ufficiale di config.toml. Fonte: Using offline models.

Perché ospitare Devstral in locale?

Devstral Small 2 è rilasciato con pesi aperti sotto licenza Apache 2.0 (Devstral 2, il suo fratello maggiore da 123 miliardi di parametri, utilizza una licenza MIT modificata). Sebbene rimosso dalle API di Mistral il 31 marzo 2026, non è scomparso: puoi distribuirlo sui tuoi server senza inviare una singola riga di codice a un’API esterna, e la documentazione di Vibe continua a raccomandarlo per questo scopo.

Le motivazioni spesso si sovrappongono. La privacy viene prima di tutto: il tuo codice non lascia mai la tua infrastruttura, tagliando corto su qualsiasi dibattito riguardo ai termini d’uso di un fornitore. Segue la latenza, poiché nessun round-trip di rete verso le API di Mistral si interpone tra la tua digitazione e il suggerimento. La struttura dei costi cambia: paghi un prezzo fisso per una GPU invece di una fatturazione basata sull’uso, il che diventa vantaggioso non appena un intero team interroga il modello tutto il giorno. Infine, ci sono la conformità, richiesta da alcune normative e settori come quello bancario o della difesa, e la disponibilità, dato che nessun servizio di terze parti può interrompere il tuo lavoro.

Modelli raccomandati

La documentazione di Vibe raccomanda due modelli aperti per l’uso locale:

  • Devstral Small 2 (mistralai/Devstral-Small-2-24B-Instruct-2512 su Hugging Face): 24 miliardi di parametri, denso, addestrato per compiti agentici e di coding, con l’impronta hardware più leggera;
  • Mistral Small 4: 119 miliardi di parametri in un’architettura mixture-of-experts, con 6,5 miliardi attivi, un modello ibrido di ragionamento e coding con un contesto di 256.000 token, sotto licenza Apache 2.0.

Prerequisiti hardware

Per prestazioni decenti su contesti lunghi, la documentazione raccomanda una distribuzione FP8 con un contesto di circa 128.000 token:

ConfigurazioneHardwarePrecisioneContesto
ConsigliataGPU H100 o A100FP8~128.000 token
Workstation di sviluppoRTX 4090 o qualsiasi GPU con 24 GB di VRAM4-bit~32.000 token
Senza GPUOffload CPU, con RAM sufficiente—— significativamente più lento

Queste cifre si applicano a Devstral Small 2. Mistral Small 4 richiede molta più memoria video per caricare i suoi pesi: conta su almeno una H100 da 80 GB in FP8, e ancora di più per contesti lunghi. Quindi regola precisione e lunghezza del contesto in base al tuo hardware.

Distribuzione con vLLM

vLLM è il framework di inferenza raccomandato dalla documentazione di Vibe per servire Devstral. L’installazione richiede un solo comando.

pip install vllm

Il server si avvia quindi in una singola riga, con le due opzioni che rendono il modello utilizzabile in modalità agente.

vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --port 8080

Tre varianti coprono la maggior parte delle situazioni reali: suddividere il modello su più GPU, ridurre la precisione quando la VRAM è limitata o ridurre il contesto per lo stesso motivo.

# Multi-GPU (se hai 2+ GPU)
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --tensor-parallel-size 2 \
  --port 8080

# Precisione ridotta (per GPU con meno VRAM)
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --dtype float16 \
  --port 8080

# Contesto ridotto (per risparmiare VRAM)
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --max-model-len 32768 \
  --port 8080

Ecco cosa controlla ciascun flag:

  • --tool-call-parser mistral — abilita l’analisi delle chiamate agli strumenti nel formato Mistral
  • --enable-auto-tool-choice — consente al modello di decidere quando chiamare uno strumento
  • --tensor-parallel-size — suddivide il modello su più GPU
  • --dtype — controlla la precisione (float16, bfloat16, float32)
  • --max-model-len — limita la dimensione del contesto per risparmiare VRAM

I primi due meritano un’attenzione speciale: ometterli ti dà un server che funziona perfettamente per la conversazione ma fallisce silenziosamente non appena un agente tenta di chiamare uno strumento. Questa è la causa più comune per cui una distribuzione locale viene giudicata “deludente”.

Utilizzo del server locale

Una volta avviato vLLM, la porta 8080 espone un’API compatibile con OpenAI. L’SDK di Mistral vi si connette semplicemente cambiando l’URL del server; la chiave non è più necessaria.

from mistralai.client import Mistral

# Punta al server locale
client = Mistral(
    api_key="dummy",  # Nessuna chiave necessaria in locale
    server_url="http://localhost:8080",
)

response = client.chat.complete(
    model="mistralai/Devstral-Small-2-24B-Instruct-2512",
    messages=[
        {"role": "user", "content": "Analizza questo codice e suggerisci miglioramenti."}
    ],
)

Anche l’SDK di OpenAI funziona altrettanto bene, permettendoti di passare il codice esistente a Devstral locale senza riscriverlo.

from openai import OpenAI

client = OpenAI(
    api_key="dummy",
    base_url="http://localhost:8080/v1",
)

response = client.chat.completions.create(
    model="mistralai/Devstral-Small-2-24B-Instruct-2512",
    messages=[
        {"role": "user", "content": "Spiega questo codice."}
    ],
)

Framework alternativi

vLLM non è l’unica strada: Devstral funziona con qualsiasi framework di inferenza che esponga un’API compatibile con OpenAI. La documentazione di Vibe cita llama.cpp, adatto a configurazioni con poca VRAM grazie ai suoi modelli quantizzati GGUF, LM Studio, che offre un’interfaccia grafica senza riga di comando, e Ollama. Verifica il nome esatto del modello e la quantizzazione in ogni strumento prima di confrontare i risultati.

Connessione di Vibe al server locale

Vibe non include un modello locale: una volta avviato il server, dichiari un provider e un preset del modello in config.toml. Per un server compatibile con OpenAI sulla porta 8080:

active_model = "devstral-local"

[[providers]]
name = "local"
api_base = "http://localhost:8080/v1"
api_style = "openai"
backend = "generic"

[[models]]
name = "mistralai/Devstral-Small-2-24B-Instruct-2512"
provider = "local"
alias = "devstral-local"

Tre precauzioni dalla documentazione: mantieni active_model sopra il primo array [[...]], altrimenti TOML lo assocerà a quell’array; imposta max_context_length nel preset per indicare il contesto del tuo server; e verifica che il server restituisca l’uso dei token nelle risposte in streaming (stream_options.include_usage). Vibe fornisce anche un provider predefinito, llamacpp, che punta a http://127.0.0.1:8080/v1 senza chiave: in tal caso, scrivi semplicemente provider = "llamacpp" nel preset. Il comando /model permette quindi di passare dal modello locale a quelli ospitati.

Per un funzionamento completamente offline, disabilita anche la telemetria e i controlli degli aggiornamenti:

enable_telemetry = false
enable_update_checks = false

Con queste impostazioni e un provider locale, la CLI non contatta più mistral.ai. Le competenze, i server MCP e i connettori che raggiungono sistemi esterni devono essere disabilitati separatamente.

Punti chiave

  • Devstral è rimosso dalle API, ma Devstral Small 2 (24B, Apache 2.0) rimane raccomandato per l’uso locale, insieme a Mistral Small 4
  • vLLM è il framework raccomandato; --tool-call-parser mistral e --enable-auto-tool-choice sono essenziali per un agente
  • H100 o A100 in FP8 con contesto ~128k; una GPU da 24 GB in 4-bit con contesto ~32k
  • Il server espone un’API compatibile con OpenAI, utilizzabile con l’SDK di Mistral o l’SDK di OpenAI
  • Vibe si connette al server tramite un preset in config.toml (o il provider llamacpp); disabilita telemetria e aggiornamenti per l’uso offline