Alternative locali: llama.cpp, LM Studio, Ollama
In questa pagina
Lezione aggiornata il 2 novembre 2026 sulla base della pagina Using offline models della documentazione di Vibe. Devstral è stato rimosso dalle API Mistral, ma i suoi pesi rimangono pubblicati: Devstral Small 2 e Mistral Small 4 sono i due modelli open consigliati per l’uso locale. Vibe non include un modello locale: lo colleghi a un server compatibile con OpenAI tramite un preset in
config.toml, poi effettui la commutazione usando/model. Fonte: Using offline models.
Oltre vLLM
vLLM è il framework raccomandato dalla documentazione di Vibe per servire Devstral, ma non è l’unica opzione. Tre alternative coprono scenari in cui vLLM incontra difficoltà: un Mac con Apple Silicon, una macchina Windows dove l’installazione si blocca, o il desiderio di testare un modello in cinque minuti. Condividono tutti l’unico aspetto che conta: espongono un’API compatibile con OpenAI, rendendoli intercambiabili dal punto di vista di Vibe.
llama.cpp: Massima portabilità
llama.cpp è un motore di inferenza scritto in puro C/C++, progettato per funzionare sul maggior numero possibile di piattaforme con dipendenze minime. Questo vincolo è il suo punto di forza: funziona su Linux, macOS e Windows, inclusa l’architettura ARM, sia su Apple Silicon che su Raspberry Pi. La sua quantizzazione nativa GGUF in Q4, Q5 o Q8 lo rende particolarmente adatto alle GPU consumer dove la VRAM è limitata. Non richiede né Python né un toolkit CUDA completo e le sue prestazioni su Apple Silicon tramite Metal, così come su NVIDIA, sono eccellenti. Il compromesso è un passaggio di compilazione.
# Clona e compila
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
make LLAMA_CUDA=1 # Con supporto CUDA
# Avvia il server
./llama-server \
-m devstral-small-2-24b-instruct.Q4_K_M.gguf \
--port 8080 \
-ngl 99 \
-c 32768
Flag principali:
-m: percorso del modello in formato GGUF-ngl 99: numero di layer scaricati sulla GPU (99 = tutti)-c 32768: dimensione della finestra di contesto--port 8080: porta dell’API
In pratica, regoli -ngl: se il modello rifiuta di caricarsi, riduci il numero di layer inviati alla GPU. Scegli llama.cpp se sei su un Mac Apple Silicon (da M1 a M4), vuoi evitare qualsiasi dipendenza Python, hai bisogno della quantizzazione più aggressiva per una GPU piccola o lavori su ARM, come un server Graviton o un Raspberry Pi.
LM Studio: Tutto con il mouse
LM Studio è un’applicazione desktop che riduce il deployment locale a pochi clic. La sua interfaccia gestisce download, configurazione e avvio; il suo catalogo ti permette di navigare e recuperare modelli da Hugging Face senza linea di comando; il suo server API compatibile con OpenAI integrato non richiede alcuna modifica. L’app gira su Windows, macOS e Linux. La configurazione avviene interamente nell’interfaccia:
- Apri LM Studio
- Scarica Devstral Small 2 dal catalogo
- Carica il modello
- Abilita il server locale (pulsante “Start Server”)
- In Vibe: dichiara il server LM Studio come provider compatibile con OpenAI in
config.toml(il suo indirizzo appare in LM Studio), poi seleziona il modello con/model
Fai attenzione alla porta: LM Studio ascolta di default sulla 1234. Se il tuo Vibe si aspetta la porta 8080, modifica la configurazione di LM Studio o quella di Vibe: questa è la causa più frequente dell’errore “Vibe non trova il server” anche se il modello è caricato. LM Studio fa per te se sei nuovo ai modelli locali, preferisci una GUI alla linea di comando, vuoi testare rapidamente diversi modelli o sei su Windows e l’installazione di vLLM ti sta dando problemi.
Ollama: Configurazione più rapida
Ollama prende in prestito l’ergonomia di Docker: un comando per scaricare un modello, un altro per eseguirlo. L’installazione richiede una sola riga, la gestione usa ollama pull, ollama run e ollama list, l’API compatibile con OpenAI è integrata e attiva di default, e i modelli si aggiornano come le immagini Docker.
# Installa Ollama
curl -fsSL https://ollama.com/install.sh | sh
# Scarica ed esegui Devstral Small 2
ollama pull devstral-small-2
# Avvia il modello (il server API parte automaticamente)
ollama run devstral-small-2
Il server ascolta sulla porta 11434, con l’endpoint compatibile OpenAI su http://localhost:11434/v1/: questo è l’api_base da dichiarare nel provider Vibe, con name = "devstral-small-2" nel preset del modello. Scegli Ollama se vuoi iniziare il più velocemente possibile, gestire più modelli per testarli, ti trovi a tuo agio con i flussi di lavoro Docker o vuoi un server di inferenza sempre attivo in background.
Scegliere, e perché la scelta conta poco
Ogni framework occupa una nicchia distinta. vLLM offre le migliori prestazioni in produzione con supporto nativo multi-GPU: è la scelta per server dedicati equipaggiati con H100 o A100. llama.cpp vince sulla portabilità, eccelle su Apple Silicon e GPU consumer ed evita Python. LM Studio vince sull’ergonomia, con una GUI completa ideale per scoprire i modelli locali. Ollama offre la configurazione più rapida e una gestione semplificata dei modelli, ottima per test e prototipazione. Eppure questa scelta conta poco, perché espongono tutti la stessa API in formato OpenAI: questo denominatore comune permette a Vibe di connettersi senza sapere nulla del motore che gira dietro.
GET /v1/models # Elenca i modelli disponibili
POST /v1/chat/completions # Completamento chat (principale)
GET /health # Stato del server (vLLM)
La configurazione in Vibe è quindi identica tra i framework: cambia solo la porta.
vLLM → http://localhost:8080
LM Studio → http://localhost:1234
Ollama → http://localhost:11434
llama.cpp → http://localhost:8080
Puoi iniziare con Ollama per prendere confidenza, migrare su llama.cpp per ottimizzare la quantizzazione, poi passare a vLLM il giorno in cui il tuo team condivide un server GPU, senza toccare la configurazione di Vibe.
Riepilogo del corso
Questo percorso ti ha guidato attraverso l’ecosistema avanzato di Mistral Vibe. Hai imparato a controllare chi esegue i tuoi task e con quali permessi, tramite agenti integrati e poi agenti personalizzati, e a calibrare il rischio con veri lucchetti: liste di tool, permessi per singolo tool e cartelle attendibili, con il campo safety che funge solo da etichetta visiva. Le modalità unificate raggruppano tool, permessi e comportamenti in profili attivabili; i subagent delegano task specializzati in modo indipendente. Hai poi costruito componenti riutilizzabili con le skill e il loro SKILL.md, lanciati da comandi slash in un unico gesto, e assemblato modalità su misura per il tuo ciclo di sviluppo: review, deploy, lint. La chiarificazione a scelta multipla ti ha mostrato come Vibe chieda conferma prima di agire quando le cose sono ambigue, e la modalità locale con Devstral ha aperto la strada a un ambiente confidenziale, offline e sovrano. Ora hai tutti gli strumenti per costruire un ambiente di sviluppo assistito dall’IA che rispetti i tuoi vincoli di sicurezza, prestazioni e sovranità.
Punti chiave
- llama.cpp: Puro C++, multipiattaforma, eccellente su Apple Silicon
- LM Studio: Interfaccia grafica, ideale per i principianti
- Ollama: Configurazione più rapida, flusso di lavoro simile a Docker
- vLLM: Consigliato per la produzione con GPU server
- Tutti espongono un’API compatibile con OpenAI: Vibe si connette in modo trasparente
- Scegli il tuo framework in base al tuo hardware e al tuo livello di comfort
Metti alla prova le tue conoscenze
Agenti, skill, modalità, locale: Vibe avanzato in cinque punti.
1. Cosa permettono di fare gli agenti personalizzati in TOML?
Risposta: Definire i propri agenti—istruzioni, tool, comportamento—in un file TOML: l’agente specializzato del tuo team diventa un artefatto versionato.
2. Il campo safety di un agente (safe, neutral, destructive, smart, yolo) limita le sue azioni?
Risposta: No. È un indicatore visivo che colora il bordo dell’input. Ciò che limita realmente un agente sono enabled_tools e disabled_tools, i permessi [tools.<tool>] (always, ask, never), l’ambito della directory di lavoro e le cartelle attendibili.
3. Skill e comandi slash: come lavorano insieme?
Risposta: Una skill (SKILL.md) incapsula una procedura riutilizzabile; il comando slash la attiva in un unico gesto: scoperta, attivazione e priorità gestiscono il catalogo.
4. A cosa servono i subagent?
Risposta: A delegare sottotask specializzati ad agenti dedicati: l’agente principale orchestra, i subagent eseguono la loro specialità.
5. Come si esegue Vibe interamente in locale?
Risposta: Servendo un modello open raccomandato (Devstral Small 2 o Mistral Small 4) con vLLM o un’alternativa (llama.cpp, LM Studio, Ollama), dichiarandolo come provider in config.toml, poi disabilitando telemetria e controlli aggiornamenti (enable_telemetry = false, enable_update_checks = false).
Agenti dichiarati, sicurezza graduata, skill attrezzate, locale possibile: Vibe avanzato è una piattaforma: configurala per adattarla al tuo team.