Alternative locale: llama.cpp, LM Studio, Ollama
Pe această pagină
Lecție actualizată la 2 noiembrie 2026 pe baza paginii Using offline models din documentația Vibe. Devstral a fost eliminat din API-ul Mistral, dar ponderile sale rămân publicate: Devstral Small 2 și Mistral Small 4 sunt cele două modele open recomandate pentru utilizarea locală. Vibe nu include un model local: îl conectați la un server compatibil OpenAI printr-un preset în
config.toml, apoi comutați folosind/model. Sursă: Using offline models.
Dincolo de vLLM
vLLM este framework-ul recomandat de documentația Vibe pentru servirea Devstral, dar nu este singura opțiune. Trei alternative acoperă scenarii în care vLLM întâmpină dificultăți: un Mac cu Apple Silicon, o mașină Windows unde instalarea se blochează sau dorința de a testa un model în cinci minute. Toate au un punct comun esențial: expun un API compatibil OpenAI, ceea ce le face interschimbabile din perspectiva Vibe.
llama.cpp: Portabilitate maximă
llama.cpp este un motor de inferență scris în C/C++ pur, conceput să ruleze pe cât mai multe platforme posibil, cu dependențe minime. Această constrângere este punctul său forte: funcționează pe Linux, macOS și Windows, inclusiv pe ARM – atât Apple Silicon, cât și Raspberry Pi. Cuantizarea sa nativă GGUF în Q4, Q5 sau Q8 îl face deosebit de potrivit pentru GPU-uri de consum unde VRAM-ul este limitat. Nu necesită nici Python, nici un toolkit CUDA complet, iar performanța sa pe Apple Silicon prin Metal, precum și pe NVIDIA, este excelentă. Compromisul constă într-o etapă de compilare.
# Clonare și compilare
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
make LLAMA_CUDA=1 # Cu suport CUDA
# Lansarea serverului
./llama-server \
-m devstral-small-2-24b-instruct.Q4_K_M.gguf \
--port 8080 \
-ngl 99 \
-c 32768
Flag-uri cheie:
-m: calea către modelul în format GGUF-ngl 99: numărul de straturi descărcate pe GPU (99 = toate)-c 32768: dimensiunea ferestrei de context--port 8080: portul API
În practică, ajustați -ngl: dacă modelul refuză să se încarce, reduceți numărul de straturi trimise către GPU. Alegeți llama.cpp dacă folosiți un Mac cu Apple Silicon (M1 până la M4), doriți să evitați orice dependență Python, aveți nevoie de cea mai agresivă cuantizare pentru un GPU mic sau lucrați pe ARM – server Graviton, Raspberry Pi.
LM Studio: Totul prin interfață grafică
LM Studio este o aplicație desktop care reduce implementarea locală la câteva clicuri. Interfața sa gestionează descărcarea, configurarea și lansarea; catalogul său vă permite să navigați și să preluați modele de pe Hugging Face fără linia de comandă; serverul său API compatibil OpenAI integrat nu necesită ajustări. Aplicația rulează pe Windows, macOS și Linux. Configurarea se face integral în interfață:
- Deschideți LM Studio
- Descărcați Devstral Small 2 din catalog
- Încărcați modelul
- Activați serverul local (butonul „Start Server“)
- În Vibe: declarați serverul LM Studio ca provider compatibil OpenAI în
config.toml(adresa sa apare în LM Studio), apoi selectați modelul cu/model
Atenție la port: LM Studio ascultă implicit pe portul 1234. Dacă Vibe se așteaptă la portul 8080, ajustați fie configurația LM Studio, fie pe cea a Vibe – aceasta este cea mai frecventă cauză a erorii „Vibe nu găsește serverul“, chiar dacă modelul este încărcat. LM Studio vi se potrivește dacă sunteți nou în lumea modelelor locale, preferați o interfață grafică în detrimentul liniei de comandă, doriți să testați rapid mai multe modele sau sunteți pe Windows și instalarea vLLM vă creează probleme.
Ollama: Cea mai rapidă configurare
Ollama împrumută ergonomia Docker: o comandă pentru a prelua un model, alta pentru a-l rula. Instalarea se face într-o singură linie, gestionarea folosește ollama pull, ollama run și ollama list, API-ul compatibil OpenAI este integrat și activ implicit, iar modelele se actualizează ca imaginile Docker.
# Instalare Ollama
curl -fsSL https://ollama.com/install.sh | sh
# Descărcare și rulare Devstral Small 2
ollama pull devstral-small-2
# Lansarea modelului (serverul API pornește automat)
ollama run devstral-small-2
Serverul ascultă pe portul 11434, cu endpoint-ul compatibil OpenAI la http://localhost:11434/v1/: acesta este api_base de declarat în provider-ul Vibe, cu name = "devstral-small-2" în preset-ul modelului. Alegeți Ollama dacă doriți să începeți cât mai repede, să gestionați multiple modele pentru testare, sunteți confortabil cu fluxurile de lucru Docker sau doriți un server de inferență care rulează permanent în fundal.
Alegerea și de ce contează puțin
Fiecare framework ocupă o nișă distinctă. vLLM oferă cea mai bună performanță de producție cu suport nativ multi-GPU: este alegerea pentru servere dedicate echipate cu H100 sau A100. llama.cpp câștigă la portabilitate, excelează pe Apple Silicon și GPU-uri de consum și sare peste Python. LM Studio câștigă la ergonomie, cu o interfață grafică completă ideală pentru descoperirea modelelor locale. Ollama oferă cea mai rapidă configurare și o gestionare simplificată a modelelor, excelentă pentru testare și prototipare. Totuși, această alegere contează puțin, deoarece toate expun același API în format OpenAI – acest numitor comun permite Vibe să se conecteze fără a ști nimic despre motorul care rulează în spate.
GET /v1/models # Listarea modelelor disponibile
POST /v1/chat/completions # Completare chat (principal)
GET /health # Starea serverului (vLLM)
Configurarea în Vibe este, prin urmare, identică indiferent de framework: doar portul se schimbă.
vLLM → http://localhost:8080
LM Studio → http://localhost:1234
Ollama → http://localhost:11434
llama.cpp → http://localhost:8080
Puteți începe cu Ollama pentru a vă familiariza, migra către llama.cpp pentru a optimiza cuantizarea, apoi trece la vLLM în ziua în care echipa dvs. partajează un server GPU – fără a atinge configurația Vibe.
Recapitularea cursului
Această călătorie v-a ghidat prin ecosistemul avansat al Mistral Vibe. Ați învățat să controlați cine vă execută sarcinile și cu ce permisiuni, prin agenți încorporați și apoi agenți personalizați, și să calibrați riscul cu blocaje reale: liste de instrumente, permisiuni per instrument și foldere de încredere, câmpul safety servind doar ca etichetă vizuală. Modurile unificate grupează instrumente, permisiuni și comportamente în profiluri activabile; sub-agenții deleagă sarcini specializate independent. Apoi ați construit componente reutilizabile cu abilități (skills) și fișierele lor SKILL.md, lansate prin comenzi slash într-un singur gest, și ați asamblat moduri adaptate ciclului dvs. de dezvoltare – review, deploy, lint. Clarificarea cu multiple opțiuni v-a arătat cum Vibe întreabă înainte de a acționa când lucrurile sunt ambigue, iar modul local cu Devstral a deschis calea către un mediu confidențial, offline și suveran. Aveți acum toate instrumentele necesare pentru a construi un mediu de dezvoltare asistat de AI care respectă constrângerile dvs. de securitate, performanță și suveranitate.
Puncte cheie
- llama.cpp: C++ pur, multi-platformă, excelent pe Apple Silicon
- LM Studio: Interfață grafică, ideal pentru începători
- Ollama: Configurare cea mai rapidă, flux de lucru stil Docker
- vLLM: Recomandat pentru producție cu GPU-uri de server
- Toate expun un API compatibil OpenAI – Vibe se conectează transparent
- Alegeți framework-ul în funcție de hardware-ul și nivelul dvs. de confort
Testați-vă cunoștințele
Agenți, abilități, moduri, local: Vibe avansat în cinci puncte.
1. Ce permit agenții personalizați în TOML?
Răspuns: Definirea propriilor agenți – instrucțiuni, instrumente, comportament – într-un fișier TOML: agentul specializat al echipei dvs. devine un artifact versionat.
2. Câmpul de siguranță al unui agent (safe, neutral, destructive, smart, yolo) îi limitează acțiunile?
Răspuns: Nu. Este un indiciu vizual care colorează bordura câmpului de intrare. Ceea ce limitează efectiv un agent sunt enabled_tools și disabled_tools, permisiunile [tools.<tool>] (always, ask, never), domeniul directorului de lucru și folderele de încredere.
3. Abilitățile și comenzile slash: cum lucrează împreună?
Răspuns: O abilitate (SKILL.md) încapsulează o procedură reutilizabilă; comanda slash o declanșează într-un singur gest – descoperirea, activarea și prioritatea gestionează catalogul.
4. La ce servesc sub-agenții?
Răspuns: Delegării sub-sarcinilor specializate către agenți dedicați – agentul principal orchestrează, sub-agenții execută specialitatea lor.
5. Cum rulați Vibe integral local?
Răspuns: Servind un model open recomandat (Devstral Small 2 sau Mistral Small 4) cu vLLM sau o alternativă (llama.cpp, LM Studio, Ollama), declarându-l ca provider în config.toml, apoi dezactivând telemetria și verificările de actualizare (enable_telemetry = false, enable_update_checks = false).
Agenți declarați, securitate gradată, abilități instrumentate, local posibil: Vibe avansat este o platformă – configurați-o pentru a se potrivi echipei dvs.