Aqbeż għall-kontenut ewlieni
Malti— Agħżel lingwa
Menu

Alternattivi Lokali: llama.cpp, LM Studio, Ollama

Lezzjoni 14 / 14 Aġġornat 2 ta’ Novembru 2026 Avvanzat
F'din il-paġna
  1. Lil hinn minn vLLM
  2. llama.cpp: Portabbiltà Massima
  3. LM Studio: Kollox bil-Maws
  4. Ollama: L-aktar Installazzjoni Mgħaġġla
  5. L-Għażla, u Għaliex l-Għażla Timpatta Ftit
  6. Sommarju tal-Kors
  7. Punti Ewlenin
  8. Ittestja l-Għarfien Tiegħek

Lezzjoni aġġornata fit-2 ta’ Novembru 2026 abbażi tal-paġna Using offline models fid-dokumentazzjoni ta’ Vibe. Devstral tneħħa mill-API ta’ Mistral, iżda l-piżijiet (weights) tiegħu għadhom ippubblikati: Devstral Small 2 u Mistral Small 4 huma ż-żewġ mudelli miftuħa rrakkomandati għall-użu lokali. Vibe ma jibbundlejx mudell lokali: int tikkonnettjah ma’ server OpenAI kompatibbli permezz ta’ preset f’config.toml, imbagħad tibdel bl-użu ta’ /model. Sors: Using offline models.

Lil hinn minn vLLM

vLLM huwa l-qafas li d-dokumentazzjoni ta’ Vibe tirrakkomanda biex isservi lil Devstral, iżda mhix l-unika għażla. Tliet alternattivi jkopru xenarji fejn vLLM isib diffikultà: Mac b’Apple Silicon, magna Windows fejn l-installazzjoni tispiċċa blokkata, jew ix-xewqa li tittestja mudell f’ħames minuti. Dawn kollha jaqsmu l-unika ħaġa li importa—jesponu API kompatibbli ma’ OpenAI, u jagħmluhom interkambjabbli mill-perspettiva ta’ Vibe.

llama.cpp: Portabbiltà Massima

llama.cpp huwa magna ta’ inferenza miktuba f’C/C++ pur, iddisinjata biex taħdem fuq kemm jista’ jkun pjattaformi b’dipendenzi minimi. Din ir-restrizzjoni hija s-saħħa tiegħu: jaħdem fuq Linux, macOS, u Windows, inkluż ARM—kemm Apple Silicon kif ukoll Raspberry Pi. Il-kwantizzazzjoni nativa GGUF tiegħu f’Q4, Q5, jew Q8 tagħmlu partikolarment adattat għal GPUs tal-konsumatur fejn il-VRAM huwa limitat. Ma jeħtieġ la Python u lanqas toolkit CUDA sħiħ, u l-prestazzjoni tiegħu fuq Apple Silicon permezz ta’ Metal, kif ukoll fuq NVIDIA, hija eċċellenti. Il-kompromess huwa pass ta’ kompilazzjoni.

# Clone and compile
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
make LLAMA_CUDA=1  # With CUDA support

# Launch the server
./llama-server \
  -m devstral-small-2-24b-instruct.Q4_K_M.gguf \
  --port 8080 \
  -ngl 99 \
  -c 32768

Flags ewlenin:

  • -m: mogħdija għall-mudell f’format GGUF
  • -ngl 99: numru ta’ saffi scaricati lejn il-GPU (99 = kollha)
  • -c 32768: daqs tat-tieqa tal-kuntest (context window)
  • --port 8080: port tal-API

Fil-prattika, taġġusta -ngl: jekk il-mudell jirrifjuta li jitgħabba, naqqas in-numru ta’ saffi mibgħuta lill-GPU. Agħżel llama.cpp jekk inti fuq Mac b’Apple Silicon (M1 sa M4), trid tevita kwalunkwe dipendenza ta’ Python, teħtieġ l-aktar kwantizzazzjoni aggressiva għal GPU żgħira, jew qed taħdem fuq ARM—server Graviton, Raspberry Pi.

LM Studio: Kollox bil-Maws

LM Studio hija applikazzjoni tad-desktop li tnaqqas id-distribuzzjoni lokali għal ftit klikks. L-interfaċċja tiegħu tittratta t-tniżżil, il-konfigurazzjoni u t-tnedija; il-katalgu tiegħu jħallik tibbrawżja u tniżżel mudelli minn Hugging Face mingħajr il-linja tal-kmand; is-server tal-API kompatibbli ma’ OpenAI integrat tiegħu ma jeħtieġ l-ebda aġġustament. L-app taħdem fuq Windows, macOS u Linux. L-installazzjoni sseħħ kompletament fl-interfaċċja:

  1. Iftaħ LM Studio
  2. Niżżel Devstral Small 2 mill-katalgu
  3. Itgħabbi l-mudell
  4. Ippermetti s-server lokali (buttuna “Start Server”)
  5. F’Vibe: iddikjara s-server LM Studio bħala fornitur kompatibbli ma’ OpenAI f’config.toml (l-indirizz tiegħu jidher f’LM Studio), imbagħad agħżel il-mudell b’/model

Ara l-port: LM Studio jisma’ fuq 1234 b’mod predefinit. Jekk Vibe tiegħek jistenna l-port 8080, aġġusta jew il-konfigurazzjoni ta’ LM Studio jew dik ta’ Vibe—din hija l-aktar kawża komuni ta’ “Vibe ma jistax isib is-server” anke jekk il-mudell huwa mgħobbi. LM Studio huwa adattat għalik jekk inti ġdid għall-mudelli lokali, tippreferixxi GUI fuq il-linja tal-kmand, trid tittestja malajr diversi mudelli, jew jekk inti fuq Windows u l-installazzjoni ta’ vLLM qed toħloqlok problemi.

Ollama: L-aktar Installazzjoni Mgħaġġla

Ollama jissellef l-ergonomija ta’ Docker: kmand wieħed biex tiġbed mudell, ieħor biex tħaddmu. L-installazzjoni tieħu linja waħda, il-ġestjoni tuża ollama pull, ollama run, u ollama list, l-API kompatibbli ma’ OpenAI hija integrata u attiva b’mod predefinit, u l-mudelli jiġu aġġornati bħal immaġnijiet Docker.

# Install Ollama
curl -fsSL https://ollama.com/install.sh | sh

# Download and run Devstral Small 2
ollama pull devstral-small-2

# Launch the model (API server starts automatically)
ollama run devstral-small-2

Is-server jisma’ fuq il-port 11434, bl-endpoint kompatibbli ma’ OpenAI f’http://localhost:11434/v1/: dan huwa l-api_base li għandek tiddikjara fil-fornitur ta’ Vibe, b’name = "devstral-small-2" fil-preset tal-mudell. Agħżel Ollama jekk trid tibda malajr kemm jista’ jkun, timmanipula diversi mudelli biex tittestja, tħossok komdu bil-flussi tax-xogħol ta’ Docker, jew trid server ta’ inferenza li jibqa’ għaddej permanentement fl-isfond.

L-Għażla, u Għaliex l-Għażla Timpatta Ftit

Kull qafas jokkupa niċa distinta. vLLM iwassal l-aħjar prestazzjoni tal-produzzjoni b’appoġġ nativ multi-GPU: hija l-għażla għal servers dedikati mgħammra b’H100s jew A100s. llama.cpp jirbaħ fil-portabbiltà, jiddi fuq Apple Silicon u GPUs tal-konsumatur, u jneħħi Python. LM Studio jirbaħ fl-ergonomija, b’GUI sħiħa ideali biex tiskopri mudelli lokali. Ollama joffri l-aktar installazzjoni mgħaġġla u ġestjoni ssimplifikata tal-mudelli, kbira għall-ittestjar u l-prototipar. Madankollu, din l-għażla timpatta ftit, għax kollha jesponu l-istess API f’format OpenAI—dan id-denominatur komuni jħalli lil Vibe jikkonnetta mingħajr ma jaf xejn dwar il-magna li qed taħdem warajha.

GET  /v1/models              # List available models
POST /v1/chat/completions    # Chat completion (main)
GET  /health                 # Server status (vLLM)

Il-konfigurazzjoni f’Vibe għalhekk hija identika bejn il-qrafas: jinbidel biss il-port.

vLLM      → http://localhost:8080
LM Studio → http://localhost:1234
Ollama    → http://localhost:11434
llama.cpp → http://localhost:8080

Tista’ tibda b’Ollama biex issib saqajjek, timmigra lejn llama.cpp biex tottimizza l-kwantizzazzjoni, imbagħad tibdel għal vLLM il-jum li t-tim tiegħek jaqsam server GPU—mingħajr ma tmiss il-konfigurazzjoni ta’ Vibe tiegħek.

Sommarju tal-Kors

Dan il-vjaġġ ħadek permezz tal-ekosistema avvanzata ta’ Mistral Vibe. Tagħlimt tikkontrolla min jesegwixxi l-kompiti tiegħek u b’liema permessi, permezz ta’ aġenti integrati u mbagħad aġenti personalizzati, u biex tikkalibra r-riskju b’sakketti reali: listi ta’ għodod, permessi għal kull għodda, u folders affidabbli, bil-qasam safety iservi biss bħala tikketta viżiva. Il-modalitajiet unifikati jgħaqqdu għodod, permessi u imġieba f’profili li jistgħu jiġu attivati; is-subaġenti jiddelegaw kompiti speċjalizzati b’mod indipendenti. Imbagħad ibnejt komponenti li jistgħu jerġgħu jintużaw b’ħiliet u l-SKILL.md tagħhom, imnedija b’kmandijiet slash f’ġest waħda, u assemblajt modalitajiet adattati għaċ-ċiklu ta’ żvilupp tiegħek—review, deploy, lint. Iċ-ċarifikazzjoni multi-għażla wrietek kif Vibe jistaqsi qabel ma jaġixxi meta l-affarijiet ikunu ambigwi, u l-modalità lokali ma’ Devstral fetħet it-triq għal ambjent kunfidenzjali, offline u sovran. Issa għandek l-għodod kollha biex tibni ambjent ta’ żvilupp assistit mill-AI li jirrispetta r-restrizzjonijiet tas-sigurtà, il-prestazzjoni u s-sovranità tiegħek.

Punti Ewlenin

  • llama.cpp: C++ pur, multi-pjattaforma, eċċellenti fuq Apple Silicon
  • LM Studio: Interfaċċja grafika, ideali għall-bidu
  • Ollama: L-aktar installazzjoni mgħaġġla, fluss tax-xogħol simili għal Docker
  • vLLM: Irrikmandat għall-produzzjoni b’GPUs tas-server
  • Kollha jesponu API kompatibbli ma’ OpenAI—Vibe jikkonnetta b’mod trasparenti
  • Agħżel il-qafas tiegħek abbażi tal-hardware u l-livell ta’ kumdità tiegħek

Ittestja l-Għarfien Tiegħek

Aġenti, ħiliet, modalitajiet, lokali: Vibe avvanzat f’ħames punti.

1. X'jippermettu l-aġenti personalizzati f'TOML?

Tweġiba: Tiddefinixxi l-aġenti tiegħek stess—istruzzjonijiet, għodod, imġieba—f’fajl TOML: l-aġent speċjalizzat tat-tim tiegħek isir artifatt b’verżjoni.

2. Il-qasam tas-sigurtà ta' aġent (safe, neutral, destructive, smart, yolo) jillimita l-azzjonijiet tiegħu?

Tweġiba: Le. Huwa indikazzjoni viżiva li tikkwadra l-bord tal-input. Dak li verament jillimita aġent huma enabled_tools u disabled_tools, il-permessi [tools.<tool>] (always, ask, never), l-ambitu tad-direttorju tax-xogħol, u l-folders affidabbli.

3. Ħiliet u kmandijiet slash: kif jaħdmu flimkien?

Tweġiba: Ħila (SKILL.md) tinkapsula proċedura li tista’ terġa’ tintuża; il-kmand slash jniediha f’ġest wieħed—iskoperta, attivazzjoni u prijorità jimmaniġġjaw il-katalgu.

4. Għal xiex iservu s-subaġenti?

Tweġiba: Biex jiddelegaw sottokompiti speċjalizzati lil aġenti ddedikati—l-aġent prinċipali jorkestra, is-subaġenti jesegwixxu l-ispeċjalità tagħhom.

5. Kif tħaddem Vibe kompletament lokalment?

Tweġiba: Billi sservi mudell miftuħ rrakkomandat (Devstral Small 2 jew Mistral Small 4) b’vLLM jew alternattiva (llama.cpp, LM Studio, Ollama), tiddikjarah bħala fornitur f’config.toml, imbagħad tiddiżattiva t-telemetrija u l-kontrolli tal-aġġornament (enable_telemetry = false, enable_update_checks = false).

Aġenti ddikjarati, sigurtà gradwata, ħiliet mgħammra, lokali possibbli: Vibe avvanzat huwa pjattaforma—ikkonfiguraha biex taqbel mat-tim tiegħek.