Preskok na glavno vsebino
Slovenščina— Izberite jezik
Meni

Lokalne alternative: llama.cpp, LM Studio, Ollama

Lekcija 14 od 14 Posodobljeno 2. november 2026 Napredni
Na tej strani
  1. Onkraj vLLM
  2. llama.cpp: Največja prenosljivost
  3. LM Studio: Vse z miško
  4. Ollama: Najhitrejša namestitev
  5. Izbira in zakaj izbira ni tako pomembna
  6. Povzetek tečaja
  7. Ključne ugotovitve
  8. Preveri svoje znanje

Lekcija posodobljena 2. novembra 2026 na podlagi strani Uporaba modelov brez povezave v dokumentaciji Vibe. Devstral je bil odstranjen iz API-ja Mistral, vendar so njegove uteži še vedno objavljene: Devstral Small 2 in Mistral Small 4 sta dva priporočena odprta modela za lokalno uporabo. Vibe ne vključuje lokalnega modela: povežeš ga s združljivim strežnikom OpenAI prek prednastavitve v config.toml, nato pa preklopiš z ukazom /model. Vir: Uporaba modelov brez povezave.

Onkraj vLLM

vLLM je ogrodje, ki ga dokumentacija Vibe priporoča za gostovanje Devstrala, vendar ni edina možnost. Tri alternative pokrivajo scenarije, kjer ima vLLM težave: Mac z Apple Silicon, računalnik z Windowsi, kjer se namestitev zatakne, ali želja po testiranju modela v petih minutah. Vsi imajo eno skupno lastnost, ki je pomembna – izpostavljajo API, združljiv z OpenAI, zaradi česar so z vidika Vibea zamenljivi.

llama.cpp: Največja prenosljivost

llama.cpp je pogon za sklepanje, napisan v čistem C/C++, zasnovan tako, da deluje na čim več platformah z minimalnimi odvisnostmi. Ta omejitev je njegova prednost: deluje na Linuxu, macOS in Windowsih, vključno z arhitekturo ARM – tako Apple Silicon kot Raspberry Pi. Njegova izvorna kvantizacija GGUF v Q4, Q5 ali Q8 ga naredi še posebej primernega za potrošniške grafične kartice, kjer je VRAM omejen. Ne zahteva niti Pythona niti polnega orodja CUDA, njegova zmogljivost na Apple Silicon prek Metal ter na NVIDIA pa je odlična. Kompromis je korak kompajliranja.

# Kloniraj in kompajliraj
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
make LLAMA_CUDA=1  # S podporo za CUDA

# Zaženi strežnik
./llama-server \
  -m devstral-small-2-24b-instruct.Q4_K_M.gguf \
  --port 8080 \
  -ngl 99 \
  -c 32768

Ključne zastavice:

  • -m: pot do modela v formatu GGUF
  • -ngl 99: število plasti, prenesenih na GPU (99 = vse)
  • -c 32768: velikost okna konteksta
  • --port 8080: vrata API-ja

V praksi prilagodiš -ngl: če se model noče naložiti, zmanjšaj število plasti, poslanih na GPU. Izberi llama.cpp, če uporabljaš Mac z Apple Silicon (M1 do M4), se želiš izogniti kakršnim koli odvisnostim Pythona, potrebuješ najbolj agresivno kvantizacijo za majhen GPU ali delaš na ARM – strežnik Graviton, Raspberry Pi.

LM Studio: Vse z miško

LM Studio je namizna aplikacija, ki lokalno namestitev zmanjša na nekaj klikov. Njegov vmesnik upravlja prenos, konfiguracijo in zagon; njegov katalog ti omogoča brskanje in pridobivanje modelov s Hugging Face brez ukazne vrstice; njegov vgrajeni strežnik API, združljiv z OpenAI, ne zahteva nobenega prilagajanja. Aplikacija deluje na Windowsih, macOS in Linuxu. Nastavitev poteka izključno v vmesniku:

  1. Odpri LM Studio
  2. Prenesi Devstral Small 2 iz kataloga
  3. Naloži model
  4. Omogoči lokalni strežnik (gumb „Start Server”)
  5. V Vibeu: v config.toml deklariraj strežnik LM Studio kot ponudnika, združljivega z OpenAI (njegov naslov je prikazan v LM Studio), nato izberi model z /model

Bodi pozoren na vrata: LM Studio privzeto posluša na 1234. Če Vibe pričakuje vrata 8080, prilagodi konfiguracijo LM Studio ali Vibea – to je najpogostejši vzrok za sporočilo „Vibe ne more najti strežnika”, čeprav je model naložen. LM Studio je zate primeren, če si nov pri lokalnih modelih, imaš raje grafični vmesnik kot ukazno vrstico, želiš hitro testirati več modelov ali si na Windowsih in ti namestitev vLLM povzroča težave.

Ollama: Najhitrejša namestitev

Ollama si izposoja ergonomijo Dockerja: en ukaz za pridobitev modela, drug za njegovo zagon. Namestitev zahteva eno vrstico, upravljanje uporablja ollama pull, ollama run in ollama list, API, združljiv z OpenAI, je vgrajen in privzeto aktiven, modeli pa se posodabljajo kot slike Docker.

# Namesti Ollama
curl -fsSL https://ollama.com/install.sh | sh

# Prenesi in zaženi Devstral Small 2
ollama pull devstral-small-2

# Zaženi model (strežnik API se zažene samodejno)
ollama run devstral-small-2

Strežnik posluša na vratih 11434, končna točka, združljiva z OpenAI, pa je na http://localhost:11434/v1/: to je api_base, ki ga deklariraš v ponudniku Vibe, z name = "devstral-small-2" v prednastavitvi modela. Izberi Ollama, če želiš začeti čim hitreje, upravljati z več modeli za testiranje, si vajen delovnih tokov Docker ali želiš strežnik za sklepanje, ki neprekinjeno teče v ozadju.

Izbira in zakaj izbira ni tako pomembna

Vsako ogrodje zaseda drugačno nišo. vLLM zagotavlja najboljšo zmogljivost v proizvodnem okolju s podporo za več GPU-jev: to je izbira za namenske strežnike, opremljene s H100 ali A100. llama.cpp zmaga pri prenosljivosti, blesti na Apple Silicon in potrošniških GPU-jih ter preskoči Python. LM Studio zmaga pri ergonomiji s popolnim grafičnim vmesnikom, idealnim za odkrivanje lokalnih modelov. Ollama ponuja najhitrejšo namestitev in poenostavljeno upravljanje modelov, kar je odlično za testiranje in prototipiranje. Vendar ta izbira ni tako pomembna, ker vsi izpostavljajo isti API v formatu OpenAI – ta skupni imenovalec omogoča Vibeu povezavo, ne da bi karkoli vedel o pogonu, ki teče v ozadju.

GET  /v1/models              # Izpiši razpoložljive modele
POST /v1/chat/completions    # Dokončanje klepeta (glavno)
GET  /health                 # Stanje strežnika (vLLM)

Konfiguracija v Vibeu je zato enaka v vseh ogrodjih: spremenijo se le vrata.

vLLM      → http://localhost:8080
LM Studio → http://localhost:1234
Ollama    → http://localhost:11434
llama.cpp → http://localhost:8080

Začneš lahko z Ollama, da pridobiš občutek, preideš na llama.cpp za optimizacijo kvantizacije, nato pa preklopiš na vLLM, ko si tvoja ekipa deli strežnik z GPU-jem – ne da bi se dotaknil konfiguracije Vibea.

Povzetek tečaja

Ta pot te je popeljala skozi napredni ekosistem Mistral Vibe. Naučil si se nadzorovati, kdo izvaja tvoje naloge in s kakšnimi dovoljenji, prek vgrajenih agentov in nato prilagojenih agentov, ter umerjati tveganje z resničnimi zaklepami: seznami orodij, dovoljenji za posamezno orodje in zaupanja vrednimi mapami, pri čemer polje safety služi le kot vizualna oznaka. Enotni načini združujejo orodja, dovoljenja in vedenja v profile, ki jih je mogoče aktivirati; podagenti neodvisno delegirajo specializirane naloge. Nato si zgradil ponovno uporabljene komponente z veščinami in njihovim SKILL.md, ki se sprožijo z ukazi poševnice v enem samem gib, in sestavil načine, prilagojene tvojemu razvojnemu ciklu – pregled, uvedba, lint. Pojasnjevanje z več izbirami ti je pokazalo, kako Vibe vpraša pred dejanjem, ko so stvari dvoumne, lokalni način z Devstralom pa je odprl pot do zaupnega, brez povezave delujočega in suverenega okolja. Zdaj imaš vsa orodja za izgradnjo razvojnega okolja s pomočjo AI, ki spoštuje tvoje omejitve glede varnosti, zmogljivosti in suverenosti.

Ključne ugotovitve

  • llama.cpp: Čisti C++, večplatformski, odličen na Apple Silicon
  • LM Studio: Grafični vmesnik, idealen za začetnike
  • Ollama: Najhitrejša namestitev, delovni tok podoben Dockerju
  • vLLM: Priporočljivo za proizvodno okolje s strežniškimi GPU-ji
  • Vsi izpostavljajo API, združljiv z OpenAI – Vibe se poveže pregledno
  • Izbira ogrodja naj temelji na tvoji strojni opremi in stopnji udobja

Preveri svoje znanje

Agenti, veščine, načini, lokalno: napredni Vibe v petih točkah.

1. Kaj omogočajo prilagojeni agenti v TOML?

Odgovor: Opredeliš svoje agente – navodila, orodja, vedenje – v datoteki TOML: specializirani agent tvoje ekipe postane različičen artefakt.

2. Ali polje varnosti agenta (safe, neutral, destructive, smart, yolo) omejuje njegova dejanja?

Odgovor: Ne. To je vizualni namig, ki obarva rob vnosa. Tisto, kar dejansko omejuje agenta, sta enabled_tools in disabled_tools, dovoljenja [tools.<tool>] (always, ask, never), obseg delovnega imenika in zaupanja vredne mape.

3. Veščine in ukazi poševnice: kako delujejo skupaj?

Odgovor: Veščina (SKILL.md) zajame ponovno uporaben postopek; ukaz poševnice ga sproži v enem gib – odkrivanje, aktivacija in prednost upravljata katalog.

4. Čemu služijo podagenti?

Odgovor: Delegiranju specializiranih podnalog namenskim agentom – glavni agent usklajuje, podagenti izvajajo svojo specialnost.

5. Kako zaženeš Vibe popolnoma lokalno?

Odgovor: Z gostovanjem priporočenega odprtega modela (Devstral Small 2 ali Mistral Small 4) z vLLM ali alternativo (llama.cpp, LM Studio, Ollama), njegovo deklaracijo kot ponudnika v config.toml, nato pa onemogočitvijo telematike in preverjanj posodobitev (enable_telemetry = false, enable_update_checks = false).

Agenti deklarirani, varnost ocenjena, veščine opremljene z orodji, lokalno mogoče: napredni Vibe je platforma – konfiguriraj ga tako, da ustreza tvoji ekipi.