Lähe põhisisu juurde
Eesti— Vali keel
Menüü

Alternatiivid kohalikuks kasutamiseks: llama.cpp, LM Studio, Ollama

Õppetund 14 / 14 Värskendatud 2. november 2026 Edasijõudnutele
Sellel lehel
  1. Enam kui ainult vLLM
  2. llama.cpp: maksimaalne portatiivsus
  3. LM Studio: kõik hiirega
  4. Ollama: kiireim seadistamine
  5. Valimine ja miks valikul pole suurt tähtsust
  6. Kursuse kokkuvõte
  7. Peamised punktid
  8. Testi oma teadmisi

Tund uuendatud 2. novembril 2026, tuginedes Vibe dokumentatsiooni lehele Using offline models. Devstral on Mistral API-st eemaldatud, kuid selle kaalud on endiselt avalikud: Devstral Small 2 ja Mistral Small 4 on kaks soovitatavat avatud mudelit kohalikuks kasutamiseks. Vibe ei paki kohalikku mudelit kaasa: sa ühendad selle ühilduva OpenAI serveriga eelseadistuse kaudu failis config.toml ja lülitud mudelite vahel käsuga /model. Allikas: Using offline models.

Enam kui ainult vLLM

vLLM on raamistik, mida Vibe dokumentatsioon soovitab Devstrali teenindamiseks, kuid see pole ainus võimalus. Kolm alternatiivi katavad stsenaariume, kus vLLM-il on raskusi: Apple Siliconi Mac, Windowsi masin, kus installatsioon takerdub, või soov testida mudelit viie minutiga. Kõigil neil on üks oluline ühisjoon – need pakuvad OpenAI-ga ühilduvat API-t, muutes need Vibe’i seisukohalt omavahel asendatavaks.

llama.cpp: maksimaalne portatiivsus

llama.cpp on puhtas C/C++ kirjutatud järeldusmootor, mis on loodud töötama võimalikult paljudel platvormidel minimaalsete sõltuvustega. See piirang on selle tugevus: see töötab Linuxis, macOS-is ja Windowsis, sealhulgas ARM-il – nii Apple Silicon kui ka Raspberry Pi. Selle loomulik GGUF kvantimine Q4, Q5 või Q8 vormingus teeb selle eriti sobivaks tarbijatele mõeldud GPU-dele, kus VRAM on piiratud. See ei vaja ei Pythonit ega täielikku CUDA tööriistakomplekti ning selle jõudlus Apple Siliconil Metal’i kaudu, samuti NVIDIA-l, on suurepärane. Kompromissiks on kompileerimisetapp.

# Kloonimine ja kompileerimine
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
make LLAMA_CUDA=1  # CUDA toega

# Serveri käivitamine
./llama-server \
  -m devstral-small-2-24b-instruct.Q4_K_M.gguf \
  --port 8080 \
  -ngl 99 \
  -c 32768

Peamised lipud:

  • -m: mudeli asukoht GGUF vormingus
  • -ngl 99: GPU-le üle kantud kihtide arv (99 = kõik)
  • -c 32768: kontekstiakna suurus
  • --port 8080: API port

Praktikas kohandad sa -ngl väärtust: kui mudel keeldub laadimast, vähenda GPU-le saadetavate kihtide arvu. Vali llama.cpp, kui kasutad Apple Siliconi Maci (M1 kuni M4), soovid vältida Pythoni sõltuvusi, vajad väikese GPU jaoks kõige agressiivsemat kvantimist või töötad ARM-il – olgu selleks Gravitoni server või Raspberry Pi.

LM Studio: kõik hiirega

LM Studio on töölauarakendus, mis taandab kohaliku kasutuselevõtu paale klõpsule. Selle liides haldab allalaadimist, konfiguratsiooni ja käivitamist; selle kataloog võimaldab sirvida ja tuua mudeleid Hugging Face’ist ilma käsurea kasutamiseta; selle sisseehitatud OpenAI-ga ühilduv API-server ei vaja häälestamist. Rakendus töötab Windowsis, macOS-is ja Linuxis. Seadistamine toimub täielikult liideses:

  1. Ava LM Studio
  2. Laadi alla Devstral Small 2 kataloogist
  3. Laadi mudel
  4. Luba kohalik server (nupp “Start Server”)
  5. Vibe’is: deklareeri LM Studio server OpenAI-ga ühilduva pakkujana failis config.toml (selle aadress ilmub LM Studiosse), seejärel vali mudel käsuga /model

Jälgi porti: LM Studio kuulab vaikimisi porti 1234. Kui sinu Vibe ootab porti 8080, kohanda kas LM Studio konfiguratsiooni või Vibe’i seadeid – see on kõige levinum põhjus, miks “Vibe ei leia serverit”, kuigi mudel on laaditud. LM Studio sobib sulle, kui oled kohalike mudelitega alles algaja, eelistad graafilist liidest käsureale, soovid kiiresti testida mitut mudelit või kasutad Windowsi ja vLLM-i installatsioon tekitab probleeme.

Ollama: kiireim seadistamine

Ollama laenab Dockeri ergonoomikat: üks käsk mudeli toomiseks, teine selle käivitamiseks. Installatsioon võtab ühe rea, haldus kasutab käske ollama pull, ollama run ja ollama list, OpenAI-ga ühilduv API on sisseehitatud ja vaikimisi aktiivne ning mudeleid uuendatakse nagu Dockeri pilte.

# Ollama installimine
curl -fsSL https://ollama.com/install.sh | sh

# Devstral Small 2 allalaadimine ja käivitamine
ollama pull devstral-small-2

# Mudeli käivitamine (API server käivitub automaatselt)
ollama run devstral-small-2

Server kuulab porti 11434, OpenAI-ga ühilduv lõpp-punkt asub aadressil http://localhost:11434/v1/: see on api_base, mille deklareerid Vibe’i pakkujas, koos mudeli eelseadistusega name = "devstral-small-2". Vali Ollama, kui soovid alustada võimalikult kiiresti, hallata mitut mudelit testimiseks, oled harjunud Dockeri töövoogudega või soovid järeldusserverit, mis töötab taustal püsivalt.

Valimine ja miks valikul pole suurt tähtsust

Iga raamistik hõivab eraldiseisva niši. vLLM pakub parimat tootmisjõudlust koos loomuliku mitme GPU toega: see on valik pühendatud serveritele, mis on varustatud H100 või A100-ga. llama.cpp võidab portatiivsuses, hiilgab Apple Siliconil ja tarbijatele mõeldud GPU-del ning jätab Pythoni kõrvale. LM Studio võidab ergonoomikas, pakkudes täielikku graafilist liidest, mis on ideaalne kohalike mudelite avastamiseks. Ollama pakub kiireimat seadistamist ja lihtsustatud mudelihaldust, mis on suurepärane testimiseks ja prototüüpimiseks. Ometi pole sellel valikul suurt tähtsust, sest kõik need pakuvad sama OpenAI-vormingus API-t – see ühine nimetaja võimaldab Vibe’il ühenduda, teadmata midagi selle taga töötava mootori kohta.

GET  /v1/models              # Loetle saadaolevad mudelid
POST /v1/chat/completions    # Vestluse lõpetamine (peamine)
GET  /health                 # Serveri olek (vLLM)

Konfiguratsioon Vibe’is on seetõttu kõigi raamistike puhul identne: muutub ainult port.

vLLM      → http://localhost:8080
LM Studio → http://localhost:1234
Ollama    → http://localhost:11434
llama.cpp → http://localhost:8080

Saad alustada Ollamaga, et jalad märjaks teha, kolida llama.cpp juurde kvantimise optimeerimiseks ja seejärel lülituda vLLM-ile päeval, mil sinu meeskond jagab GPU-serverit – ilma et peaksid puutuma oma Vibe’i konfiguratsiooni.

Kursuse kokkuvõte

See teekond viis sind läbi Mistral Vibe’i arenenud ökosüsteemi. Sa õppisid kontrollima, kes täidab sinu ülesandeid ja milliste õigustega, kasutades sisseehitatud agente ja seejärel kohandatud agente, ning kalibreerima riske reaalsete lukkudega: tööriistade loendid, iga tööriista õigused ja usaldusväärsed kaustad, kus väli safety toimib ainult visuaalse sildina. Ühtsed režiimid koondavad tööriistad, õigused ja käitumise aktiveeritavateks profiilideks; alaagendid delegeerivad spetsialiseeritud ülesandeid iseseisvalt. Seejärel lõid uuestikasutatavaid komponente oskuste ja nende SKILL.md failidega, mida käivitatakse kaldkriipsu käsudega ühe liigutusega, ning koostasid režiime, mis on kohandatud sinu arendustsükli jaoks – läbivaatamine, juurutamine, lintimine. Mitme valikuga selgitamine näitas, kuidas Vibe küsib enne tegutsemist, kui asjad on ebaselged, ja kohalik režiim Devstraliga avas tee konfidentsiaalsesse, võrguühenduseta ja suveräänsesse keskkonda. Sul on nüüd kõik vahendid, et ehitada tehisintellekti abil toetatud arenduskeskkond, mis austab sinu turvalisuse, jõudluse ja suveräänsuse nõudeid.

Peamised punktid

  • llama.cpp: Puhas C++, platvormideülene, suurepärane Apple Siliconil
  • LM Studio: Graafiline liides, ideaalne algajatele
  • Ollama: Kiireim seadistamine, Dockeri-sarnane töövoog
  • vLLM: Soovitatav tootmiseks serveri GPU-dega
  • Kõik pakuvad OpenAI-ga ühilduvat API-t – Vibe ühendub läbipaistvalt
  • Vali raamistik vastavalt oma riistvarale ja mugavustasemele

Testi oma teadmisi

Agendid, oskused, režiimid, kohalik: arenenud Vibe viies punktis.

1. Mida võimaldavad kohandatud agendid TOML-failis?

Vastus: Määratle oma agendid – juhised, tööriistad, käitumine – TOML-failis: sinu meeskonna spetsialiseeritud agent muutub versioneeritavaks artefaktiks.

2. Kas agendi safety väli (safe, neutral, destructive, smart, yolo) piirab selle tegevust?

Vastus: Ei. See on visuaalne vihje, mis värvib sisendi äärise. Tegelikult piiravad agenti enabled_tools ja disabled_tools, [tools.<tool>] õigused (always, ask, never), töökataloogi ulatus ja usaldusväärsed kaustad.

3. Oskused ja kaldkriipsu käsud: kuidas need koos töötavad?

Vastus: Oskus (SKILL.md) kapseldab uuestikasutatava protseduuri; kaldkriipsu käsk käivitab selle ühe liigutusega – avastamine, aktiveerimine ja prioriteet haldavad kataloogi.

4. Milleks on alaagendid?

Vastus: Spetsialiseeritud alamülesannete delegeerimine pühendatud agentidele – peaagent orkestreerib, alaagendid täidavad oma eriala.

5. Kuidas käivitada Vibe täielikult kohalikult?

Vastus: Teenindades soovitatud avatud mudelit (Devstral Small 2 või Mistral Small 4) kasutades vLLM-i või alternatiivi (llama.cpp, LM Studio, Ollama), deklareerides selle pakkujana failis config.toml ja seejärel keelates telemmeetria ja värskenduste kontrolli (enable_telemetry = false, enable_update_checks = false).

Agendid deklareeritud, turvalisus hinnatud, oskused tööriistadega varustatud, kohalik kasutamine võimalik: arenenud Vibe on platvorm – konfigureeri see vastavalt oma meeskonnale.