Pāriet uz galveno saturu
Latviešu— Izvēlēties valodu
Izvēlne

Alternatīvas lokālajai lietošanai: llama.cpp, LM Studio, Ollama

Nodarbība 14 no 14 Atjaunota 2026. gada 2. novembris Augstākais
Šajā lapā
  1. Papildus vLLM
  2. llama.cpp: Maksimāla pārnēsājamība
  3. LM Studio: Viss ar peles klikšķi
  4. Ollama: Ātrākā iestatīšana
  5. Izvēle un kāpēc tai ir maza nozīme
  6. Kursu kopsavilkums
  7. Galvenās atziņas
  8. Pārbaudi savas zināšanas

Nodarbība atjaunināta 2026. gada 2. novembrī, pamatojoties uz Vibe dokumentācijas lapu Using offline models. Devstral ir izņemts no Mistral API, taču tā svari joprojām ir publiski pieejami: Devstral Small 2 un Mistral Small 4 ir divi ieteicamie atvērtie modeļi lokālai lietošanai. Vibe nepievieno lokālo modeli komplektācijā: tu to savieno ar saderīgu OpenAI serveri, izmantojot iepriekšēju iestatījumu failā config.toml, un pēc tam pārslēdzies, izmantojot /model. Avots: Using offline models.

Papildus vLLM

vLLM ir ietvars, ko Vibe dokumentācija iesaka Devstral apkalpošanai, taču tā nav vienīgā iespēja. Trīs alternatīvas sedz scenārijus, kuros vLLM ir problēmas: Apple Silicon Mac, Windows dators, kurā instalēšana iestrēgst, vai vēlme pārbaudīt modeli piecās minūtēs. Visām tām ir viena kopīga un svarīga iezīme — tās nodrošina OpenAI saderīgu API, padarot tās savstarpēji aizvietojamas no Vibe skatpunkta.

llama.cpp: Maksimāla pārnēsājamība

llama.cpp ir secināšanas dzinējs, rakstīts tīrā C/C++, kas izstrādāts darbībai pēc iespējas vairākās platformās ar minimālām atkarībām. Šis ierobežojums ir tā stiprā puse: tas darbojas Linux, macOS un Windows vidē, tostarp ARM arhitektūrā — gan Apple Silicon, gan Raspberry Pi. Tā natīvā GGUF kvantēšana formātos Q4, Q5 vai Q8 padara to īpaši piemērotu patērētāju GPU, kur VRAM ir ierobežots. Tam nav nepieciešams ne Python, ne pilns CUDA rīku komplekts, un tā veiktspēja uz Apple Silicon (izmantojot Metal) un NVIDIA ir izcila. Kompromiss ir kompilācijas solis.

# Klonēt un kompilēt
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
make LLAMA_CUDA=1  # Ar CUDA atbalstu

# Palaist serveri
./llama-server \
  -m devstral-small-2-24b-instruct.Q4_K_M.gguf \
  --port 8080 \
  -ngl 99 \
  -c 32768

Galvenie karogi:

  • -m: ceļš uz modeli GGUF formātā
  • -ngl 99: GPU izkrauto slāņu skaits (99 = visi)
  • -c 32768: konteksta loga izmērs
  • --port 8080: API ports

Praksē tu pielāgo -ngl: ja models atsakās ielādēties, samazini GPU nosūtāmo slāņu skaitu. Izvēlies llama.cpp, ja izmanto Apple Silicon Mac (no M1 līdz M4), vēlies izvairīties no jebkādām Python atkarībām, tev ir nepieciešama visagresīvākā kvantēšana mazam GPU vai strādā ARM vidē — Graviton serverī vai Raspberry Pi.

LM Studio: Viss ar peles klikšķi

LM Studio ir darbvirsmas lietotne, kas samazina lokālo izvietošanu līdz dažiem klikšķiem. Tā saskarne nodrošina lejupielādi, konfigurāciju un palaišanu; tās katalogs ļauj pārlūkot un iegūt modeļus no Hugging Face bez komandrindas; tajā iebūvētais OpenAI saderīgais API serveris neprasa nekādu pielāgošanu. Lietotne darbojas Windows, macOS un Linux. Iestatīšana notiek tikai saskarnē:

  1. Atver LM Studio
  2. Lejupielādē Devstral Small 2 no kataloga
  3. Ielādē modeli
  4. Aktivizē lokālo serveri (poga “Start Server”)
  5. Vibe: deklarē LM Studio serveri kā OpenAI saderīgu sniedzēju failā config.toml (tā adrese redzama LM Studio), pēc tam atlasa modeli ar /model

Pievērs uzmanību portam: LM Studio pēc noklusējuma klausās portā 1234. Ja tavs Vibe sagaida portu 8080, pielāgo vai nu LM Studio konfigurāciju, vai Vibe iestatījumus — tas ir visbiežākais iemesls, kāpēc “Vibe neatrod serveri”, lai gan models ir ielādēts. LM Studio ir piemērots tev, ja esi jauns lokālo modeļu pasaulē, dod priekšroku grafiskajai saskarnei nevis komandrindai, vēlies ātri pārbaudīt vairākus modeļus vai izmanto Windows, un vLLM instalēšana rada grūtības.

Ollama: Ātrākā iestatīšana

Ollama aizgūst Docker ergonomiku: viena komanda modeļa iegūšanai, otra tā palaišanai. Instalēšana aizņem vienu rindiņu, pārvaldība notiek ar ollama pull, ollama run un ollama list, OpenAI saderīgais API ir iebūvēts un aktīvs pēc noklusējuma, un modeļi tiek atjaunināti tāpat kā Docker attēli.

# Instalēt Ollama
curl -fsSL https://ollama.com/install.sh | sh

# Lejupielādēt un palaist Devstral Small 2
ollama pull devstral-small-2

# Palaist modeli (API serveris startējas automātiski)
ollama run devstral-small-2

Serveris klausās portā 11434, un OpenAI saderīgais galapunkts ir http://localhost:11434/v1/: tas ir api_base, kas jādeklarē Vibe sniedzējā, ar name = "devstral-small-2" modeļa iepriekšējā iestatījumā. Izvēlies Ollama, ja vēlies sākt darbu pēc iespējas ātrāk, pārvaldīt vairākus modeļus testēšanai, esi pieradis pie Docker darbplūsmām vai vēlies, lai secināšanas serveris nepārtraukti darbotos fonā.

Izvēle un kāpēc tai ir maza nozīme

Katrs ietvars ieņem savu nišu. vLLM nodrošina vislabāko ražošanas veiktspēju ar natīvu vairāku GPU atbalstu: tā ir izvēle specializētiem serveriem, kas aprīkoti ar H100 vai A100. llama.cpp uzvar pārnēsājamībā, izceļas uz Apple Silicon un patērētāju GPU un iztiek bez Python. LM Studio uzvar ergonomikā ar pilnu grafisko saskarni, kas ideāli piemērota lokālo modeļu iepazīšanās procesam. Ollama piedāvā ātrāko iestatīšanu un vienkāršotu modeļu pārvaldību, kas ir lieliski piemērots testēšanai un prototipēšanai. Taču šai izvēlei ir maza nozīme, jo visi tie nodrošina vienu un to pašu OpenAI formāta API — šis kopīgais saucējs ļauj Vibe izveidot savienojumu, nezinot neko par dzinēju, kas darbojas aizkulisēs.

GET  /v1/models              # Pieejamo modeļu saraksts
POST /v1/chat/completions    # Sarunas pabeigšana (galvenais)
GET  /health                 # Servera statuss (vLLM)

Tāpēc konfigurācija Vibe ir identiska visos ietvaros: mainās tikai ports.

vLLM      → http://localhost:8080
LM Studio → http://localhost:1234
Ollama    → http://localhost:11434
llama.cpp → http://localhost:8080

Tu vari sākt ar Ollama, lai iegūtu pirmo pieredzi, pāriet uz llama.cpp, lai optimizētu kvantēšanu, un pēc tam pāriet uz vLLM dienā, kad tava komanda koplieto GPU serveri — nepieskaroties tavai Vibe konfigurācijai.

Kursu kopsavilkums

Šis ceļojums tevi aizveda cauri Mistral Vibe uzlabotajai ekosistēmai. Tu iemācījies kontrolēt, kas izpilda tavus uzdevumus un ar kādām atļaujām, izmantojot iebūvētos aģentus un pēc tam pielāgotus aģentus, kā arī kalibrēt risku ar reālām slēdzenēm: rīku sarakstiem, atļaujām katram rīkam un uzticamām mapēm, kur lauks safety kalpo tikai kā vizuāla etiķete. Apvienotie režīmi sapako rīkus, atļaujas un uzvedību aktivizējamos profilos; apakšaģenti deleģē specializētus uzdevumus neatkarīgi. Pēc tam tu izveidoji atkārtoti izmantojamus komponentus ar prasmēm un to SKILL.md, ko palaiž ar slīpsvītru komandām vienā žestā, un salikusi režīmus, kas pielāgoti tava izstrādes ciklam — pārskatīšanai, izvietošanai, lintēšanai. Daudzvērtību precizēšana parādīja, kā Vibe jautā pirms darbības, ja lietas ir neskaidras, un lokālais režīms ar Devstral atvēra ceļu uz konfidenciālu, bezsaistes un suverēnu vidi. Tagad tev ir visi rīki, lai izveidotu ar AI palīdzētu izstrādes vidi, kas ievēro tavus drošības, veiktspējas un suverenitātes ierobežojumus.

Galvenās atziņas

  • llama.cpp: Tīrs C++, starpplatformu, izcils uz Apple Silicon
  • LM Studio: Grafiskā saskarne, ideāli iesācējiem
  • Ollama: Ātrākā iestatīšana, Docker līdzīga darbplūsma
  • vLLM: Ieteicams ražošanai ar servera GPU
  • Visi nodrošina OpenAI saderīgu API — Vibe pieslēdzas caurspīdīgi
  • Izvēlies savu ietvaru, balstoties uz savu aparatūru un pieredzes līmeni

Pārbaudi savas zināšanas

Aģenti, prasmes, režīmi, lokālais režīms: uzlabots Vibe piecos punktos.

1. Ko ļauj pielāgoti aģenti TOML formātā?

Atbilde: Definēt savus aģentus — instrukcijas, rīkus, uzvedību — TOML failā: tavas komandas specializētais aģents kļūst par versijētu artefaktu.

2. Vai aģenta drošības lauks (safe, neutral, destructive, smart, yolo) ierobežo tā darbības?

Atbilde: Nē. Tas ir vizuāls signāls, kas iekrāso ievades robežu. To, kas patiesi ierobežo aģentu, nosaka enabled_tools un disabled_tools, [tools.<tool>] atļaujas (always, ask, never), darba direktorija darbības joma un uzticamās mapes.

3. Prasmes un slīpsvītru komandas: kā tās strādā kopā?

Atbilde: Prasme (SKILL.md) iekapsulē atkārtoti izmantojamu procedūru; slīpsvītru komanda to aktivizē vienā žestā — atklāšana, aktivizēšana un prioritāte pārvalda katalogu.

4. Kam paredzēti apakšaģenti?

Atbilde: Specializētu apakšuzdevumu deleģēšanai specializētiem aģentiem — galvenais aģents orķestrē, apakšaģenti izpilda savu specialitāti.

5. Kā palaist Vibe pilnībā lokāli?

Atbilde: Apkalpojot ieteicamo atvērto modeli (Devstral Small 2 vai Mistral Small 4) ar vLLM vai alternatīvu (llama.cpp, LM Studio, Ollama), deklarējot to kā sniedzēju failā config.toml un pēc tam atspējojot telemetriju un atjauninājumu pārbaudes (enable_telemetry = false, enable_update_checks = false).

Aģenti deklarēti, drošība novērtēta, prasmes aprīkotas, lokālais režīms iespējams: uzlabots Vibe ir platforma — konfigurē to tā, lai tā atbilstu tavai komandai.