Prejsť na hlavný obsah
Slovenčina— Vyberte jazyk
Menu

Lokálne alternatívy: llama.cpp, LM Studio, Ollama

Lekcia 14 z 14 Aktualizované 2. novembra 2026 Pokročilý
Na tejto strane
  1. Mimo vLLM
  2. llama.cpp: Maximálna prenosnosť
  3. LM Studio: Všetko pomocou myši
  4. Ollama: Najrýchlejšie nastavenie
  5. Výber a prečo na ňom až tak nezáleží
  6. Zhrnutie kurzu
  7. Kľúčové poznatky
  8. Otestuj si svoje vedomosti

Lekcia aktualizovaná 2. novembra 2026 na základe stránky Using offline models v dokumentácii Vibe. Devstral bol odstránený z Mistral API, ale jeho váhy zostávajú zverejnené: Devstral Small 2 a Mistral Small 4 sú dva odporúčané otvorené modely pre lokálne použitie. Vibe nebalí lokálny model: pripojíš ho ku kompatibilnému serveru OpenAI cez predvoľbu v súbore config.toml a následne prepneš pomocou /model. Zdroj: Using offline models.

Mimo vLLM

vLLM je framework, ktorý dokumentácia Vibe odporúča na obsluhu Devstralu, ale nie je to jediná možnosť. Tri alternatívy pokrývajú scenáre, kde má vLLM problémy: Mac s čipom Apple Silicon, stroj s Windows, kde sa inštalácia zasekne, alebo túžba otestovať model do piatich minút. Všetky zdieľajú jednu dôležitú vec – vystavujú API kompatibilné s OpenAI, čo ich z pohľadu Vibe robí zameniteľnými.

llama.cpp: Maximálna prenosnosť

llama.cpp je inferenčný engine napísaný v čistom C/C++, navrhnutý tak, aby bežal na čo najviac platformách s minimálnymi závislosťami. Toto obmedzenie je jeho silnou stránkou: funguje na Linuxe, macOS aj Windows, vrátane architektúry ARM – či už ide o Apple Silicon alebo Raspberry Pi. Jeho natívna kvantizácia GGUF vo formátoch Q4, Q5 alebo Q8 ho robí obzvlášť vhodným pre bežné GPU, kde je VRAM obmedzená. Nepotrebuje ani Python, ani plný toolkit CUDA a jeho výkon na Apple Silicon cez Metal, ako aj na NVIDIA, je vynikajúci. Kompromisom je krok kompilácie.

# Klonovanie a kompilácia
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
make LLAMA_CUDA=1  # S podporou CUDA

# Spustenie servera
./llama-server \
  -m devstral-small-2-24b-instruct.Q4_K_M.gguf \
  --port 8080 \
  -ngl 99 \
  -c 32768

Kľúčové príznaky:

  • -m: cesta k modelu vo formáte GGUF
  • -ngl 99: počet vrstiev presunutých na GPU (99 = všetky)
  • -c 32768: veľkosť kontextového okna
  • --port 8080: port API

V praxi upravíš -ngl: ak sa model odmietne načítať, zníž počet vrstiev odoslaných na GPU. Vyber si llama.cpp, ak máš Mac s čipom Apple Silicon (M1 až M4), chceš sa vyhnúť akýmkoľvek závislostiam na Pythone, potrebuješ najagresívnejšiu kvantizáciu pre malé GPU alebo pracuješ na ARM – server Graviton, Raspberry Pi.

LM Studio: Všetko pomocou myši

LM Studio je desktopová aplikácia, ktorá redukuje lokálne nasadenie na niekoľko kliknutí. Jej rozhranie rieši sťahovanie, konfiguráciu a spustenie; jej katalóg ti umožňuje prehliadať a sťahovať modely z Hugging Face bez príkazového riadku; jej vstavaný server API kompatibilný s OpenAI nevyžaduje žiadne ladenie. Aplikácia beží na Windows, macOS aj Linuxe. Nastavenie prebieha výlučne v rozhraní:

  1. Otvor LM Studio
  2. Stiahni Devstral Small 2 z katalógu
  3. Načítaj model
  4. Povoľ lokálny server (tlačidlo „Start Server“)
  5. Vo Vibe: deklaruj server LM Studio ako poskytovateľa kompatibilného s OpenAI v súbore config.toml (jeho adresa sa zobrazuje v LM Studio) a potom vyber model pomocou /model

Dávaj pozor na port: LM Studio štandardne počúva na porte 1234. Ak tvoje Vibe očakáva port 8080, uprav buď konfiguráciu LM Studio, alebo Vibe – toto je najčastejšia príčina chyby „Vibe nemôže nájsť server“, hoci je model načítaný. LM Studio sa ti hodí, ak si začiatočník v oblasti lokálnych modelov, uprednostňuješ grafické rozhranie pred príkazovým riadkom, chceš rýchlo otestovať niekoľko modelov alebo máš Windows a inštalácia vLLM ti robí problémy.

Ollama: Najrýchlejšie nastavenie

Ollama si požičiava ergonómiu Dockeru: jeden príkaz na stiahnutie modelu, druhý na jeho spustenie. Inštalácia zaberie jeden riadok, správa využíva príkazy ollama pull, ollama run a ollama list, API kompatibilné s OpenAI je vstavané a štandardne aktívne a modely sa aktualizujú ako obrazy Dockeru.

# Inštalácia Ollama
curl -fsSL https://ollama.com/install.sh | sh

# Stiahnutie a spustenie Devstral Small 2
ollama pull devstral-small-2

# Spustenie modelu (server API sa spustí automaticky)
ollama run devstral-small-2

Server počúva na porte 11434, pričom koncový bod API kompatibilný s OpenAI je na adrese http://localhost:11434/v1/: toto je api_base, ktoré treba deklarovať v poskytovateľovi Vibe, spolu s name = "devstral-small-2" v predvoľbe modelu. Vyber si Ollama, ak chceš začať čo najrýchlejšie, potrebuješ žonglovať s viacerými modelmi na testovanie, vyhovuje ti workflow Dockeru alebo chceš mať inferenčný server trvalo spustený na pozadí.

Výber a prečo na ňom až tak nezáleží

Každý framework zaujíma inú výklenok. vLLM prináša najlepší výkon pre produkciu s natívnou podporou viacerých GPU: je to voľba pre vyhradené servery vybavené čipmi H100 alebo A100. llama.cpp víťazí v prenosnosti, exceluje na Apple Silicon a bežných GPU a obíde sa bez Pythonu. LM Studio víťazí v ergonómii vďaka kompletnému grafickému rozhraniu ideálnemu na objavovanie lokálnych modelov. Ollama ponúka najrýchlejšie nastavenie a zjednodušenú správu modelov, čo je skvelé na testovanie a prototypovanie. No tento výber až tak nezáleží, pretože všetky vystavujú rovnaké API vo formáte OpenAI – tento spoločný menovateľ umožňuje Vibe pripojiť sa bez toho, aby vedelo niečo o engine bežiacom na pozadí.

GET  /v1/models              # Zoznam dostupných modelov
POST /v1/chat/completions    # Dokončenie konverzácie (hlavné)
GET  /health                 # Stav servera (vLLM)

Konfigurácia vo Vibe je preto vo všetkých frameworkoch identická: mení sa iba port.

vLLM      → http://localhost:8080
LM Studio → http://localhost:1234
Ollama    → http://localhost:11434
llama.cpp → http://localhost:8080

Môžeš začať s Ollama, aby si si vyskúšal vody, migrovať na llama.cpp na optimalizáciu kvantizácie a potom prejsť na vLLM v deň, keď si tvoj tím bude zdieľať GPU server – bez toho, aby si musel dotknúť konfigurácie Vibe.

Zhrnutie kurzu

Táto cesta ťa previedla pokročilým ekosystémom Mistral Vibe. Naučil si sa kontrolovať, kto vykonáva tvoje úlohy a s akými oprávneniami, prostredníctvom vstavaných agentov aj vlastných agentov, a kalibrovať riziko pomocou skutočných zámkov: zoznamy nástrojov, oprávnenia pre jednotlivé nástroje a dôveryhodné priečinky, pričom pole safety slúži len ako vizuálny štítok. Zjednotené módy zlučujú nástroje, oprávnenia a správanie do aktivovateľných profilov; podagenti delegujú špecializované úlohy nezávisle. Následne si zostavil opakovane použiteľné komponenty pomocou zručností (skills) a ich súborov SKILL.md, spúšťaných lomkovými príkazmi jediným gestom, a poskladal módy šité na mieru tvojmu vývojovému cyklu – review, nasadenie, linting. Objasňovanie s viacerými možnosťami ti ukázalo, ako sa Vibe pýta pred konaním, keď sú veci nejednoznačné, a lokálny režim s Devstral otvoril cestu k dôvernému, offline a suverénnemu prostrediu. Teraz máš všetky nástroje na vybudovanie vývojového prostredia asistovaného AI, ktoré rešpektuje tvoje obmedzenia týkajúce sa bezpečnosti, výkonu a suverenity.

Kľúčové poznatky

  • llama.cpp: Čistý C++, multiplatformový, vynikajúci na Apple Silicon
  • LM Studio: Grafické rozhranie, ideálne pre začiatočníkov
  • Ollama: Najrýchlejšie nastavenie, workflow podobné Dockeru
  • vLLM: Odporúčané pre produkciu so serverovými GPU
  • Všetky vystavujú API kompatibilné s OpenAI – Vibe sa pripája transparentne
  • Vyber si framework podľa svojho hardvéru a úrovne komfortu

Otestuj si svoje vedomosti

Agenti, zručnosti, módy, lokálne prostredie: pokročilé Vibe v piatich bodoch.

1. Čo umožňujú vlastní agenti v TOML?

Odpoveď: Definovať vlastných agentov – inštrukcie, nástroje, správanie – v súbore TOML: špecializovaný agent tvojho tímu sa stáva verzionovaným artefaktom.

2. Obmedzuje pole safety agenta (safe, neutral, destructive, smart, yolo) jeho činnosť?

Odpoveď: Nie. Je to vizuálny indikátor, ktorý sfarbuje okraj vstupu. To, čo skutočne obmedzuje agenta, sú enabled_tools a disabled_tools, oprávnenia [tools.<tool>] (always, ask, never), rozsah pracovného adresára a dôveryhodné priečinky.

3. Zručnosti a lomkové príkazy: ako spolupracujú?

Odpoveď: Zručnosť (SKILL.md) zapuzdruje opakovane použiteľný postup; lomkový príkaz ju spustí jediným gestom – objavovanie, aktivácia a priorita spravujú katalóg.

4. Na čo slúžia podagenti?

Odpoveď: Na delegovanie špecializovaných podúloh vyhradeným agentom – hlavný agent orchestruje, podagenti vykonávajú svoju špecializáciu.

5. Ako spustíš Vibe úplne lokálne?

Odpoveď: Obsluhou odporúčaného otvoreného modelu (Devstral Small 2 alebo Mistral Small 4) pomocou vLLM alebo alternatívy (llama.cpp, LM Studio, Ollama), deklarovaním ako poskytovateľa v súbore config.toml a následným vypnutím telemetrie a kontrol aktualizácií (enable_telemetry = false, enable_update_checks = false).

Agenti deklarovaní, bezpečnosť odstupňovaná, zručnosti vybavené nástrojmi, lokálne prostredie možné: pokročilé Vibe je platforma – nakonfiguruj ju tak, aby zodpovedala tvojmu tímu.