Prejsť na hlavný obsah
Slovenčina— Vyberte jazyk
Menu

Lokálne nasadenie Devstral s vLLM

Lekcia 13 z 14 Aktualizované 2. novembra 2026 Pokročilý
Na tejto strane
  1. Príprava nasadenia
  2. Čo ti umožňuje tvoj hardvér
  3. Inštalácia vLLM
  4. Spustenie servera
  5. Prispôsobenie príkazu tvojmu stroju
  6. Pripojenie Vibe a overenie
  7. Tri problémy, na ktoré narazíš
  8. Kľúčové poznatky

Lekcia aktualizovaná 2. novembra 2026 na základe stránky Using offline models v dokumentácii Vibe. Devstral bol odstránený z Mistral API, ale jeho váhy zostávajú publikované: Devstral Small 2 a Mistral Small 4 sú dva odporúčané otvorené modely pre lokálne použitie. Vibe nebalí lokálny model: pripojíš ho k serveru kompatibilnému s OpenAI prostredníctvom predvoľby v súbore config.toml a následne prepínaš pomocou /model. Zdroj: Using offline models.

Príprava nasadenia

Lokálne nasadenie Devstral znamená spustenie inferenčného servera na tvojom stroji, ktorý exponuje API kompatibilné s OpenAI. Vibe sa k nemu potom pripojí presne tak, akoby komunikovalo s cloudom Mistral. Táto kompatibilita rozhrania robí prepínanie bezproblémovým; tvoje nástroje nemajú dôvod vedieť, odkiaľ odpovede prichádzajú. Odporúčaným frameworkom pre túto úlohu je vLLM, vysoko výkonný inferenčný engine vyvinutý open-source komunitou.

Čo ti umožňuje tvoj hardvér

Pred inštaláciou čohokoľvek skontroluj svoju GPU. Určuje použiteľnú presnosť a následne aj veľkosť kontextového okna, ktoré budeš mať k dispozícii.

Konfigurácia GPU VRAM Presnosť Kontext
Odporúčané NVIDIA H100 / A100 80 GB FP8 ~128K tokenov
Alternatíva RTX 4090 / RTX 6000 24–48 GB 4-bitové (kvantované) ~32K tokenov
Iba CPU Žiadna GPU 64+ GB RAM - Pomalé (neodporúča sa)

Dôležitá poznámka: Konfigurácia iba s CPU je funkčná, ale pre 24B model extrémne pomalá. Vhodná je len na testovanie, nie na každodennú prácu. Inými slovami, umožní ti overiť, či reťazec funguje, nie však či s ním môžeš reálne pracovať.

Inštalácia vLLM

Softvérové požiadavky sú minimálne: Python 3.10 alebo vyšší, po ktorom nasleduje pip install.

# Vyžaduje sa Python 3.10+
python3 --version

# Inštalácia vLLM
pip install vllm

Ďalej over, či sú nainštalované a funkčné ovládače NVIDIA a CUDA. Tento príkaz je najlepším end-to-end testom: ak zobrazí tvoju GPU a verziu CUDA, nízkoúrovňová vrstva je v poriadku a akékoľvek následné chyby budú pochádzať odiniaľ.

nvidia-smi
# Musí zobraziť tvoju GPU a verziu CUDA

Spustenie servera

Príkaz na spustenie sa zmestí do štyroch argumentov, z ktorých dva sú nevyhnutné pre prácu s Vibe.

vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --port 8080

Rozoberme si tieto príznaky (flags):

  • mistralai/Devstral-Small-2-24B-Instruct-2512: Model Hugging Face, ktorý sa má načítať
  • --tool-call-parser mistral: Umožňuje parsovanie volaní nástrojov vo formáte Mistral
  • --enable-auto-tool-choice: Umožňuje modelu automaticky vyberať svoje nástroje
  • --port 8080: Port, na ktorom server počúva

Dva príznaky týkajúce sa nástrojov si zaslúžia pozornosť. Bez nich by server odpovedal na tvoje otázky, ale model by už nemohol čítať súbory ani spúšťať príkazy. Vibe by sa stalo jednoduchým chatbotom, čo nie je cieľom.

Prispôsobenie príkazu tvojmu stroju

Ak máš viacero GPU, tenzorová paralelizácia rozdelí model medzi všetky karty. Kombinovaná VRAM potom umožní širšie kontextové okno.

vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --tensor-parallel-size 2 \
  --port 8080

Pri skromnejšej konfigurácii musíš znížiť presnosť. H100 alebo A100 zvládajú FP8; RTX 4090 použije 4-bitové kvantovanie s AWQ, za cenu miernej straty kvality, ktorú však viac než kompenzuje fakt, že sa model konečne zmestí do pamäte.

# FP8 na H100/A100
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --dtype float16 \
  --port 8080

# 4-bit na RTX 4090
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --quantization awq \
  --port 8080

Poslednou pákou, keď VRAM stále nestačí, je zníženie maximálnej dĺžky kontextu. Cache pozornosti (attention cache) spotrebúva pamäť úmerne ku kontextu a zníženie na 16 384 tokenov často uvoľní práve toľko, koľko chýbalo na spustenie.

vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --max-model-len 16384 \
  --port 8080

Pripojenie Vibe a overenie

Server beží; teraz musíš povedať Vibe, aby ho používalo. Vibe nebalí lokálny model: v súbore config.toml deklaruj poskytovateľa a predvoľbu modelu.

# ~/.vibe/config.toml
active_model = "devstral-local"

[[providers]]
name = "local"
api_base = "http://localhost:8080/v1"
api_style = "openai"
backend = "generic"

[[models]]
name = "mistralai/Devstral-Small-2-24B-Instruct-2512"
provider = "local"
alias = "devstral-local"

Umiestni active_model nad prvú tabuľku [[...]], inak ho TOML pripojí k tejto tabuľke. V predvoľbe nastav max_context_length, aby si označil kontext svojho servera, ktorý musí v streamovaných odpovediach vracať aj využitie tokenov (stream_options.include_usage). Kratšia varianta: Vibe poskytuje preddefinovaného poskytovateľa llamacpp, ktorý smeruje na http://127.0.0.1:8080/v1 bez kľúča; v takom prípade do predvoľby napíš provider = "llamacpp" bez bloku [[providers]]. V relácii prepínaš medzi lokálnym modelom a hostovanými modelmi pomocou /model.

Otestuj reťazec na dvoch úrovniach: najprv surové API, čo potvrdí načítanie modelu, a potom skutočnú požiadavku vo Vibe na overenie funkčnosti volaní nástrojov.

# Priamy test API
curl http://localhost:8080/v1/models

# Test vo Vibe (agent ask si vyžiada potvrdenie pred každým nástrojom)
vibe --agent ask
> List files in the current directory

Pre každodenné použitie sa manuálne reštartovanie príkazu rýchlo stane únavným. Služba systemd spustí server pri štarte systému a reštartuje ho v prípade zlyhania.

# Vytvorenie služby systemd
sudo tee /etc/systemd/system/vllm-devstral.service << EOF
[Unit]
Description=vLLM Devstral Server
After=network.target

[Service]
Type=simple
User=$USER
ExecStart=/usr/local/bin/vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 --tool-call-parser mistral --enable-auto-tool-choice --port 8080
Restart=always
RestartSec=10

[Install]
WantedBy=multi-user.target
EOF

sudo systemctl enable --now vllm-devstral

Tri problémy, na ktoré narazíš

Chyba CUDA out of memory znamená, že sa model nezmestí: zníž --max-model-len alebo prepní na 4-bitové kvantovanie. Pomalosť pri úplne prvom spustení je normálna a nie je symptómom problému – počiatočné spustenie sťahuje a načíta model (asi 14 GB) a následné spustenia využijú cache. Nakoniec, ak Vibe nenájde lokálny server, jednoducho skontroluj, či port 8080 počúva, skôr než budeš hľadať ďalej.

curl http://localhost:8080/health

Kľúčové poznatky

  • vLLM je odporúčaný framework na obsluhu Devstral lokálne
  • Príznaky --tool-call-parser mistral a --enable-auto-tool-choice sú povinné
  • H100/A100 ponúka FP8 a kontext 128K; RTX 4090 ponúka 4-bitový režim a kontext 32K
  • Ak VRAM nestačí, zníž --max-model-len
  • Pripoj Vibe prostredníctvom poskytovateľa a predvoľby modelu v config.toml (alebo pomocou preddefinovaného poskytovateľa llamacpp) a následne používaj /model
  • Pre každodenné použitie spúšťaj vLLM ako službu systemd