Lokálne nasadenie Devstral s vLLM
Na tejto strane
Lekcia aktualizovaná 2. novembra 2026 na základe stránky Using offline models v dokumentácii Vibe. Devstral bol odstránený z Mistral API, ale jeho váhy zostávajú publikované: Devstral Small 2 a Mistral Small 4 sú dva odporúčané otvorené modely pre lokálne použitie. Vibe nebalí lokálny model: pripojíš ho k serveru kompatibilnému s OpenAI prostredníctvom predvoľby v súbore
config.tomla následne prepínaš pomocou/model. Zdroj: Using offline models.
Príprava nasadenia
Lokálne nasadenie Devstral znamená spustenie inferenčného servera na tvojom stroji, ktorý exponuje API kompatibilné s OpenAI. Vibe sa k nemu potom pripojí presne tak, akoby komunikovalo s cloudom Mistral. Táto kompatibilita rozhrania robí prepínanie bezproblémovým; tvoje nástroje nemajú dôvod vedieť, odkiaľ odpovede prichádzajú. Odporúčaným frameworkom pre túto úlohu je vLLM, vysoko výkonný inferenčný engine vyvinutý open-source komunitou.
Čo ti umožňuje tvoj hardvér
Pred inštaláciou čohokoľvek skontroluj svoju GPU. Určuje použiteľnú presnosť a následne aj veľkosť kontextového okna, ktoré budeš mať k dispozícii.
| Konfigurácia | GPU | VRAM | Presnosť | Kontext |
|---|---|---|---|---|
| Odporúčané | NVIDIA H100 / A100 | 80 GB | FP8 | ~128K tokenov |
| Alternatíva | RTX 4090 / RTX 6000 | 24–48 GB | 4-bitové (kvantované) | ~32K tokenov |
| Iba CPU | Žiadna GPU | 64+ GB RAM | - | Pomalé (neodporúča sa) |
Dôležitá poznámka: Konfigurácia iba s CPU je funkčná, ale pre 24B model extrémne pomalá. Vhodná je len na testovanie, nie na každodennú prácu. Inými slovami, umožní ti overiť, či reťazec funguje, nie však či s ním môžeš reálne pracovať.
Inštalácia vLLM
Softvérové požiadavky sú minimálne: Python 3.10 alebo vyšší, po ktorom nasleduje pip install.
# Vyžaduje sa Python 3.10+
python3 --version
# Inštalácia vLLM
pip install vllm
Ďalej over, či sú nainštalované a funkčné ovládače NVIDIA a CUDA. Tento príkaz je najlepším end-to-end testom: ak zobrazí tvoju GPU a verziu CUDA, nízkoúrovňová vrstva je v poriadku a akékoľvek následné chyby budú pochádzať odiniaľ.
nvidia-smi
# Musí zobraziť tvoju GPU a verziu CUDA
Spustenie servera
Príkaz na spustenie sa zmestí do štyroch argumentov, z ktorých dva sú nevyhnutné pre prácu s Vibe.
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--port 8080
Rozoberme si tieto príznaky (flags):
mistralai/Devstral-Small-2-24B-Instruct-2512: Model Hugging Face, ktorý sa má načítať--tool-call-parser mistral: Umožňuje parsovanie volaní nástrojov vo formáte Mistral--enable-auto-tool-choice: Umožňuje modelu automaticky vyberať svoje nástroje--port 8080: Port, na ktorom server počúva
Dva príznaky týkajúce sa nástrojov si zaslúžia pozornosť. Bez nich by server odpovedal na tvoje otázky, ale model by už nemohol čítať súbory ani spúšťať príkazy. Vibe by sa stalo jednoduchým chatbotom, čo nie je cieľom.
Prispôsobenie príkazu tvojmu stroju
Ak máš viacero GPU, tenzorová paralelizácia rozdelí model medzi všetky karty. Kombinovaná VRAM potom umožní širšie kontextové okno.
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--tensor-parallel-size 2 \
--port 8080
Pri skromnejšej konfigurácii musíš znížiť presnosť. H100 alebo A100 zvládajú FP8; RTX 4090 použije 4-bitové kvantovanie s AWQ, za cenu miernej straty kvality, ktorú však viac než kompenzuje fakt, že sa model konečne zmestí do pamäte.
# FP8 na H100/A100
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--dtype float16 \
--port 8080
# 4-bit na RTX 4090
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--quantization awq \
--port 8080
Poslednou pákou, keď VRAM stále nestačí, je zníženie maximálnej dĺžky kontextu. Cache pozornosti (attention cache) spotrebúva pamäť úmerne ku kontextu a zníženie na 16 384 tokenov často uvoľní práve toľko, koľko chýbalo na spustenie.
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--max-model-len 16384 \
--port 8080
Pripojenie Vibe a overenie
Server beží; teraz musíš povedať Vibe, aby ho používalo. Vibe nebalí lokálny model: v súbore config.toml deklaruj poskytovateľa a predvoľbu modelu.
# ~/.vibe/config.toml
active_model = "devstral-local"
[[providers]]
name = "local"
api_base = "http://localhost:8080/v1"
api_style = "openai"
backend = "generic"
[[models]]
name = "mistralai/Devstral-Small-2-24B-Instruct-2512"
provider = "local"
alias = "devstral-local"
Umiestni active_model nad prvú tabuľku [[...]], inak ho TOML pripojí k tejto tabuľke. V predvoľbe nastav max_context_length, aby si označil kontext svojho servera, ktorý musí v streamovaných odpovediach vracať aj využitie tokenov (stream_options.include_usage). Kratšia varianta: Vibe poskytuje preddefinovaného poskytovateľa llamacpp, ktorý smeruje na http://127.0.0.1:8080/v1 bez kľúča; v takom prípade do predvoľby napíš provider = "llamacpp" bez bloku [[providers]]. V relácii prepínaš medzi lokálnym modelom a hostovanými modelmi pomocou /model.
Otestuj reťazec na dvoch úrovniach: najprv surové API, čo potvrdí načítanie modelu, a potom skutočnú požiadavku vo Vibe na overenie funkčnosti volaní nástrojov.
# Priamy test API
curl http://localhost:8080/v1/models
# Test vo Vibe (agent ask si vyžiada potvrdenie pred každým nástrojom)
vibe --agent ask
> List files in the current directory
Pre každodenné použitie sa manuálne reštartovanie príkazu rýchlo stane únavným. Služba systemd spustí server pri štarte systému a reštartuje ho v prípade zlyhania.
# Vytvorenie služby systemd
sudo tee /etc/systemd/system/vllm-devstral.service << EOF
[Unit]
Description=vLLM Devstral Server
After=network.target
[Service]
Type=simple
User=$USER
ExecStart=/usr/local/bin/vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 --tool-call-parser mistral --enable-auto-tool-choice --port 8080
Restart=always
RestartSec=10
[Install]
WantedBy=multi-user.target
EOF
sudo systemctl enable --now vllm-devstral
Tri problémy, na ktoré narazíš
Chyba CUDA out of memory znamená, že sa model nezmestí: zníž --max-model-len alebo prepní na 4-bitové kvantovanie. Pomalosť pri úplne prvom spustení je normálna a nie je symptómom problému – počiatočné spustenie sťahuje a načíta model (asi 14 GB) a následné spustenia využijú cache. Nakoniec, ak Vibe nenájde lokálny server, jednoducho skontroluj, či port 8080 počúva, skôr než budeš hľadať ďalej.
curl http://localhost:8080/health
Kľúčové poznatky
- vLLM je odporúčaný framework na obsluhu Devstral lokálne
- Príznaky
--tool-call-parser mistrala--enable-auto-tool-choicesú povinné - H100/A100 ponúka FP8 a kontext 128K; RTX 4090 ponúka 4-bitový režim a kontext 32K
- Ak VRAM nestačí, zníž
--max-model-len - Pripoj Vibe prostredníctvom poskytovateľa a predvoľby modelu v
config.toml(alebo pomocou preddefinovaného poskytovateľallamacpp) a následne používaj/model - Pre každodenné použitie spúšťaj vLLM ako službu systemd