Lokální nasazení Devstral s vLLM
Na této stránce
Lekce aktualizována 2. listopadu 2026 na základě stránky Using offline models v dokumentaci Vibe. Devstral byl odstraněn z Mistral API, ale jeho váhy zůstávají publikovány: Devstral Small 2 a Mistral Small 4 jsou dva doporučené otevřené modely pro lokální použití. Vibe neobsahuje zabalený lokální model: připojíš jej k serveru kompatibilnímu s OpenAI prostřednictvím předvolby v
config.tomla poté přepneš pomocí/model. Zdroj: Using offline models.
Příprava nasazení
Lokální nasazení Devstral znamená spuštění inferenčního serveru na tvém stroji, který vystavuje API kompatibilní s OpenAI. Vibe se k němu poté připojí přesně tak, jako by komunikoval s cloudem Mistral. Tato kompatibilita rozhraní činí přepnutí bezproblémovým; tvoje nástroje nemají žádný důvod vědět, odkud odpovědi přicházejí. Doporučeným frameworkem pro tuto roli je vLLM, vysoce výkonný inferenční engine vyvinutý open-source komunitou.
Co ti umožní tvůj hardware
Před instalací čehokoli zkontroluj svou GPU. Ta určuje použitelnou přesnost, a následně i velikost kontextového okna, které budeš mít k dispozici.
| Konfigurace | GPU | VRAM | Přesnost | Kontext |
|---|---|---|---|---|
| Doporučeno | NVIDIA H100 / A100 | 80 GB | FP8 | ~128K tokenů |
| Alternativa | RTX 4090 / RTX 6000 | 24–48 GB | 4-bit (kvantováno) | ~32K tokenů |
| Pouze CPU | Žádná GPU | 64+ GB RAM | - | Pomalé (nedoporučeno) |
Důležitá poznámka: Konfigurace pouze s CPU je funkční, ale pro 24B model extrémně pomalá. Vhodná je pouze pro testování, nikoli pro každodenní použití. Jinými slovy, umožní ti ověřit, že řetězec funguje, ale ne že s ním můžeš reálně pracovat.
Instalace vLLM
Softwarové předpoklady jsou minimální: Python 3.10 nebo vyšší, následovaný příkazem pip install.
# Vyžadován Python 3.10+
python3 --version
# Instalace vLLM
pip install vllm
Dále ověř, že jsou nainstalovány ovladače NVIDIA a CUDA a že fungují. Tento příkaz je nejlepší end-to-end test: pokud zobrazí tvou GPU a verzi CUDA, nízká úroveň je v pořádku a jakékoli následné chyby budou pocházet odjinud.
nvidia-smi
# Musí zobrazit tvou GPU a verzi CUDA
Spuštění serveru
Příkaz pro spuštění se vejde do čtyř argumentů, z nichž dva jsou zásadní pro práci s Vibe.
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--port 8080
Rozeberme si tyto přepínače:
mistralai/Devstral-Small-2-24B-Instruct-2512: Model Hugging Face k načtení--tool-call-parser mistral: Povolí parsování volání nástrojů ve formátu Mistral--enable-auto-tool-choice: Umožní modelu automaticky vybírat své nástroje--port 8080: Port, na kterém server naslouchá
Dva přepínače týkající se nástrojů si zaslouží pozornost. Bez nich by server odpovídal na tvé otázky, ale model by již nemohl číst soubory ani spouštět příkazy. Vibe by se stalo jednoduchým chatbotem, což není cílem.
Přizpůsobení příkazu tvému stroji
Pokud máš více GPU, tenzorová paralelizace rozdělí model mezi všechny karty. Kombinovaná VRAM pak umožní širší kontextové okno.
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--tensor-parallel-size 2 \
--port 8080
Na skromnější konfiguraci musíš snížit přesnost. H100 nebo A100 zvládne FP8; RTX 4090 použije 4bitovou kvantizaci s AWQ, za cenu mírné ztráty kvality, která je však více než kompenzována tím, že se model konečně vejde do paměti.
# FP8 na H100/A100
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--dtype float16 \
--port 8080
# 4-bit na RTX 4090
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--quantization awq \
--port 8080
Poslední pákou, když VRAM stále nestačí, je snížení maximální délky kontextu. Mezipaměť attention spotřebovává paměť úměrně kontextu a snížení na 16 384 tokenů často uvolní právě tolik, co chybělo ke spuštění.
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--max-model-len 16384 \
--port 8080
Připojení Vibe a ověření
Server běží; nyní musíš říct Vibe, aby jej používalo. Vibe neobsahuje zabalený lokální model: deklaruj poskytovatele a předvolbu modelu v config.toml.
# ~/.vibe/config.toml
active_model = "devstral-local"
[[providers]]
name = "local"
api_base = "http://localhost:8080/v1"
api_style = "openai"
backend = "generic"
[[models]]
name = "mistralai/Devstral-Small-2-24B-Instruct-2512"
provider = "local"
alias = "devstral-local"
Udržuj active_model nad první tabulkou [[...]], jinak jej TOML připojí k této tabulce. Nastav max_context_length v předvolbě tak, aby odpovídala kontextu tvého serveru, který musí také vracet využití v tokenech ve streamovaných odpovědích (stream_options.include_usage). Kratší varianta: Vibe poskytuje předdefinovaného poskytovatele llamacpp, který směřuje na http://127.0.0.1:8080/v1 bez klíče; v takovém případě napiš do předvolby provider = "llamacpp" bez bloku [[providers]]. V relaci přepínáš mezi lokálním modelem a hostovanými modely pomocí /model.
Otestuj řetězec na dvou úrovních: nejprve surové API, což potvrdí, že je model načten, a poté skutečný požadavek ve Vibe pro ověření, že volání nástrojů fungují.
# Přímý test API
curl http://localhost:8080/v1/models
# Test ve Vibe (agent ask žádá před každým nástrojem)
vibe --agent ask
> List files in the current directory
Pro každodenní použití se ruční restartování příkazu rychle stane zdlouhavým. Služba systemd spustí server při startu systému a restartuje jej v případě pádu.
# Vytvoření služby systemd
sudo tee /etc/systemd/system/vllm-devstral.service << EOF
[Unit]
Description=vLLM Devstral Server
After=network.target
[Service]
Type=simple
User=$USER
ExecStart=/usr/local/bin/vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 --tool-call-parser mistral --enable-auto-tool-choice --port 8080
Restart=always
RestartSec=10
[Install]
WantedBy=multi-user.target
EOF
sudo systemctl enable --now vllm-devstral
Tři problémy, na které narazíš
Chyba CUDA out of memory znamená, že se model nevejde: sniž --max-model-len nebo přepni na 4bitovou kvantizaci. Pomalost při úplně prvním spuštění je normální a není příznakem problému – počáteční start stahuje a načítá model (asi 14 GB) a následná spuštění těží z mezipaměti. Nakonec, pokud Vibe nemůže najít lokální server, jednoduše zkontroluj, zda port 8080 naslouchá, než budeš hledat dál.
curl http://localhost:8080/health
Klíčové poznatky
- vLLM je doporučený framework pro obsluhu Devstral lokálně
- Přepínače
--tool-call-parser mistrala--enable-auto-tool-choicejsou povinné - H100/A100 nabízí FP8 a kontext 128K; RTX 4090 nabízí 4-bit a kontext 32K
- Sniž
--max-model-len, pokud je VRAM nedostatečná - Připoj Vibe prostřednictvím poskytovatele a předvolby modelu v
config.toml(nebo předdefinovaného poskytovatelellamacpp) a poté použij/model - Pro každodenní použití spouštěj vLLM jako službu systemd