Přejít na hlavní obsah
Čeština— Vyberte jazyk
Menu

Lokální nasazení Devstral s vLLM

Lekce 13 z 14 Aktualizováno 2. listopadu 2026 Pokročilý
Na této stránce
  1. Příprava nasazení
  2. Co ti umožní tvůj hardware
  3. Instalace vLLM
  4. Spuštění serveru
  5. Přizpůsobení příkazu tvému stroji
  6. Připojení Vibe a ověření
  7. Tři problémy, na které narazíš
  8. Klíčové poznatky

Lekce aktualizována 2. listopadu 2026 na základě stránky Using offline models v dokumentaci Vibe. Devstral byl odstraněn z Mistral API, ale jeho váhy zůstávají publikovány: Devstral Small 2 a Mistral Small 4 jsou dva doporučené otevřené modely pro lokální použití. Vibe neobsahuje zabalený lokální model: připojíš jej k serveru kompatibilnímu s OpenAI prostřednictvím předvolby v config.toml a poté přepneš pomocí /model. Zdroj: Using offline models.

Příprava nasazení

Lokální nasazení Devstral znamená spuštění inferenčního serveru na tvém stroji, který vystavuje API kompatibilní s OpenAI. Vibe se k němu poté připojí přesně tak, jako by komunikoval s cloudem Mistral. Tato kompatibilita rozhraní činí přepnutí bezproblémovým; tvoje nástroje nemají žádný důvod vědět, odkud odpovědi přicházejí. Doporučeným frameworkem pro tuto roli je vLLM, vysoce výkonný inferenční engine vyvinutý open-source komunitou.

Co ti umožní tvůj hardware

Před instalací čehokoli zkontroluj svou GPU. Ta určuje použitelnou přesnost, a následně i velikost kontextového okna, které budeš mít k dispozici.

Konfigurace GPU VRAM Přesnost Kontext
Doporučeno NVIDIA H100 / A100 80 GB FP8 ~128K tokenů
Alternativa RTX 4090 / RTX 6000 24–48 GB 4-bit (kvantováno) ~32K tokenů
Pouze CPU Žádná GPU 64+ GB RAM - Pomalé (nedoporučeno)

Důležitá poznámka: Konfigurace pouze s CPU je funkční, ale pro 24B model extrémně pomalá. Vhodná je pouze pro testování, nikoli pro každodenní použití. Jinými slovy, umožní ti ověřit, že řetězec funguje, ale ne že s ním můžeš reálně pracovat.

Instalace vLLM

Softwarové předpoklady jsou minimální: Python 3.10 nebo vyšší, následovaný příkazem pip install.

# Vyžadován Python 3.10+
python3 --version

# Instalace vLLM
pip install vllm

Dále ověř, že jsou nainstalovány ovladače NVIDIA a CUDA a že fungují. Tento příkaz je nejlepší end-to-end test: pokud zobrazí tvou GPU a verzi CUDA, nízká úroveň je v pořádku a jakékoli následné chyby budou pocházet odjinud.

nvidia-smi
# Musí zobrazit tvou GPU a verzi CUDA

Spuštění serveru

Příkaz pro spuštění se vejde do čtyř argumentů, z nichž dva jsou zásadní pro práci s Vibe.

vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --port 8080

Rozeberme si tyto přepínače:

  • mistralai/Devstral-Small-2-24B-Instruct-2512: Model Hugging Face k načtení
  • --tool-call-parser mistral: Povolí parsování volání nástrojů ve formátu Mistral
  • --enable-auto-tool-choice: Umožní modelu automaticky vybírat své nástroje
  • --port 8080: Port, na kterém server naslouchá

Dva přepínače týkající se nástrojů si zaslouží pozornost. Bez nich by server odpovídal na tvé otázky, ale model by již nemohl číst soubory ani spouštět příkazy. Vibe by se stalo jednoduchým chatbotem, což není cílem.

Přizpůsobení příkazu tvému stroji

Pokud máš více GPU, tenzorová paralelizace rozdělí model mezi všechny karty. Kombinovaná VRAM pak umožní širší kontextové okno.

vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --tensor-parallel-size 2 \
  --port 8080

Na skromnější konfiguraci musíš snížit přesnost. H100 nebo A100 zvládne FP8; RTX 4090 použije 4bitovou kvantizaci s AWQ, za cenu mírné ztráty kvality, která je však více než kompenzována tím, že se model konečně vejde do paměti.

# FP8 na H100/A100
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --dtype float16 \
  --port 8080

# 4-bit na RTX 4090
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --quantization awq \
  --port 8080

Poslední pákou, když VRAM stále nestačí, je snížení maximální délky kontextu. Mezipaměť attention spotřebovává paměť úměrně kontextu a snížení na 16 384 tokenů často uvolní právě tolik, co chybělo ke spuštění.

vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --max-model-len 16384 \
  --port 8080

Připojení Vibe a ověření

Server běží; nyní musíš říct Vibe, aby jej používalo. Vibe neobsahuje zabalený lokální model: deklaruj poskytovatele a předvolbu modelu v config.toml.

# ~/.vibe/config.toml
active_model = "devstral-local"

[[providers]]
name = "local"
api_base = "http://localhost:8080/v1"
api_style = "openai"
backend = "generic"

[[models]]
name = "mistralai/Devstral-Small-2-24B-Instruct-2512"
provider = "local"
alias = "devstral-local"

Udržuj active_model nad první tabulkou [[...]], jinak jej TOML připojí k této tabulce. Nastav max_context_length v předvolbě tak, aby odpovídala kontextu tvého serveru, který musí také vracet využití v tokenech ve streamovaných odpovědích (stream_options.include_usage). Kratší varianta: Vibe poskytuje předdefinovaného poskytovatele llamacpp, který směřuje na http://127.0.0.1:8080/v1 bez klíče; v takovém případě napiš do předvolby provider = "llamacpp" bez bloku [[providers]]. V relaci přepínáš mezi lokálním modelem a hostovanými modely pomocí /model.

Otestuj řetězec na dvou úrovních: nejprve surové API, což potvrdí, že je model načten, a poté skutečný požadavek ve Vibe pro ověření, že volání nástrojů fungují.

# Přímý test API
curl http://localhost:8080/v1/models

# Test ve Vibe (agent ask žádá před každým nástrojem)
vibe --agent ask
> List files in the current directory

Pro každodenní použití se ruční restartování příkazu rychle stane zdlouhavým. Služba systemd spustí server při startu systému a restartuje jej v případě pádu.

# Vytvoření služby systemd
sudo tee /etc/systemd/system/vllm-devstral.service << EOF
[Unit]
Description=vLLM Devstral Server
After=network.target

[Service]
Type=simple
User=$USER
ExecStart=/usr/local/bin/vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 --tool-call-parser mistral --enable-auto-tool-choice --port 8080
Restart=always
RestartSec=10

[Install]
WantedBy=multi-user.target
EOF

sudo systemctl enable --now vllm-devstral

Tři problémy, na které narazíš

Chyba CUDA out of memory znamená, že se model nevejde: sniž --max-model-len nebo přepni na 4bitovou kvantizaci. Pomalost při úplně prvním spuštění je normální a není příznakem problému – počáteční start stahuje a načítá model (asi 14 GB) a následná spuštění těží z mezipaměti. Nakonec, pokud Vibe nemůže najít lokální server, jednoduše zkontroluj, zda port 8080 naslouchá, než budeš hledat dál.

curl http://localhost:8080/health

Klíčové poznatky

  • vLLM je doporučený framework pro obsluhu Devstral lokálně
  • Přepínače --tool-call-parser mistral a --enable-auto-tool-choice jsou povinné
  • H100/A100 nabízí FP8 a kontext 128K; RTX 4090 nabízí 4-bit a kontext 32K
  • Sniž --max-model-len, pokud je VRAM nedostatečná
  • Připoj Vibe prostřednictvím poskytovatele a předvolby modelu v config.toml (nebo předdefinovaného poskytovatele llamacpp) a poté použij /model
  • Pro každodenní použití spouštěj vLLM jako službu systemd