Přejít na hlavní obsah
Čeština— Vyberte jazyk
Menu

Lokální hostování modelu Devstral

Lekce 13 z 14 Aktualizováno 2. listopadu 2026 Vývojář
Na této stránce
  1. Proč hostovat Devstral lokálně?
  2. Doporučené modely
  3. Hardwarové předpoklady
  4. Nasazení pomocí vLLM
  5. Používání lokálního serveru
  6. Alternativní frameworky
  7. Připojení Vibe k lokálnímu serveru
  8. Klíčové poznatky

Lekce aktualizována 2. listopadu 2026 na základě stránky Using offline models v dokumentaci Vibe: Model Devstral byl z API odstraněn, ale Devstral Small 2 zůstává spolu s Mistral Small 4 jedním ze dvou doporučených otevřených modelů pro lokální použití. Byly odstraněny nepodložené odhady nákladů a připojení Vibe k lokálnímu serveru nyní následuje oficiální syntaxi config.toml. Zdroj: Using offline models.

Proč hostovat Devstral lokálně?

Devstral Small 2 je vydán s otevřenými váhami pod licencí Apache 2.0 (Devstral 2, jeho 123miliardový „starší bratr“, používá upravenou licenci MIT). Ačkoli byl 31. března 2026 odstraněn z Mistral API, nezmizel: můžeš jej nasadit na vlastní servery bez odesílání jediného řádku kódu do externího API a dokumentace Vibe jej pro tento účel stále doporučuje.

Motivace se často překrývají. Na prvním místě je soukromí: tvůj kód nikdy neopustí tvou infrastrukturu, čímž odpadá jakákoli debata o podmínkách použití poskytovatele. Následuje latence, protože mezi tvými stisky kláves a návrhem neprobíhá žádná síťová komunikace s Mistral API. Mění se také struktura nákladů: místo fakturace podle využití platíš pevnou cenu za GPU, což se vyplatí, jakmile model celý den využívá celý tým. Nakonec je tu compliance, vyžadovaná určitými předpisy a odvětvími, jako je bankovnictví nebo obrana, a dostupnost, protože žádná služba třetí strany nemůže přerušit tvou práci.

Doporučené modely

Dokumentace Vibe doporučuje pro lokální použití dva otevřené modely:

  • Devstral Small 2 (mistralai/Devstral-Small-2-24B-Instruct-2512 na Hugging Face): 24 miliard parametrů, hustá architektura, trénovaný pro agentní úlohy a programování, s nejmenšími nároky na hardware;
  • Mistral Small 4: 119 miliard parametrů v architektuře směsi expertů (MoE), z toho 6,5 miliardy aktivních, hybridní model pro logické uvažování a programování s kontextem 256 000 tokenů, pod licencí Apache 2.0.

Hardwarové předpoklady

Pro slušný výkon při dlouhých kontextech dokumentace doporučuje nasazení v přesnosti FP8 s kontextem přibližně 128 000 tokenů:

KonfiguraceHardwarePřesnostKontext
DoporučenoGPU H100 nebo A100FP8~128 000 tokenů
Vývojářská pracovní staniceRTX 4090 nebo jakékoli GPU s 24 GB VRAM4-bit~32 000 tokenů
Bez GPUOffload na CPU s dostatkem RAM—— výrazně pomalejší

Tyto údaje platí pro Devstral Small 2. Mistral Small 4 vyžaduje pro načtení vah mnohem více video paměti: počítej alespoň s jedním H100 o kapacitě 80 GB v režimu FP8 a pro dlouhé kontexty ještě více. Následně uprav přesnost a délku kontextu podle svého hardwaru.

Nasazení pomocí vLLM

vLLM je inferenční framework doporučený dokumentací Vibe pro obsluhu modelu Devstral. Instalace vyžaduje pouze jeden příkaz.

pip install vllm

Server se poté spustí jedním řádkem se dvěma možnostmi, které umožňují použití modelu v agentním režimu.

vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --port 8080

Tři varianty pokrývají většinu reálných situací: rozdělení modelu mezi více GPU, snížení přesnosti při nedostatku VRAM nebo zkrácení kontextu ze stejného důvodu.

# Více GPU (pokud máš 2 a více GPU)
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --tensor-parallel-size 2 \
  --port 8080

# Snížená přesnost (pro GPU s menším množstvím VRAM)
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --dtype float16 \
  --port 8080

# Zkrácený kontext (pro úsporu VRAM)
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --max-model-len 32768 \
  --port 8080

Zde je vysvětlení, co každá vlajka řídí:

  • --tool-call-parser mistral — povoluje parsování volání nástrojů ve formátu Mistral
  • --enable-auto-tool-choice — umožňuje modelu rozhodnout, kdy zavolat nástroj
  • --tensor-parallel-size — rozdělí model mezi více GPU
  • --dtype — řídí přesnost (float16, bfloat16, float32)
  • --max-model-len — omezuje velikost kontextu pro úsporu VRAM

První dvě si zaslouží zvláštní pozornost: jejich vynechání vytvoří server, který perfektně funguje pro konverzaci, ale tiše selže, jakmile se agent pokusí zavolat nástroj. To je nejčastější příčina, proč je lokální nasazení hodnoceno jako „zklamání“.

Používání lokálního serveru

Jakmile je vLLM spuštěn, port 8080 vystavuje API kompatibilní s OpenAI. Mistral SDK se k němu připojí pouhou změnou URL serveru; klíč již není potřeba.

from mistralai.client import Mistral

# Odkaz na lokální server
client = Mistral(
    api_key="dummy",  # Lokálně není klíč potřeba
    server_url="http://localhost:8080",
)

response = client.chat.complete(
    model="mistralai/Devstral-Small-2-24B-Instruct-2512",
    messages=[
        {"role": "user", "content": "Analyzuj tento kód a navrhni vylepšení."}
    ],
)

Stejně dobře funguje i OpenAI SDK, což ti umožňuje převést existující kód na lokální Devstral bez přepisování.

from openai import OpenAI

client = OpenAI(
    api_key="dummy",
    base_url="http://localhost:8080/v1",
)

response = client.chat.completions.create(
    model="mistralai/Devstral-Small-2-24B-Instruct-2512",
    messages=[
        {"role": "user", "content": "Vysvětli tento kód."}
    ],
)

Alternativní frameworky

vLLM není jediná cesta: Devstral funguje s jakýmkoli inferenčním frameworkem, který vystavuje API kompatibilní s OpenAI. Dokumentace Vibe zmiňuje llama.cpp, vhodný pro konfigurace s nízkou VRAM díky kvantovaným modelům GGUF, LM Studio, které nabízí grafické rozhraní bez nutnosti příkazového řádku, a Ollama. Před porovnáním výsledků si v každém nástroji ověř přesný název modelu a kvantizaci.

Připojení Vibe k lokálnímu serveru

Vibe neobsahuje zabalený lokální model: jakmile je tvůj server spuštěn, deklaruješ poskytovatele a předvolbu modelu v souboru config.toml. Pro server kompatibilní s OpenAI na portu 8080:

active_model = "devstral-local"

[[providers]]
name = "local"
api_base = "http://localhost:8080/v1"
api_style = "openai"
backend = "generic"

[[models]]
name = "mistralai/Devstral-Small-2-24B-Instruct-2512"
provider = "local"
alias = "devstral-local"

Tři opatření z dokumentace: udržuj active_model nad prvním polem [[...]], jinak jej TOML připojí k tomuto poli; nastav max_context_length v předvolbě tak, aby odpovídal kontextu tvého serveru; a ověř, že server vrací využití tokenů ve streamovaných odpovědích (stream_options.include_usage). Vibe také poskytuje předdefinovaného poskytovatele llamacpp, který směřuje na http://127.0.0.1:8080/v1 bez klíče: v takovém případě do předvolby jednoduše napiš provider = "llamacpp". Příkaz /model pak přepíná mezi lokálním modelem a hostovanými modely.

Pro plně offline provoz také vypni telemetrii a kontroly aktualizací:

enable_telemetry = false
enable_update_checks = false

S těmito nastaveními a lokálním poskytovatelem CLI již nekontaktuje mistral.ai. Dovednosti, servery MCP a konektory dosahující externích systémů musí být vypnuty samostatně.

Klíčové poznatky

  • Devstral byl z API odstraněn, ale Devstral Small 2 (24B, Apache 2.0) zůstává doporučen pro lokální použití spolu s Mistral Small 4
  • vLLM je doporučený framework; --tool-call-parser mistral a --enable-auto-tool-choice jsou pro agenta nezbytné
  • H100 nebo A100 v FP8 s kontextem ~128k; GPU s 24 GB ve 4-bitovém režimu s kontextem ~32k
  • Server vystavuje API kompatibilní s OpenAI, použitelné s Mistral SDK nebo OpenAI SDK
  • Vibe se připojuje k serveru prostřednictvím předvolby v config.toml (nebo poskytovatele llamacpp); pro offline použití vypni telemetrii a aktualizace