Prejsť na hlavný obsah
Slovenčina— Vyberte jazyk
Menu

Lokálne hostenie modelu Devstral

Lekcia 13 z 14 Aktualizované 2. novembra 2026 Vývojár
Na tejto strane
  1. Prečo hostiť Devstral lokálne?
  2. Odporúčané modely
  3. Hardvérové požiadavky
  4. Nasadenie pomocou vLLM
  5. Používanie lokálneho servera
  6. Alternatívne frameworky
  7. Pripojenie Vibe k lokálnemu serveru
  8. Kľúčové poznatky

Lekcia aktualizovaná 2. novembra 2026 na základe stránky Using offline models v dokumentácii Vibe: Model Devstral bol odstránený z API, ale Devstral Small 2 zostáva spolu s Mistral Small 4 jedným z dvoch odporúčaných otvorených modelov pre lokálne použitie. Odstránili sme neoverené odhady nákladov a pripojenie Vibe k lokálnemu serveri teraz nasleduje oficiálnu syntax config.toml. Zdroj: Using offline models.

Prečo hostiť Devstral lokálne?

Devstral Small 2 je vydaný s otvorenými váhami pod licenciou Apache 2.0 (Devstral 2, jeho 123-miliardový „starší brat“, používa upravenú licenciu MIT). Hoci bol 31. marca 2026 odstránený z Mistral API, nezmizol: môžeš ho nasadiť na vlastné servery bez toho, aby si poslal jediný riadok kódu do externého API, a dokumentácia Vibe ho na tento účel stále odporúča.

Motivácie sa často prelínajú. Na prvom mieste je súkromie: tvoj kód nikdy neopustí tvoju infraštruktúru, čím sa ukončia akékoľvek debaty o podmienkach používania poskytovateľa. Nasleduje latencia, keďže medzi tvojimi údermi na klávesnicu a návrhom nie je žiadna sieťová odozva do Mistral API. Mení sa štruktúra nákladov: namiesto fakturácie podľa využitia platíš fixnú cenu za GPU, čo sa stáva výhodným hneď, ako celý tím dopytuje model celý deň. Nakoniec je tu zhoda s predpismi, ktorú vyžadujú určité nariadenia a sektory ako bankovníctvo alebo obrana, a dostupnosť, keďže žiadna služba tretej strany nemôže prerušiť tvoju prácu.

Odporúčané modely

Dokumentácia Vibe odporúča dva otvorené modely pre lokálne použitie:

  • Devstral Small 2 (mistralai/Devstral-Small-2-24B-Instruct-2512 na Hugging Face): 24 miliárd parametrov, hustá architektúra, trénovaný na agentické úlohy a programovanie, s najmenšími nárokmi na hardvér;
  • Mistral Small 4: 119 miliárd parametrov v architektúre zmesi expertov (MoE), s 6,5 miliardy aktívnymi parametrami, hybridný model na logické uvažovanie a programovanie s kontextom 256 000 tokenov, pod licenciou Apache 2.0.

Hardvérové požiadavky

Pre slušný výkon pri dlhých kontextoch dokumentácia odporúča nasadenie v FP8 s kontextom približne 128 000 tokenov:

KonfiguráciaHardvérPresnosťKontext
OdporúčanéGPU H100 alebo A100FP8~128 000 tokenov
Vývojová pracovná stanicaRTX 4090 alebo akékoľvek GPU s 24 GB VRAM4-bit~32 000 tokenov
Bez GPUOffload na CPU, s dostatočnou RAM—— výrazne pomalšie

Tieto údaje platia pre Devstral Small 2. Mistral Small 4 vyžaduje na načítanie váh oveľa viac video pamäte: počítaj aspoň s jedným H100 s 80 GB vo FP8 a s ešte viac pre dlhé kontexty. Následne uprav presnosť a dĺžku kontextu podľa svojho hardvéru.

Nasadenie pomocou vLLM

vLLM je inferenčný framework odporúčaný dokumentáciou Vibe na obsluhu modelu Devstral. Inštalácia si vyžaduje len jeden príkaz.

pip install vllm

Server sa potom spustí jediným riadkom s dvoma možnosťami, ktoré umožňujú použitie modelu v agentickom režime.

vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --port 8080

Tri varianty pokrývajú väčšinu reálnych situácií: rozdelenie modelu medzi viacero GPU, zníženie presnosti pri obmedzenej VRAM alebo skrátenie kontextu z rovnakého dôvodu.

# Viacero GPU (ak máš 2 a viac GPU)
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --tensor-parallel-size 2 \
  --port 8080

# Znížená presnosť (pre GPU s menšou VRAM)
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --dtype float16 \
  --port 8080

# Znížený kontext (na úsporu VRAM)
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --max-model-len 32768 \
  --port 8080

Tu je vysvetlenie, čo každá vlajka riadi:

  • --tool-call-parser mistral — povoľuje parsovanie volaní nástrojov vo formáte Mistral
  • --enable-auto-tool-choice — umožňuje modelu rozhodnúť, kedy zavolať nástroj
  • --tensor-parallel-size — rozdelí model medzi viacero GPU
  • --dtype — riadi presnosť (float16, bfloat16, float32)
  • --max-model-len — obmedzuje veľkosť kontextu na úsporu VRAM

Prvé dve si zaslúžia osobitnú pozornosť: ich vynechanie ti poskytne server, ktorý perfektne funguje na konverzáciu, ale ticho zlyhá hneď, ako sa agent pokúsi zavolať nástroj. Toto je najčastejšia príčina, prečo je lokálne nasadenie hodnotené ako „sklamávajúce“.

Používanie lokálneho servera

Akonáhle beží vLLM, port 8080 vystavuje API kompatibilné s OpenAI. Mistral SDK sa k nemu pripojí jednoduchou zmenou URL servera; kľúč už nie je potrebný.

from mistralai.client import Mistral

# Nasmerovanie na lokálny server
client = Mistral(
    api_key="dummy",  # Lokálne nie je potrebný žiadny kľúč
    server_url="http://localhost:8080",
)

response = client.chat.complete(
    model="mistralai/Devstral-Small-2-24B-Instruct-2512",
    messages=[
        {"role": "user", "content": "Analyzuj tento kód a navrhni vylepšenia."}
    ],
)

SDK OpenAI funguje rovnako dobre, čo ti umožňuje prepínať existujúci kód na lokálny Devstral bez jeho prepisovania.

from openai import OpenAI

client = OpenAI(
    api_key="dummy",
    base_url="http://localhost:8080/v1",
)

response = client.chat.completions.create(
    model="mistralai/Devstral-Small-2-24B-Instruct-2512",
    messages=[
        {"role": "user", "content": "Vysvetli tento kód."}
    ],
)

Alternatívne frameworky

vLLM nie je jedinou cestou: Devstral funguje s akýmkoľvek inferenčným frameworkom, ktorý vystavuje API kompatibilné s OpenAI. Dokumentácia Vibe uvádza llama.cpp, vhodný pre nastavenia s nízkou VRAM vďaka kvantovaným modelom GGUF, LM Studio, ktoré ponúka grafické rozhranie bez potreby príkazového riadku, a Ollama. Pred porovnaním výsledkov si v každom nástroji over presný názov modelu a kvantovanie.

Pripojenie Vibe k lokálnemu serveru

Vibe nebalí lokálny model: akonáhle je tvoj server spustený, deklaruješ poskytovateľa a predvoľbu modelu v súbore config.toml. Pre server kompatibilný s OpenAI na porte 8080:

active_model = "devstral-local"

[[providers]]
name = "local"
api_base = "http://localhost:8080/v1"
api_style = "openai"
backend = "generic"

[[models]]
name = "mistralai/Devstral-Small-2-24B-Instruct-2512"
provider = "local"
alias = "devstral-local"

Tri opatrenia z dokumentácie: udržuj active_model nad prvým poľom typu [[...]], inak ho TOML pripojí k tomuto poľu; nastav max_context_length v predvoľbe, aby si označil kontext svojho servera; a over, či server vracia využitie tokenov v streamovaných odpovediach (stream_options.include_usage). Vibe tiež poskytuje preddefinovaného poskytovateľa llamacpp, ktorý smeruje na http://127.0.0.1:8080/v1 bez kľúča: v takom prípade stačí do predvoľby napísať provider = "llamacpp". Príkaz /model potom prepína medzi lokálnym modelom a hostovanými modelmi.

Pre plne offline prevádzku tiež vypni telemetriu a kontroly aktualizácií:

enable_telemetry = false
enable_update_checks = false

S týmito nastaveniami a lokálnym poskytovateľom CLI už nekontaktuje mistral.ai. Zručnosti, servery MCP a konektory, ktoré dosahujú na externé systémy, musia byť vypnuté samostatne.

Kľúčové poznatky

  • Devstral bol odstránený z API, ale Devstral Small 2 (24B, Apache 2.0) zostáva odporúčaný pre lokálne použitie spolu s Mistral Small 4
  • vLLM je odporúčaný framework; --tool-call-parser mistral a --enable-auto-tool-choice sú pre agenta nevyhnutné
  • H100 alebo A100 vo FP8 s kontextom ~128k; GPU s 24 GB v 4-bitoch s kontextom ~32k
  • Server vystavuje API kompatibilné s OpenAI, použiteľné s Mistral SDK alebo OpenAI SDK
  • Vibe sa pripája k serveru cez predvoľbu v config.toml (alebo poskytovateľa llamacpp); pre offline použitie vypni telemetriu a aktualizácie