Lokalna namestitev Devstrala z vLLM
Na tej strani
Lekcija posodobljena 2. novembra 2026 na podlagi strani Uporaba modelov brez povezave v dokumentaciji Vibe. Devstral je bil odstranjen iz API-ja Mistral, vendar so njegove uteži še vedno objavljene: Devstral Small 2 in Mistral Small 4 sta dva priporočena odprta modela za lokalno uporabo. Vibe ne vključuje lokalnega modela: povežeš ga s strežnikom, združljivim z OpenAI, prek vnaprej nastavljene konfiguracije v
config.toml, nato pa preklopiš z ukazom/model. Vir: Uporaba modelov brez povezave.
Priprava namestitve
Lokalna namestitev Devstrala pomeni zagon strežnika za sklepanje na tvojem računalniku, ki izpostavlja API, združljiv z OpenAI. Vibe se nato nanj poveže popolnoma enako, kot da bi komuniciral z oblakom Mistral. Ta združljivost vmesnika omogoča nemoten preklop; tvoja orodja nimajo razloga vedeti, od kod prihajajo odgovori. Priporočeni okvir za to vlogo je vLLM, visoko zmogljiv pogon za sklepanje, ki ga je razvila skupnost odprte kode.
Kaj omogoča tvoja strojna oprema
Pred namestitvijo česar koli preveri svoj GPU. Ta določa uporabno natančnost in posledično velikost kontekstnega okna, ki ti bo na voljo.
| Konfiguracija | GPU | VRAM | Natančnost | Kontekst |
|---|---|---|---|---|
| Priporočeno | NVIDIA H100 / A100 | 80 GB | FP8 | ~128K žetonov |
| Alternativa | RTX 4090 / RTX 6000 | 24–48 GB | 4-bitno (kvantizirano) | ~32K žetonov |
| Samo CPU | Brez GPU-ja | 64+ GB RAM-a | - | Počasno (ni priporočljivo) |
Pomembna opomba: Konfiguracija samo s CPU-jem je funkcionalna, a izjemno počasna za model velikosti 24B. Primerna je le za testiranje, ne pa za vsakodnevno uporabo. Z drugimi besedami, omogoča ti preverjanje, ali veriga deluje, ne pa tudi, da bi z njo dejansko delal.
Namestitev vLLM
Programska predpogoj so minimalni: Python 3.10 ali novejši, ki mu sledi ukaz pip install.
# Zahtevan Python 3.10+
python3 --version
# Namesti vLLM
pip install vllm
Nato preveri, ali so gonilniki NVIDIA in CUDA nameščeni ter delujejo. Ta ukaz je najboljši celovit test: če prikaže tvoj GPU in različico CUDA, je nizkonivojski sloj zdrav, morebitne poznejše napake pa bodo izvira drugje.
nvidia-smi
# Mora prikazati tvoj GPU in različico CUDA
Zagon strežnika
Ukaz za zagon vsebuje štiri argumente, od katerih sta dva bistvena za delo z Vibom.
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--port 8080
Razčlenimo zastavice:
mistralai/Devstral-Small-2-24B-Instruct-2512: Model Hugging Face, ki naj se naloži--tool-call-parser mistral: Omogoča razčlenjevanje klicev orodij v formatu Mistral--enable-auto-tool-choice: Modelu omogoča samodejno izbiro orodij--port 8080: Vrata, na katerih strežnik posluša
Dve zastavici, povezani z orodji, si zaslužita posebno pozornost. Brez njiju bi strežnik odgovarjal na tvoja vprašanja, vendar model ne bi mogel več brati datotek ali izvajati ukazov. Vibe bi postal preprost klepetalni bot, kar pa ni cilj.
Prilagodi ukaz svojemu računalniku
Če imaš več GPU-jev, tenzorska vzporednost porazdeli model na vse kartice. Združeni VRAM nato omogoča širše kontekstno okno.
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--tensor-parallel-size 2 \
--port 8080
Pri skromnejši konfiguraciji moraš znižati natančnost. H100 ali A100 obvladata FP8; RTX 4090 bo uporabil 4-bitno kvantizacijo z AWQ, kar pomeni rahlo izgubo kakovosti, ki pa jo več kot nadomesti dejstvo, da se model končno prilega v pomnilnik.
# FP8 na H100/A100
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--dtype float16 \
--port 8080
# 4-bitno na RTX 4090
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--quantization awq \
--port 8080
Zadnja vzvod, ko VRAM še vedno ni dovolj, je zmanjšanje največje dolžine konteksta. Predpomnilnik pozornosti porabi pomnilnik sorazmerno s kontekstom, in znižanje na 16.384 žetonov pogosto sprosti prav toliko, kolikor je manjkalo za zagon.
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--max-model-len 16384 \
--port 8080
Poveži Vibe in preveri
Strežnik teče; zdaj moraš Vibu sporočiti, naj ga uporabi. Vibe ne vključuje lokalnega modela: v config.toml deklariraj ponudnika in vnaprej nastavljen model.
# ~/.vibe/config.toml
active_model = "devstral-local"
[[providers]]
name = "local"
api_base = "http://localhost:8080/v1"
api_style = "openai"
backend = "generic"
[[models]]
name = "mistralai/Devstral-Small-2-24B-Instruct-2512"
provider = "local"
alias = "devstral-local"
active_model ohrani nad prvo tabelo [[...]], sicer ga bo TOML pripel tej tabeli. V vnaprejšnji nastavitvi nastavi max_context_length, da označiš kontekst svojega strežnika, ki mora v odzivih s pretokom vrniti tudi uporabo žetonov (stream_options.include_usage). Krajša različica: Vibe ponuja vnaprej določenega ponudnika llamacpp, ki kaže na http://127.0.0.1:8080/v1 brez ključa; v tem primeru v vnaprejšnji nastavitvi zapiši provider = "llamacpp" brez bloka [[providers]]. V seji ukaz /model preklopi med lokalnim modelom in gostovanimi modeli.
Verigo preizkusi na dveh ravneh: najprej surovi API, kar potrdi, da je model naložen, nato pa dejansko zahtevo v Vibu, da preveriš delovanje klicev orodij.
# Neposredni test API-ja
curl http://localhost:8080/v1/models
# Test v Vibu (agent ask zahteva potrditev pred vsakim orodjem)
vibe --agent ask
> List files in the current directory
Za vsakodnevno uporabo ročno ponovno zaganjanje ukaza hitro postane dolgočasno. Storitev systemd zažene strežnik ob zagonu sistema in ga ponovno zažene v primeru zrušitve.
# Ustvari storitev systemd
sudo tee /etc/systemd/system/vllm-devstral.service << EOF
[Unit]
Description=vLLM Devstral Server
After=network.target
[Service]
Type=simple
User=$USER
ExecStart=/usr/local/bin/vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 --tool-call-parser mistral --enable-auto-tool-choice --port 8080
Restart=always
RestartSec=10
[Install]
WantedBy=multi-user.target
EOF
sudo systemctl enable --now vllm-devstral
Tri težave, na katere boš naletel
Napaka CUDA out of memory pomeni, da se model ne prilega: zmanjšaj --max-model-len ali preklopi na 4-bitno kvantizacijo. Počasnost ob prvem zagonu je normalna in ni simptom težave – ob prvem zagonu se model prenese in naloži (približno 14 GB), naslednji zagoni pa imajo korist od predpomnilnika. Če Vibe ne more najti lokalnega strežnika, preprosto preveri, ali vrata 8080 poslušajo, preden iščeš dalje.
curl http://localhost:8080/health
Ključne ugotovitve
- vLLM je priporočeni okvir za lokalno gostovanje Devstrala
- Zastavici
--tool-call-parser mistralin--enable-auto-tool-choicesta obvezni - H100/A100 ponujata FP8 in kontekst 128K; RTX 4090 ponuja 4-bitno kvantizacijo in kontekst 32K
- Zmanjšaj
--max-model-len, če VRAM ni zadosten - Poveži Vibe prek ponudnika in vnaprej nastavljenega modela v
config.toml(ali uporabi vnaprej določenega ponudnikallamacpp), nato uporabi/model - Za vsakodnevno uporabo zaženi vLLM kot storitev systemd