Preskok na glavno vsebino
Slovenščina— Izberite jezik
Meni

Lokalna namestitev Devstrala z vLLM

Lekcija 13 od 14 Posodobljeno 2. november 2026 Napredni
Na tej strani
  1. Priprava namestitve
  2. Kaj omogoča tvoja strojna oprema
  3. Namestitev vLLM
  4. Zagon strežnika
  5. Prilagodi ukaz svojemu računalniku
  6. Poveži Vibe in preveri
  7. Tri težave, na katere boš naletel
  8. Ključne ugotovitve

Lekcija posodobljena 2. novembra 2026 na podlagi strani Uporaba modelov brez povezave v dokumentaciji Vibe. Devstral je bil odstranjen iz API-ja Mistral, vendar so njegove uteži še vedno objavljene: Devstral Small 2 in Mistral Small 4 sta dva priporočena odprta modela za lokalno uporabo. Vibe ne vključuje lokalnega modela: povežeš ga s strežnikom, združljivim z OpenAI, prek vnaprej nastavljene konfiguracije v config.toml, nato pa preklopiš z ukazom /model. Vir: Uporaba modelov brez povezave.

Priprava namestitve

Lokalna namestitev Devstrala pomeni zagon strežnika za sklepanje na tvojem računalniku, ki izpostavlja API, združljiv z OpenAI. Vibe se nato nanj poveže popolnoma enako, kot da bi komuniciral z oblakom Mistral. Ta združljivost vmesnika omogoča nemoten preklop; tvoja orodja nimajo razloga vedeti, od kod prihajajo odgovori. Priporočeni okvir za to vlogo je vLLM, visoko zmogljiv pogon za sklepanje, ki ga je razvila skupnost odprte kode.

Kaj omogoča tvoja strojna oprema

Pred namestitvijo česar koli preveri svoj GPU. Ta določa uporabno natančnost in posledično velikost kontekstnega okna, ki ti bo na voljo.

Konfiguracija GPU VRAM Natančnost Kontekst
Priporočeno NVIDIA H100 / A100 80 GB FP8 ~128K žetonov
Alternativa RTX 4090 / RTX 6000 24–48 GB 4-bitno (kvantizirano) ~32K žetonov
Samo CPU Brez GPU-ja 64+ GB RAM-a - Počasno (ni priporočljivo)

Pomembna opomba: Konfiguracija samo s CPU-jem je funkcionalna, a izjemno počasna za model velikosti 24B. Primerna je le za testiranje, ne pa za vsakodnevno uporabo. Z drugimi besedami, omogoča ti preverjanje, ali veriga deluje, ne pa tudi, da bi z njo dejansko delal.

Namestitev vLLM

Programska predpogoj so minimalni: Python 3.10 ali novejši, ki mu sledi ukaz pip install.

# Zahtevan Python 3.10+
python3 --version

# Namesti vLLM
pip install vllm

Nato preveri, ali so gonilniki NVIDIA in CUDA nameščeni ter delujejo. Ta ukaz je najboljši celovit test: če prikaže tvoj GPU in različico CUDA, je nizkonivojski sloj zdrav, morebitne poznejše napake pa bodo izvira drugje.

nvidia-smi
# Mora prikazati tvoj GPU in različico CUDA

Zagon strežnika

Ukaz za zagon vsebuje štiri argumente, od katerih sta dva bistvena za delo z Vibom.

vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --port 8080

Razčlenimo zastavice:

  • mistralai/Devstral-Small-2-24B-Instruct-2512: Model Hugging Face, ki naj se naloži
  • --tool-call-parser mistral: Omogoča razčlenjevanje klicev orodij v formatu Mistral
  • --enable-auto-tool-choice: Modelu omogoča samodejno izbiro orodij
  • --port 8080: Vrata, na katerih strežnik posluša

Dve zastavici, povezani z orodji, si zaslužita posebno pozornost. Brez njiju bi strežnik odgovarjal na tvoja vprašanja, vendar model ne bi mogel več brati datotek ali izvajati ukazov. Vibe bi postal preprost klepetalni bot, kar pa ni cilj.

Prilagodi ukaz svojemu računalniku

Če imaš več GPU-jev, tenzorska vzporednost porazdeli model na vse kartice. Združeni VRAM nato omogoča širše kontekstno okno.

vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --tensor-parallel-size 2 \
  --port 8080

Pri skromnejši konfiguraciji moraš znižati natančnost. H100 ali A100 obvladata FP8; RTX 4090 bo uporabil 4-bitno kvantizacijo z AWQ, kar pomeni rahlo izgubo kakovosti, ki pa jo več kot nadomesti dejstvo, da se model končno prilega v pomnilnik.

# FP8 na H100/A100
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --dtype float16 \
  --port 8080

# 4-bitno na RTX 4090
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --quantization awq \
  --port 8080

Zadnja vzvod, ko VRAM še vedno ni dovolj, je zmanjšanje največje dolžine konteksta. Predpomnilnik pozornosti porabi pomnilnik sorazmerno s kontekstom, in znižanje na 16.384 žetonov pogosto sprosti prav toliko, kolikor je manjkalo za zagon.

vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --max-model-len 16384 \
  --port 8080

Poveži Vibe in preveri

Strežnik teče; zdaj moraš Vibu sporočiti, naj ga uporabi. Vibe ne vključuje lokalnega modela: v config.toml deklariraj ponudnika in vnaprej nastavljen model.

# ~/.vibe/config.toml
active_model = "devstral-local"

[[providers]]
name = "local"
api_base = "http://localhost:8080/v1"
api_style = "openai"
backend = "generic"

[[models]]
name = "mistralai/Devstral-Small-2-24B-Instruct-2512"
provider = "local"
alias = "devstral-local"

active_model ohrani nad prvo tabelo [[...]], sicer ga bo TOML pripel tej tabeli. V vnaprejšnji nastavitvi nastavi max_context_length, da označiš kontekst svojega strežnika, ki mora v odzivih s pretokom vrniti tudi uporabo žetonov (stream_options.include_usage). Krajša različica: Vibe ponuja vnaprej določenega ponudnika llamacpp, ki kaže na http://127.0.0.1:8080/v1 brez ključa; v tem primeru v vnaprejšnji nastavitvi zapiši provider = "llamacpp" brez bloka [[providers]]. V seji ukaz /model preklopi med lokalnim modelom in gostovanimi modeli.

Verigo preizkusi na dveh ravneh: najprej surovi API, kar potrdi, da je model naložen, nato pa dejansko zahtevo v Vibu, da preveriš delovanje klicev orodij.

# Neposredni test API-ja
curl http://localhost:8080/v1/models

# Test v Vibu (agent ask zahteva potrditev pred vsakim orodjem)
vibe --agent ask
> List files in the current directory

Za vsakodnevno uporabo ročno ponovno zaganjanje ukaza hitro postane dolgočasno. Storitev systemd zažene strežnik ob zagonu sistema in ga ponovno zažene v primeru zrušitve.

# Ustvari storitev systemd
sudo tee /etc/systemd/system/vllm-devstral.service << EOF
[Unit]
Description=vLLM Devstral Server
After=network.target

[Service]
Type=simple
User=$USER
ExecStart=/usr/local/bin/vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 --tool-call-parser mistral --enable-auto-tool-choice --port 8080
Restart=always
RestartSec=10

[Install]
WantedBy=multi-user.target
EOF

sudo systemctl enable --now vllm-devstral

Tri težave, na katere boš naletel

Napaka CUDA out of memory pomeni, da se model ne prilega: zmanjšaj --max-model-len ali preklopi na 4-bitno kvantizacijo. Počasnost ob prvem zagonu je normalna in ni simptom težave – ob prvem zagonu se model prenese in naloži (približno 14 GB), naslednji zagoni pa imajo korist od predpomnilnika. Če Vibe ne more najti lokalnega strežnika, preprosto preveri, ali vrata 8080 poslušajo, preden iščeš dalje.

curl http://localhost:8080/health

Ključne ugotovitve

  • vLLM je priporočeni okvir za lokalno gostovanje Devstrala
  • Zastavici --tool-call-parser mistral in --enable-auto-tool-choice sta obvezni
  • H100/A100 ponujata FP8 in kontekst 128K; RTX 4090 ponuja 4-bitno kvantizacijo in kontekst 32K
  • Zmanjšaj --max-model-len, če VRAM ni zadosten
  • Poveži Vibe prek ponudnika in vnaprej nastavljenega modela v config.toml (ali uporabi vnaprej določenega ponudnika llamacpp), nato uporabi /model
  • Za vsakodnevno uporabo zaženi vLLM kot storitev systemd