Gostovanje modela Devstral lokalno
Na tej strani
Lekcija posodobljena 2. novembra 2026 na podlagi strani Uporaba brez povezave delujočih modelov v dokumentaciji Vibe: Devstral je bil odstranjen iz API-ja, vendar Devstral Small 2 ostaja, skupaj z Mistral Small 4, eden od dveh priporočenih odprtih modelov za lokalno uporabo. Ocene stroškov brez virov so bile odstranjene, povezava Vibea z lokalnim strežnikom pa zdaj sledi uradni sintaksi
config.toml. Vir: Uporaba brez povezave delujočih modelov.
Zakaj gostovati Devstral lokalno?
Devstral Small 2 je izdan z odprtimi utežmi pod licenco Apache 2.0 (Devstral 2, njegov 123-milijardni brat, uporablja modificirano licenco MIT). Čeprav je bil 31. marca 2026 odstranjen iz Mistral API-ja, ni izginil: namestite ga lahko na svoje strežnike, ne da bi poslali katero koli vrstico kode zunanjemu API-ju, dokumentacija Vibe pa ga za ta namen še vedno priporoča.
Razlogi se pogosto prekrivajo. Na prvem mestu je zasebnost: vaša koda nikoli ne zapusti vaše infrastrukture, s čimer se končajo vse razprave o pogojih uporabe ponudnika. Sledi latenca, saj med vašimi pritiski na tipke in predlogom ni omrežnega krožnega potovanja do Mistral API-ja. Spremeni se struktura stroškov: namesto obračunavanja glede na uporabo plačate fiksno ceno za GPU, kar postane ugodno, ko celoten ekipa ves dan poizveduje po modelu. Nazadnje, tu sta še skladnost, ki jo zahtevajo določeni predpisi in sektorji, kot sta bančništvo ali obramba, ter razpoložljivost, saj nobena storitev tretje strani ne more prekiniti vašega dela.
Priporočeni modeli
Dokumentacija Vibe priporoča dva odprta modela za lokalno uporabo:
- Devstral Small 2 (
mistralai/Devstral-Small-2-24B-Instruct-2512na Hugging Face): 24 milijard parametrov, gosta arhitektura, usposobljen za agentske naloge in kodiranje, z najmanjšimi zahtevami glede strojne opreme; - Mistral Small 4: 119 milijard parametrov v arhitekturi mešanice strokovnjakov (MoE), od katerih je 6,5 milijarde aktivnih, hibridni model za sklepanje in kodiranje s kontekstom 256.000 žetonov, pod licenco Apache 2.0.
Strojne predpostavke
Za dostojno zmogljivost pri dolgih kontekstih dokumentacija priporoča namestitev FP8 s kontekstom približno 128.000 žetonov:
| Konfiguracija | Strojni del | Natančnost | Kontekst |
|---|---|---|---|
| Priporočeno | GPU H100 ali A100 | FP8 | ~128.000 žetonov |
| Razvojna delovna postaja | RTX 4090 ali kateri koli GPU z 24 GB VRAM | 4-bitni | ~32.000 žetonov |
| Brez GPU-ja | Razbremenitev na CPU, z dovolj RAM-a | — | — znatno počasneje |
Te številke veljajo za Devstral Small 2. Mistral Small 4 za nalaganje svojih uteži zahteva veliko več video pomnilnika: računajte vsaj na en H100 z 80 GB v FP8 in še več za dolge kontekste. Nato prilagodite natančnost in dolžino konteksta svoji strojni opremi.
Namestitev z vLLM
vLLM je okvir za sklepanje, ki ga dokumentacija Vibe priporoča za streženje Devstrala. Namestitev zahteva le en ukaz.
pip install vllm
Strežnik se nato zažene v eni vrstici z dvema možnostma, ki omogočata uporabo modela v agentskem načinu.
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--port 8080
Tri različice pokrivajo večino realnih situacij: razdelitev modela na več GPU-jev, zmanjšanje natančnosti, ko je VRAM omejen, ali skrajšanje konteksta iz istega razloga.
# Več GPU-jev (če imate 2+ GPU-jev)
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--tensor-parallel-size 2 \
--port 8080
# Zmanjšana natančnost (za GPU-je z manj VRAM-a)
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--dtype float16 \
--port 8080
# Zmanjšan kontekst (za varčevanje z VRAM-om)
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--max-model-len 32768 \
--port 8080
Tukaj je razlaga, kaj nadzira vsaka zastavica:
--tool-call-parser mistral— omogoča razčlenjevanje klicev orodij v formatu Mistral--enable-auto-tool-choice— modelu omogoča, da sam odloči, kdaj poklicati orodje--tensor-parallel-size— razdeli model na več GPU-jev--dtype— nadzira natančnost (float16, bfloat16, float32)--max-model-len— omeji velikost konteksta za varčevanje z VRAM-om
Prvi dve si zaslužita posebno pozornost: če ju izpustite, dobite strežnik, ki popolnoma deluje za pogovor, a tiho odpove, takoj ko agent poskusi poklicati orodje. To je najpogostejši vzrok, da se lokalna namestitev oceni kot „razočarajoča”.
Uporaba lokalnega strežnika
Ko je vLLM zagnan, vrata 8080 izpostavljajo API, združljiv z OpenAI. Mistral SDK se poveže z njim tako, da preprosto spremeni URL strežnika; ključ ni več potreben.
from mistralai.client import Mistral
# Usmeri na lokalni strežnik
client = Mistral(
api_key="dummy", # Lokalno ključ ni potreben
server_url="http://localhost:8080",
)
response = client.chat.complete(
model="mistralai/Devstral-Small-2-24B-Instruct-2512",
messages=[
{"role": "user", "content": "Analiziraj to kodo in predlagaj izboljšave."}
],
)
Enako dobro deluje tudi OpenAI SDK, kar vam omogoča preklop obstoječe kode na lokalni Devstral brez prepisovanja.
from openai import OpenAI
client = OpenAI(
api_key="dummy",
base_url="http://localhost:8080/v1",
)
response = client.chat.completions.create(
model="mistralai/Devstral-Small-2-24B-Instruct-2512",
messages=[
{"role": "user", "content": "Razloži to kodo."}
],
)
Alternativni okviri
vLLM ni edina pot: Devstral deluje s katerim koli okvirom za sklepanje, ki izpostavlja API, združljiv z OpenAI. Dokumentacija Vibe navaja llama.cpp, primeren za nastavitve z malo VRAM-a zaradi kvantiziranih modelov GGUF, LM Studio, ki ponuja grafični vmesnik brez ukazne vrstice, in Ollama. Pred primerjavo rezultatov preverite točno ime modela in kvantizacijo v vsakem orodju.
Povezava Vibea z lokalnim strežnikom
Vibe ne vključuje lokalnega modela: ko je vaš strežnik zagnan, v config.toml deklarirate ponudnika in vnaprej nastavljeno konfiguracijo modela. Za strežnik, združljiv z OpenAI, na vratih 8080:
active_model = "devstral-local"
[[providers]]
name = "local"
api_base = "http://localhost:8080/v1"
api_style = "openai"
backend = "generic"
[[models]]
name = "mistralai/Devstral-Small-2-24B-Instruct-2512"
provider = "local"
alias = "devstral-local"
Trije previdnostni ukrepi iz dokumentacije: active_model naj bo nad prvim poljem [[...]], sicer ga bo TOML pripel temu polju; v vnaprejšnji nastavitvi nastavite max_context_length, da označite kontekst svojega strežnika; in preverite, ali strežnik v odzivih s pretokom vrača uporabo žetonov (stream_options.include_usage). Vibe ponuja tudi vnaprej določenega ponudnika llamacpp, ki kaže na http://127.0.0.1:8080/v1 brez ključa: v tem primeru v vnaprejšnji nastavitvi preprosto zapišite provider = "llamacpp". Ukaz /model nato preklopi med lokalnim modelom in gostovanimi modeli.
Za popolno delovanje brez povezave onemogočite tudi telemetrijo in preverjanja posodobitev:
enable_telemetry = false
enable_update_checks = false
S temi nastavitvami in lokalnim ponudnikom CLI ne kontaktira več mistral.ai. Veščine, strežnike MCP in konektorje, ki segajo do zunanjih sistemov, je treba onemogočiti ločeno.
Ključne ugotovitve
- Devstral je odstranjen iz API-ja, vendar Devstral Small 2 (24B, Apache 2.0) ostaja priporočen za lokalno uporabo, skupaj z Mistral Small 4
- vLLM je priporočeni okvir;
--tool-call-parser mistralin--enable-auto-tool-choicesta bistvena za agenta - H100 ali A100 v FP8 s kontekstom ~128k; GPU z 24 GB v 4-bitnem načinu s kontekstom ~32k
- Strežnik izpostavlja API, združljiv z OpenAI, uporaben z Mistral SDK ali OpenAI SDK
- Vibe se poveže s strežnikom prek vnaprejšnje nastavitve v
config.toml(ali ponudnikallamacpp); za uporabo brez povezave onemogočite telemetrijo in posodobitve