Devstrali kohalik majutamine
Sellel lehel
Õppetund uuendatud 2. novembril 2026, tuginedes Vibe dokumentatsiooni lehele Using offline models: Devstral on API-st eemaldatud, kuid Devstral Small 2 on alles jäänud ning koos Mistral Small 4-ga üks kahest soovitatud avatud mudelist kohalikuks kasutamiseks. Allikata kuluhinnangud on eemaldatud ja Vibe’i ühendamine kohaliku serveriga järgib nüüd ametlikku
config.tomlsüntaksit. Allikas: Using offline models.
Miks majutada Devstrali kohalikult?
Devstral Small 2 avaldatakse avatud kaaludega Apache 2.0 litsentsi alusel (Devstral 2, selle 123 miljardi parameetriga suurem vend, kasutatud muudetud MIT litsentsi). Kuigi see eemaldati Mistrali API-st 31. märtsil 2026, pole see kadunud: saad seda kasutusele võtta oma serverites, saatmata ainustki koodirida välisele API-le, ja Vibe’i dokumentatsioon soovitab seda selleks otstarbeks endiselt.
Põhjused kattuvad sageli. Esikohal on privaatsus: sinu kood ei lahku kunagi sinu taristust, lõpetades sellega igasugused vaidlused teenusepakkuja kasutustingimuste üle. Järgneb latentsus, kuna sinu klaviatuurilöögi ja soovituse vahel puudub võrgu päring Mistrali API-le. Kulustruktuur muutub: maksad GPU eest fikseeritud hinda kasutuspõhise arvelduse asemel, mis muutub kasulikuks niipea, kui kogu meeskond küsitleb mudelit terve päeva. Lõpuks on olemas vastavusnõuded, mida nõuavad teatud määrused ja sektorid nagu pangandus või kaitsetööstus, ning kättesaadavus, kuna ükski kolmanda osapoole teenus ei saa sinu tööd katkestada.
Soovitatud mudelid
Vibe’i dokumentatsioon soovitab kohalikuks kasutamiseks kahte avatud mudelit:
- Devstral Small 2 (
mistralai/Devstral-Small-2-24B-Instruct-2512Hugging Face’is): 24 miljardit parameetrit, tihe (dense), treenitud agentülesannete ja kodeerimise jaoks, kõige kergema riistvaralise jalajäljega; - Mistral Small 4: 119 miljardit parameetrit ekspertide seguarhitektuuris (mixture-of-experts), millest 6,5 miljardit on aktiivsed; hübriidne arutlemise ja kodeerimise mudel 256 000 tokeni kontekstiga Apache 2.0 litsentsi alusel.
Riistvara eeldused
Pikema konteksti korral korraliku jõudluse saavutamiseks soovitab dokumentatsioon FP8 kasutuselevõttu umbes 128 000 tokeni kontekstiga:
| Konfiguratsioon | Riistvara | Täpsus | Kontekst |
|---|---|---|---|
| Soovitatav | H100 või A100 GPU | FP8 | ~128 000 tokenit |
| Arendustööjaam | RTX 4090 või mis tahes 24 GB VRAM-iga GPU | 4-bitine | ~32 000 tokenit |
| GPU puudub | CPU mahalaadimine, piisava RAM-mahuga | — | — oluliselt aeglasem |
Need näitajad kehtivad Devstral Small 2 kohta. Mistral Small 4 nõuab oma kaalude laadimiseks palju rohkem videomälu: arvesta vähemalt ühe 80 GB H100-ga FP8-režiimis ja pikema konteksti jaoks veelgi rohkem. Seejärel kohanda täpsust ja konteksti pikkust oma riistvarale.
Kasutuselevõtt vLLM-iga
vLLM on Vibe’i dokumentatsiooni soovitatud järeldusraamistik (inference framework) Devstrali teenindamiseks. Paigaldamine nõuab vaid ühte käsku.
pip install vllm
Server käivitub seejärel ühe reaga, kasutades kahte valikut, mis teevad mudeli agentrežiimis kasutatavaks.
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--port 8080
Kolm varianti katavad enamiku reaalsetest olukordadest: mudeli jagamine mitme GPU vahel, täpsuse vähendamine kitsa VRAM-i korral või konteksti lühendamine samal põhjusel.
# Mitu GPU-d (kui sul on 2+ GPU-d)
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--tensor-parallel-size 2 \
--port 8080
# Vähendatud täpsus (GPU-dele, millel on vähem VRAM-i)
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--dtype float16 \
--port 8080
# Vähendatud kontekst (VRAM-i säästmiseks)
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--max-model-len 32768 \
--port 8080
Siin on kirjeldatud, mida iga lipp juhib:
--tool-call-parser mistral— võimaldab tööriistakutsude parsimist Mistrali vormingus--enable-auto-tool-choice— lubab mudelil otsustada, millal tööriista kutsuda--tensor-parallel-size— jagab mudeli mitme GPU vahel--dtype— juhib täpsust (float16, bfloat16, float32)--max-model-len— piirab konteksti suurust VRAM-i säästmiseks
Esimesed kaks väärivad erilist tähelepanu: nende ärajätmine annab sulle serveri, mis töötab vestluse jaoks ideaalselt, kuid vaikib ebaõnnestunult niipea, kui agent püüab tööriista kutsuda. See on kõige levinum põhjus, miks kohalikku kasutuselevõttu peetakse „pettumust valmistavaks“.
Kohaliku serveri kasutamine
Kui vLLM töötab, avab port 8080 OpenAI-ga ühilduva API. Mistrali SDK ühendub sellega, muutes lihtsalt serveri URL-i; võti pole enam vajalik.
from mistralai.client import Mistral
# Osuta kohalikule serverile
client = Mistral(
api_key="dummy", # Kohalikult võtit vaja pole
server_url="http://localhost:8080",
)
response = client.chat.complete(
model="mistralai/Devstral-Small-2-24B-Instruct-2512",
messages=[
{"role": "user", "content": "Analüüsi seda koodi ja tee ettepanekuid parendamiseks."}
],
)
Ka OpenAI SDK töötab sama hästi, võimaldades sul olemasoleva koodi viia kohalikule Devstralile ümber kirjutamata.
from openai import OpenAI
client = OpenAI(
api_key="dummy",
base_url="http://localhost:8080/v1",
)
response = client.chat.completions.create(
model="mistralai/Devstral-Small-2-24B-Instruct-2512",
messages=[
{"role": "user", "content": "Selgita seda koodi."}
],
)
Alternatiivsed raamistikud
vLLM pole ainus tee: Devstral töötab iga järeldusraamistikuga, mis pakub OpenAI-ga ühilduvat API-t. Vibe’i dokumentatsioon toob välja llama.cpp, mis sobib väikese VRAM-i seadistustele tänu oma GGUF-kvantiseeritud mudelitele, LM Studio, mis pakub graafilist liidest ilma käsureata, ja Ollama. Enne tulemuste võrdlemist kontrolli iga tööriista puhul täpset mudeli nime ja kvantiseerimist.
Vibe’i ühendamine kohaliku serveriga
Vibe ei komplekteeri kohalikku mudelit: kui sinu server töötab, deklareerid teenusepakkuja ja mudeli eelseadistuse failis config.toml. OpenAI-ga ühilduva serveri jaoks pordil 8080:
active_model = "devstral-local"
[[providers]]
name = "local"
api_base = "http://localhost:8080/v1"
api_style = "openai"
backend = "generic"
[[models]]
name = "mistralai/Devstral-Small-2-24B-Instruct-2512"
provider = "local"
alias = "devstral-local"
Dokumentatsioonist kolm ettevaatusabinõu: hoia active_model ülevalpool esimest [[...]] massiivi, vastasel juhul seob TOML selle selle massiiviga; määra eelseadistuses max_context_length, et näidata oma serveri konteksti; ja veendu, et server tagastab tokenite kasutuse voogvastustes (stream_options.include_usage). Vibe pakub ka eelmääratletud teenusepakkujat llamacpp, mis osutab aadressile http://127.0.0.1:8080/v1 ilma võtmeta: sel juhul kirjuta eelseadistusse lihtsalt provider = "llamacpp". Käsk /model lülitab seejärel kohaliku mudeli ja hostitud mudelite vahel.
Täielikuks offline-režiimiks keela ka telemmeetria ja värskenduste kontrollimine:
enable_telemetry = false
enable_update_checks = false
Nende seadete ja kohaliku teenusepakkujaga ei võta CLI enam ühendust aadressiga mistral.ai. Oskused, MCP-serverid ja välissüsteeme jõudvad ühendused tuleb eraldi keelata.
Peamised punktid
- Devstral on API-st eemaldatud, kuid Devstral Small 2 (24B, Apache 2.0) on endiselt soovitatud kohalikuks kasutamiseks koos Mistral Small 4-ga
- vLLM on soovitatud raamistik;
--tool-call-parser mistralja--enable-auto-tool-choiceon agendi jaoks hädavajalikud - H100 või A100 FP8-režiimis ~128k kontekstiga; 24 GB GPU 4-bitises režiimis ~32k kontekstiga
- Server pakub OpenAI-ga ühilduvat API-t, kasutatavat nii Mistrali SDK kui ka OpenAI SDK-ga
- Vibe ühendub serveriga eelseadistuse kaudu failis
config.toml(või teenusepakkujagallamacpp); telemmeetria ja värskendused tuleb offline-kasutuseks keelata