Lähe põhisisu juurde
Eesti— Vali keel
Menüü

Devstrali kohalik majutamine

Õppetund 13 / 14 Värskendatud 2. november 2026 Arendajatele
Sellel lehel
  1. Miks majutada Devstrali kohalikult?
  2. Soovitatud mudelid
  3. Riistvara eeldused
  4. Kasutuselevõtt vLLM-iga
  5. Kohaliku serveri kasutamine
  6. Alternatiivsed raamistikud
  7. Vibe’i ühendamine kohaliku serveriga
  8. Peamised punktid

Õppetund uuendatud 2. novembril 2026, tuginedes Vibe dokumentatsiooni lehele Using offline models: Devstral on API-st eemaldatud, kuid Devstral Small 2 on alles jäänud ning koos Mistral Small 4-ga üks kahest soovitatud avatud mudelist kohalikuks kasutamiseks. Allikata kuluhinnangud on eemaldatud ja Vibe’i ühendamine kohaliku serveriga järgib nüüd ametlikku config.toml süntaksit. Allikas: Using offline models.

Miks majutada Devstrali kohalikult?

Devstral Small 2 avaldatakse avatud kaaludega Apache 2.0 litsentsi alusel (Devstral 2, selle 123 miljardi parameetriga suurem vend, kasutatud muudetud MIT litsentsi). Kuigi see eemaldati Mistrali API-st 31. märtsil 2026, pole see kadunud: saad seda kasutusele võtta oma serverites, saatmata ainustki koodirida välisele API-le, ja Vibe’i dokumentatsioon soovitab seda selleks otstarbeks endiselt.

Põhjused kattuvad sageli. Esikohal on privaatsus: sinu kood ei lahku kunagi sinu taristust, lõpetades sellega igasugused vaidlused teenusepakkuja kasutustingimuste üle. Järgneb latentsus, kuna sinu klaviatuurilöögi ja soovituse vahel puudub võrgu päring Mistrali API-le. Kulustruktuur muutub: maksad GPU eest fikseeritud hinda kasutuspõhise arvelduse asemel, mis muutub kasulikuks niipea, kui kogu meeskond küsitleb mudelit terve päeva. Lõpuks on olemas vastavusnõuded, mida nõuavad teatud määrused ja sektorid nagu pangandus või kaitsetööstus, ning kättesaadavus, kuna ükski kolmanda osapoole teenus ei saa sinu tööd katkestada.

Soovitatud mudelid

Vibe’i dokumentatsioon soovitab kohalikuks kasutamiseks kahte avatud mudelit:

  • Devstral Small 2 (mistralai/Devstral-Small-2-24B-Instruct-2512 Hugging Face’is): 24 miljardit parameetrit, tihe (dense), treenitud agentülesannete ja kodeerimise jaoks, kõige kergema riistvaralise jalajäljega;
  • Mistral Small 4: 119 miljardit parameetrit ekspertide seguarhitektuuris (mixture-of-experts), millest 6,5 miljardit on aktiivsed; hübriidne arutlemise ja kodeerimise mudel 256 000 tokeni kontekstiga Apache 2.0 litsentsi alusel.

Riistvara eeldused

Pikema konteksti korral korraliku jõudluse saavutamiseks soovitab dokumentatsioon FP8 kasutuselevõttu umbes 128 000 tokeni kontekstiga:

KonfiguratsioonRiistvaraTäpsusKontekst
SoovitatavH100 või A100 GPUFP8~128 000 tokenit
ArendustööjaamRTX 4090 või mis tahes 24 GB VRAM-iga GPU4-bitine~32 000 tokenit
GPU puudubCPU mahalaadimine, piisava RAM-mahuga—— oluliselt aeglasem

Need näitajad kehtivad Devstral Small 2 kohta. Mistral Small 4 nõuab oma kaalude laadimiseks palju rohkem videomälu: arvesta vähemalt ühe 80 GB H100-ga FP8-režiimis ja pikema konteksti jaoks veelgi rohkem. Seejärel kohanda täpsust ja konteksti pikkust oma riistvarale.

Kasutuselevõtt vLLM-iga

vLLM on Vibe’i dokumentatsiooni soovitatud järeldusraamistik (inference framework) Devstrali teenindamiseks. Paigaldamine nõuab vaid ühte käsku.

pip install vllm

Server käivitub seejärel ühe reaga, kasutades kahte valikut, mis teevad mudeli agentrežiimis kasutatavaks.

vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --port 8080

Kolm varianti katavad enamiku reaalsetest olukordadest: mudeli jagamine mitme GPU vahel, täpsuse vähendamine kitsa VRAM-i korral või konteksti lühendamine samal põhjusel.

# Mitu GPU-d (kui sul on 2+ GPU-d)
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --tensor-parallel-size 2 \
  --port 8080

# Vähendatud täpsus (GPU-dele, millel on vähem VRAM-i)
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --dtype float16 \
  --port 8080

# Vähendatud kontekst (VRAM-i säästmiseks)
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --max-model-len 32768 \
  --port 8080

Siin on kirjeldatud, mida iga lipp juhib:

  • --tool-call-parser mistral — võimaldab tööriistakutsude parsimist Mistrali vormingus
  • --enable-auto-tool-choice — lubab mudelil otsustada, millal tööriista kutsuda
  • --tensor-parallel-size — jagab mudeli mitme GPU vahel
  • --dtype — juhib täpsust (float16, bfloat16, float32)
  • --max-model-len — piirab konteksti suurust VRAM-i säästmiseks

Esimesed kaks väärivad erilist tähelepanu: nende ärajätmine annab sulle serveri, mis töötab vestluse jaoks ideaalselt, kuid vaikib ebaõnnestunult niipea, kui agent püüab tööriista kutsuda. See on kõige levinum põhjus, miks kohalikku kasutuselevõttu peetakse „pettumust valmistavaks“.

Kohaliku serveri kasutamine

Kui vLLM töötab, avab port 8080 OpenAI-ga ühilduva API. Mistrali SDK ühendub sellega, muutes lihtsalt serveri URL-i; võti pole enam vajalik.

from mistralai.client import Mistral

# Osuta kohalikule serverile
client = Mistral(
    api_key="dummy",  # Kohalikult võtit vaja pole
    server_url="http://localhost:8080",
)

response = client.chat.complete(
    model="mistralai/Devstral-Small-2-24B-Instruct-2512",
    messages=[
        {"role": "user", "content": "Analüüsi seda koodi ja tee ettepanekuid parendamiseks."}
    ],
)

Ka OpenAI SDK töötab sama hästi, võimaldades sul olemasoleva koodi viia kohalikule Devstralile ümber kirjutamata.

from openai import OpenAI

client = OpenAI(
    api_key="dummy",
    base_url="http://localhost:8080/v1",
)

response = client.chat.completions.create(
    model="mistralai/Devstral-Small-2-24B-Instruct-2512",
    messages=[
        {"role": "user", "content": "Selgita seda koodi."}
    ],
)

Alternatiivsed raamistikud

vLLM pole ainus tee: Devstral töötab iga järeldusraamistikuga, mis pakub OpenAI-ga ühilduvat API-t. Vibe’i dokumentatsioon toob välja llama.cpp, mis sobib väikese VRAM-i seadistustele tänu oma GGUF-kvantiseeritud mudelitele, LM Studio, mis pakub graafilist liidest ilma käsureata, ja Ollama. Enne tulemuste võrdlemist kontrolli iga tööriista puhul täpset mudeli nime ja kvantiseerimist.

Vibe’i ühendamine kohaliku serveriga

Vibe ei komplekteeri kohalikku mudelit: kui sinu server töötab, deklareerid teenusepakkuja ja mudeli eelseadistuse failis config.toml. OpenAI-ga ühilduva serveri jaoks pordil 8080:

active_model = "devstral-local"

[[providers]]
name = "local"
api_base = "http://localhost:8080/v1"
api_style = "openai"
backend = "generic"

[[models]]
name = "mistralai/Devstral-Small-2-24B-Instruct-2512"
provider = "local"
alias = "devstral-local"

Dokumentatsioonist kolm ettevaatusabinõu: hoia active_model ülevalpool esimest [[...]] massiivi, vastasel juhul seob TOML selle selle massiiviga; määra eelseadistuses max_context_length, et näidata oma serveri konteksti; ja veendu, et server tagastab tokenite kasutuse voogvastustes (stream_options.include_usage). Vibe pakub ka eelmääratletud teenusepakkujat llamacpp, mis osutab aadressile http://127.0.0.1:8080/v1 ilma võtmeta: sel juhul kirjuta eelseadistusse lihtsalt provider = "llamacpp". Käsk /model lülitab seejärel kohaliku mudeli ja hostitud mudelite vahel.

Täielikuks offline-režiimiks keela ka telemmeetria ja värskenduste kontrollimine:

enable_telemetry = false
enable_update_checks = false

Nende seadete ja kohaliku teenusepakkujaga ei võta CLI enam ühendust aadressiga mistral.ai. Oskused, MCP-serverid ja välissüsteeme jõudvad ühendused tuleb eraldi keelata.

Peamised punktid

  • Devstral on API-st eemaldatud, kuid Devstral Small 2 (24B, Apache 2.0) on endiselt soovitatud kohalikuks kasutamiseks koos Mistral Small 4-ga
  • vLLM on soovitatud raamistik; --tool-call-parser mistral ja --enable-auto-tool-choice on agendi jaoks hädavajalikud
  • H100 või A100 FP8-režiimis ~128k kontekstiga; 24 GB GPU 4-bitises režiimis ~32k kontekstiga
  • Server pakub OpenAI-ga ühilduvat API-t, kasutatavat nii Mistrali SDK kui ka OpenAI SDK-ga
  • Vibe ühendub serveriga eelseadistuse kaudu failis config.toml (või teenusepakkujaga llamacpp); telemmeetria ja värskendused tuleb offline-kasutuseks keelata