Izvietot Devstral lokāli
Šajā lapā
Nodarbība atjaunināta 2026. gada 2. novembrī, pamatojoties uz Vibe dokumentācijas lapu Using offline models: Devstral ir izņemts no API, taču Devstral Small 2 joprojām ir pieejams kopā ar Mistral Small 4 kā viens no diviem ieteicamajiem atvērtajiem modeļiem lokālai lietošanai. Ir dzēstas nepamatotās izmaksu aplēses, un Vibe pieslēgšana lokālajam serverim tagad seko oficiālajai
config.tomlsintaksei. Avots: Using offline models.
Kāpēc izvietot Devstral lokāli?
Devstral Small 2 tiek izlaists ar atvērtiem svariem saskaņā ar Apache 2.0 licenci (Devstral 2, tā 123 miljardu parametru lielais brālis, izmanto modificētu MIT licenci). Lai gan tas tika izņemts no Mistral API 2026. gada 31. martā, tas nav pazudis: tu vari to izvietot savos serveros, nesūtot nevienu koda rindiņu uz ārēju API, un Vibe dokumentācija to joprojām iesaka šim nolūkam.
Motivācija bieži pārklājas. Pirmkārt, privātums: tavs kods nekad neatstāj tavu infrastruktūru, tādējādi izbeidzot jebkādas diskusijas par pakalpojumu sniedzēja lietošanas noteikumiem. Otrkārt, latentums, jo starp tavu taustiņu nospiešanu un ieteikumu vairs nav tīkla aprites cikla uz Mistral API. Mainās izmaksu struktūra: tu maksā fiksētu cenu par GPU, nevis par lietojumu, kas kļūst izdevīgi, tiklīdz visa komanda visu dienu veic vaicājumus modelim. Visbeidzot, pastāv atbilstības prasības, ko pieprasa noteikti regulējumi un nozares, piemēram, bankas vai aizsardzība, kā arī pieejamība, jo neviens trešās puses pakalpojums nevar pārtraukt tavu darbu.
Ieteicamie modeļi
Vibe dokumentācija lokālai lietošanai iesaka divus atvērtos modeļus:
- Devstral Small 2 (
mistralai/Devstral-Small-2-24B-Instruct-2512vietnē Hugging Face): 24 miljardi parametru, blīvs, apmācīts aģentu uzdevumiem un kodēšanai ar vismazāko aparatūras noslodzi; - Mistral Small 4: 119 miljardi parametru jauktu ekspertu (mixture-of-experts) arhitektūrā, no kuriem aktīvi ir 6,5 miljardi; hibrīds spriešanas un kodēšanas modelis ar 256 000 tokenu kontekstu, licencēts saskaņā ar Apache 2.0.
Aparatūras prasības
Lai nodrošinātu pienācīgu veiktspēju garos kontekstos, dokumentācija iesaka FP8 izvietošanu ar aptuveni 128 000 tokenu kontekstu:
| Konfigurācija | Aparatūra | Precizitāte | Konteksts |
|---|---|---|---|
| Ieteicams | H100 vai A100 GPU | FP8 | ~128 000 tokenu |
| Izstrādes darbstacija | RTX 4090 vai jebkurš GPU ar 24 GB VRAM | 4-bit | ~32 000 tokenu |
| Bez GPU | CPU izkraušana ar pietiekami daudz RAM | — | — ievērojami lēnāk |
Šie skaitļi attiecas uz Devstral Small 2. Mistral Small 4 prasa daudz vairāk video atmiņas, lai ielādētu tā svarus: rēķinies vismaz ar vienu 80 GB H100 FP8 režīmā un vēl vairāk gariem kontekstiem. Pēc tam pielāgo precizitāti un konteksta garumu savai aparatūrai.
Izvietošana, izmantojot vLLM
vLLM ir secinājumu (inference) ietvars, ko Vibe dokumentācija iesaka Devstral apkalpošanai. Instalācijai pietiek ar vienu komandu.
pip install vllm
Pēc tam serveris tiek palaists vienā rindiņā, izmantojot divas opcijas, kas padara modeli lietojamu aģenta režīmā.
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--port 8080
Trīs varianti aptver lielāko daļu reālo situāciju: modeļa sadalīšana starp vairākiem GPU, precizitātes samazināšana, ja VRAM ir maz, vai konteksta saīsināšana tā paša iemesla dēļ.
# Vairāki GPU (ja tev ir 2+ GPU)
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--tensor-parallel-size 2 \
--port 8080
# Samazināta precizitāte (GPU ar mazāku VRAM)
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--dtype float16 \
--port 8080
# Samazināts konteksts (lai ietaupītu VRAM)
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--max-model-len 32768 \
--port 8080
Lūk, ko kontrolē katrs karogs:
--tool-call-parser mistral— iespējo rīku izsaukumu parsēšanu Mistral formātā--enable-auto-tool-choice— ļauj modelim pašam lemt, kad izsaukt rīku--tensor-parallel-size— sadala modeli starp vairākiem GPU--dtype— kontrolē precizitāti (float16, bfloat16, float32)--max-model-len— ierobežo konteksta lielumu, lai ietaupītu VRAM
Pirmie divi ir pelnījuši īpašu uzmanību: ja tos izlaidīsi, iegūsi serveri, kas lieliski strādā sarunām, bet klusējot neizdosies, tiklīdz aģents mēģinās izsaukt rīku. Tas ir visbiežākais iemesls, kāpēc lokālais izvietojums tiek vērtēts kā „vīlušies”.
Lokālā servera lietošana
Kad vLLM darbojas, ports 8080 eksponē API, kas ir saderīgs ar OpenAI. Mistral SDK tam pieslēdzas, vienkārši mainot servera URL; atslēga vairs nav nepieciešama.
from mistralai.client import Mistral
# Norāda uz lokālo serveri
client = Mistral(
api_key="dummy", # Lokāli atslēga nav nepieciešama
server_url="http://localhost:8080",
)
response = client.chat.complete(
model="mistralai/Devstral-Small-2-24B-Instruct-2512",
messages=[
{"role": "user", "content": "Analizē šo kodu un ieteic uzlabojumus."}
],
)
Arī OpenAI SDK strādā tikpat labi, ļaujot pārvietot esošo kodu uz lokālo Devstral, to pārrakstot.
from openai import OpenAI
client = OpenAI(
api_key="dummy",
base_url="http://localhost:8080/v1",
)
response = client.chat.completions.create(
model="mistralai/Devstral-Small-2-24B-Instruct-2512",
messages=[
{"role": "user", "content": "Paskaidro šo kodu."}
],
)
Alternatīvie ietvari
vLLM nav vienīgais ceļš: Devstral strādā ar jebkuru secinājumu ietvaru, kas eksponē OpenAI saderīgu API. Vibe dokumentācija min llama.cpp, kas piemērots iestatījumiem ar mazu VRAM, pateicoties tā GGUF kvantētajiem modeļiem, LM Studio, kas piedāvā grafisko saskarni bez komandrindas, un Ollama. Pirms rezultātu salīdzināšanas katrā rīkā pārbaudi precīzo modeļa nosaukumu un kvantēšanu.
Vibe pieslēgšana lokālajam serverim
Vibe neiekļauj lokālo modeli: kad tavs serveris darbojas, tu deklarē pakalpojumu sniedzēju un modeļa iepriekšēju iestatījumu (preset) failā config.toml. OpenAI saderīgam serverim portā 8080:
active_model = "devstral-local"
[[providers]]
name = "local"
api_base = "http://localhost:8080/v1"
api_style = "openai"
backend = "generic"
[[models]]
name = "mistralai/Devstral-Small-2-24B-Instruct-2512"
provider = "local"
alias = "devstral-local"
Trīs piesardzības pasākumi no dokumentācijas: saglabā active_model virs pirmā [[...]] masīva, pretējā gadījumā TOML to piesaistīs šim masīvam; iepriekšējā iestatījumā iestati max_context_length, lai norādītu servera kontekstu; un pārbaudi, vai serveris straumēšanas atbildēs atgriež tokenu lietojumu (stream_options.include_usage). Vibe nodrošina arī iepriekš definētu pakalpojumu sniedzēju llamacpp, kas norāda uz http://127.0.0.1:8080/v1 bez atslēgas: šajā gadījumā iepriekšējā iestatījumā vienkārši raksti provider = "llamacpp". Komanda /model pēc tam ļauj pārslēgties starp lokālo modeli un mitinātajiem modeļiem.
Lai nodrošinātu pilnībā bezsaistes darbību, arī atspējo telemetriju un atjauninājumu pārbaudes:
enable_telemetry = false
enable_update_checks = false
Ar šiem iestatījumiem un lokālo pakalpojumu sniedzēju CLI vairs nesazinās ar mistral.ai. Prasmes, MCP serveri un konektori, kas sasniedz ārējās sistēmas, ir jāatspējo atsevišķi.
Galvenās atziņas
- Devstral ir izņemts no API, taču Devstral Small 2 (24B, Apache 2.0) joprojām ir ieteicams lokālai lietošanai kopā ar Mistral Small 4
- vLLM ir ieteicamais ietvars;
--tool-call-parser mistralun--enable-auto-tool-choiceir būtiski aģentam - H100 vai A100 FP8 režīmā ar ~128k kontekstu; 24 GB GPU 4-bit režīmā ar ~32k
- Serveris eksponē OpenAI saderīgu API, lietojamu ar Mistral SDK vai OpenAI SDK
- Vibe pieslēdzas serverim, izmantojot iepriekšēju iestatījumu failā
config.toml(vaillamacpppakalpojumu sniedzēju); bezsaistes lietošanai atspējo telemetriju un atjauninājumus