Hostja Devstral Lokament
F'din il-paġna
Lezzjoni aġġornata fit-2 ta’ Novembru, 2026 abbażi tal-paġna Using offline models fid-dokumentazzjoni ta’ Vibe: Devstral tneħħa mill-API, iżda Devstral Small 2 għadu hemm, flimkien ma’ Mistral Small 4, bħala wieħed miż-żewġ mudelli miftuħa rrakkomandati għall-użu lokali. Stimi tal-ispejjeż mingħajr sorsi tneħħew, u l-konnessjoni ta’ Vibe ma’ server lokali issa ssegwi s-sintassi uffiċjali ta’
config.toml. Sors: Using offline models.
Għaliex tospita Devstral lokament?
Devstral Small 2 ġie rilaxxat b’piżijiet miftuħa taħt il-liċenzja Apache 2.0 (Devstral 2, il-ħu l-kbir tiegħu b’123 biljun parametru, juża liċenzja MIT modifikata). Għalkemm tneħħa mill-Mistral API fil-31 ta’ Marzu, 2026, ma għabx: tista’ tiddispjegah fuq is-servers tiegħek stess mingħajr ma tibgħat linja waħda ta’ kodiċi lil API esterna, u d-dokumentazzjoni ta’ Vibe għadha tirrakkomandah għal dan l-iskop.
Il-motivazzjonijiet spiss jikkoinċidu. Il-privatezza tiġi l-ewwel: il-kodiċi tiegħek qatt ma joħroġ mill-infrastruttura tiegħek, u b’hekk jintemmu kwalunkwe dibattiti dwar it-termini tal-użu ta’ fornitur. Imbagħad hemm il-latency, peress li l-ebda vjaġġ tan-network lejn l-API ta’ Mistral ma jkun bejn it-tastiera tiegħek u s-suġġeriment. L-istruttura tal-ispejjeż tinbidel: tħallas prezz fiss għal GPU minflok fatturazzjoni bbażata fuq l-użu, li ssir vantaġġuża hekk kif tim sħiħ jikkonsulta l-mudell tul il-jum kollu. Fl-aħħar nett, hemm il-konformità, meħtieġa minn ċerti regolamenti u setturi bħall-bankarja jew id-difiża, u d-disponibbiltà, peress li l-ebda servizz ta’ parti terza ma jista’ jinterrompi x-xogħol tiegħek.
Mudelli rrakkomandati
Id-dokumentazzjoni ta’ Vibe tirrakkomanda żewġ mudelli miftuħa għall-użu lokali:
- Devstral Small 2 (
mistralai/Devstral-Small-2-24B-Instruct-2512fuq Hugging Face): 24 biljun parametru, dens, imħarreġ għal kompiti aġentiċi u coding, bl-iżjed footprint ħafif tal-hardware; - Mistral Small 4: 119-il biljun parametru f’arkitettura ta’ mixture-of-experts, b’6.5 biljun attiv, mudell ibridu għar-raġunar u l-coding b’kuntest ta’ 256,000 token, taħt il-liċenzja Apache 2.0.
Prerekwiżiti tal-Hardware
Għal prestazzjoni deċenti fuq kuntesti twal, id-dokumentazzjoni tirrakkomanda dispjegament FP8 b’kuntest ta’ madwar 128,000 token:
| Konfigurazzjoni | Hardware | Preċiżjoni | Kuntest |
|---|---|---|---|
| Irrakkomandat | GPU H100 jew A100 | FP8 | ~128,000 token |
| Workstation ta’ żvilupp | RTX 4090 jew kwalunkwe GPU b’24 GB VRAM | 4-bit | ~32,000 token |
| L-ebda GPU | CPU offload, b’biżżejjed RAM | — | — ferm aktar bil-mod |
Dawn iċ-ċifri japplikaw għal Devstral Small 2. Mistral Small 4 jeħtieġ ħafna aktar memorja tal-vidjo biex ittagħbja l-piżijiet tiegħu: għodd fuq mill-inqas H100 wieħed ta’ 80 GB f’FP8, u aktar għal kuntesti twal. Imbagħad aġġusta l-preċiżjoni u t-tul tal-kuntest skont l-hardware tiegħek.
Dispjegament b’vLLM
vLLM huwa l-qafas ta’ inferenza rrakkomandat mid-dokumentazzjoni ta’ Vibe biex isservi Devstral. L-installazzjoni teħtieġ kmand wieħed biss.
pip install vllm
Is-server imbagħad jibda f’linja waħda, biż-żewġ għażliet li jagħmlu l-mudell użabbli f’modalità aġent.
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--port 8080
Tliet varjanti jkopru l-biċċa l-kbira tas-sitwazzjonijiet reali: tqassim tal-mudell fuq GPUs multipli, tnaqqis tal-preċiżjoni meta l-VRAM tkun limitata, jew tnaqqis tal-kuntest għall-istess raġuni.
# Multi-GPU (jekk għandek 2+ GPUs)
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--tensor-parallel-size 2 \
--port 8080
# Preċiżjoni mnaqqsa (għal GPUs b'anqas VRAM)
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--dtype float16 \
--port 8080
# Kuntest imnaqqas (biex tiffranka VRAM)
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--max-model-len 32768 \
--port 8080
Hawnhekk hawn x’jikkontrolla kull flag:
--tool-call-parser mistral— jippermetti l-parsing ta’ sejħiet ta’ għodod (tool calls) fil-format ta’ Mistral--enable-auto-tool-choice— jippermetti lill-mudell jiddeċiedi meta jsejjaħ għodda--tensor-parallel-size— jaqsam il-mudell fuq GPUs multipli--dtype— jikkontrolla l-preċiżjoni (float16, bfloat16, float32)--max-model-len— jillimita d-daqs tal-kuntest biex tiffranka VRAM
L-ewwel żewġ flags jistħoqqilhom attenzjoni speċjali: jekk tonqoshom, ikollok server li jaħdem perfettament għall-konversazzjoni iżda jonqos b’mod silenzjuż hekk kif aġent jipprova jsejjaħ għodda. Din hija l-aktar kawża komuni li dispjegament lokali jiġi ġġudikat bħala “deludenti”.
Użu tas-server lokali
Ladarba vLLM ikun qed jaħdem, il-port 8080 jesponi API kompatibbli ma’ OpenAI. L-SDK ta’ Mistral jikkonnettja miegħu billi sempliċiment tbiddel l-URL tas-server; iċ-ċavetta ma għadhiex meħtieġa.
from mistralai.client import Mistral
# Indirizza lejn is-server lokali
client = Mistral(
api_key="dummy", # L-ebda ċavetta meħtieġa lokament
server_url="http://localhost:8080",
)
response = client.chat.complete(
model="mistralai/Devstral-Small-2-24B-Instruct-2512",
messages=[
{"role": "user", "content": "Analizza dan il-kodiċi u ssuġġerixxi titjib."}
],
)
L-SDK ta’ OpenAI jaħdem tajjeb daqskemm, u jħallik tibdel il-kodiċi eżistenti għal Devstral lokali mingħajr ma tiktbu mill-ġdid.
from openai import OpenAI
client = OpenAI(
api_key="dummy",
base_url="http://localhost:8080/v1",
)
response = client.chat.completions.create(
model="mistralai/Devstral-Small-2-24B-Instruct-2512",
messages=[
{"role": "user", "content": "Spjega dan il-kodiċi."}
],
)
Qafas alternattivi
vLLM mhix l-unika triq: Devstral jaħdem ma’ kwalunkwe qafas ta’ inferenza li jesponi API kompatibbli ma’ OpenAI. Id-dokumentazzjoni ta’ Vibe tiċita llama.cpp, adattat għal setups b’VRAM baxxa grazzi għall-mudelli GGUF kwantizzati tiegħu, LM Studio, li joffri interfaċċa grafika mingħajr il-linja tal-kmand, u Ollama. Iċċekkja l-isem eżatt tal-mudell u l-kwantizzazzjoni f’kull għodda qabel ma tqabbel ir-riżultati.
Konnessjoni ta’ Vibe mas-server lokali
Vibe ma jiġix b’mudell lokali inkluż: ladarba s-server tiegħek ikun qed jaħdem, tiddikjara fornitur u preset tal-mudell f’config.toml. Għal server kompatibbli ma’ OpenAI fuq il-port 8080:
active_model = "devstral-local"
[[providers]]
name = "local"
api_base = "http://localhost:8080/v1"
api_style = "openai"
backend = "generic"
[[models]]
name = "mistralai/Devstral-Small-2-24B-Instruct-2512"
provider = "local"
alias = "devstral-local"
Tliet prekawzjonijiet mid-dokumentazzjoni: żomm active_model fuq l-ewwel array [[...]], inkella TOML se jwaħħalha ma’ dak l-array; issettja max_context_length fil-preset biex tindika l-kuntest tas-server tiegħek; u vverifika li s-server jirritorna l-użu tat-token f’reazzjonijiet streaming (stream_options.include_usage). Vibe jipprovdi wkoll fornitur predefinit, llamacpp, li jipponta lejn http://127.0.0.1:8080/v1 mingħajr ċavetta: f’dak il-każ, sempliċiment ikteb provider = "llamacpp" fil-preset. Il-kmand /model imbagħad ibiddel bejn il-mudell lokali u l-mudelli ospitati.
Għal operazzjoni kompletament offline, iddiżattiva wkoll it-telemetrija u l-kontrolli tal-aġġornament:
enable_telemetry = false
enable_update_checks = false
B’dawn l-issettjarji u fornitur lokali, il-CLI ma jikkuntattjax aktar lil mistral.ai. Il-ħiliet (skills), is-servers MCP, u l-konnetturi li jilħqu sistemi esterni jridu jiġu ddiżattivati separatament.
Punti Ewlenin
- Devstral tneħħa mill-API, iżda Devstral Small 2 (24B, Apache 2.0) għadu rrakkomandat għall-użu lokali, flimkien ma’ Mistral Small 4
- vLLM huwa l-qafas irrakkomandat;
--tool-call-parser mistralu--enable-auto-tool-choicehuma essenzjali għal aġent - H100 jew A100 f’FP8 b’kuntest ta’ ~128k; GPU ta’ 24 GB f’4-bit b’~32k
- Is-server jesponi API kompatibbli ma’ OpenAI, użabbli mal-SDK ta’ Mistral jew l-SDK ta’ OpenAI
- Vibe jikkonnettja mas-server permezz ta’ preset f’
config.toml(jew il-forniturllamacpp); iddiżattiva t-telemetrija u l-aġġornamenti għall-użu offline