Iddispjaċċja Devstral Lokalment ma' vLLM
F'din il-paġna
Lezzjoni aġġornata fit-2 ta’ Novembru 2026 abbażi tal-paġna Using offline models fid-dokumentazzjoni ta’ Vibe. Devstral tneħħa mill-API ta’ Mistral, iżda l-piżijiet tiegħu għadhom ippubblikati: Devstral Small 2 u Mistral Small 4 huma ż-żewġ mudelli miftuħa rrakkomandati għall-użu lokali. Vibe ma jiġix b’mudell lokali: int tgħaqqdu ma’ server kompatibbli ma’ OpenAI permezz ta’ preset f’
config.toml, imbagħad tibdel bl-użu ta’/model. Sors: Using offline models.
Ipprepara d-Dispjament
Li tiddispjaċċja Devstral lokalment ifisser li tħaddem server ta’ inferenza fuq il-magna tiegħek li jesponi API kompatibbli ma’ OpenAI. Imbagħad Vibe jgħaqqad miegħu eżattament daqslikieku kien qed jitkellem mas-sħaba ta’ Mistral. Din il-kompatibbiltà tal-interfaċċa tagħmel il-bidla seamless; l-għodod tiegħek m’għandhom l-ebda raġuni biex ikunu jafu minn fejn qed jiġu t-tweġibiet. Il-qafas irrakkomandat għal dan ir-rwol huwa vLLM, magna ta’ inferenza b’prestazzjoni għolja żviluppata mill-komunità open-source.
X’Jippermettilek l-Hardware Tiegħek
Qabel ma tinstalla xejn, iċċekkja l-GPU tiegħek. Hija tiddetermina l-preċiżjoni użabbli u, konsegwentement, id-daqs tal-window tal-kuntest li se jkollok disponibbli.
| Konfigurazzjoni | GPU | VRAM | Preċiżjoni | Kuntest |
|---|---|---|---|---|
| Irrakkomandat | NVIDIA H100 / A100 | 80 GB | FP8 | ~128K tokens |
| Alternattiva | RTX 4090 / RTX 6000 | 24–48 GB | 4-bit (kwantizzat) | ~32K tokens |
| CPU biss | L-ebda GPU | 64+ GB RAM | - | Bil-mod (mhux irrakkomandat) |
Nota importanti: Il-konfigurazzjoni b’CPU biss hija funzjonali iżda estremament bil-moda għal mudell ta’ 24B. Hix xierqa biss għall-ittestjar, mhux għall-użu ta’ kuljum. Fi kliem ieħor, tippermettilek tivverifika li l-katina taħdem, iżda mhux li tista’ taħdem magħha.
Installa vLLM
Il-prerekwiżit tas-softwer huwa minimu: Python 3.10 jew ogħla, segwit minn pip install.
# Python 3.10+ meħtieġ
python3 --version
# Installa vLLM
pip install vllm
Sussegwentement, ivverifika li s-sewwieqa ta’ NVIDIA u CUDA huma installati u operattivi. Dan il-kmand huwa l-aħjar test end-to-end: juri l-GPU tiegħek u verżjoni ta’ CUDA, il-livell baxx huwa f’saħħtu, u kwalunkwe żball sussegwenti se jiġi minn xi mkien ieħor.
nvidia-smi
# Irid juri l-GPU tiegħek u l-verżjoni ta' CUDA
Ibda s-Server
Il-kmand tal-bidu jidħol f’erba’ argumenti, li tnejn minnhom huma essenzjali biex taħdem ma’ Vibe.
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--port 8080
Ejja nifirdu l-flags:
mistralai/Devstral-Small-2-24B-Instruct-2512: Il-mudell Hugging Face li għandu jitgħabba--tool-call-parser mistral: Jippermetti l-parsing ta’ sejħiet tal-għodda fil-format ta’ Mistral--enable-auto-tool-choice: Jippermetti lill-mudell jagħżel l-għodod tiegħu awtomatikament--port 8080: Il-port li fuqu jisma’ s-server
Iż-żewġ flags relatati mal-għodod jistħoqqilhom attenzjoni. Mingħajrhom, is-server iwieġeb il-mistoqsijiet tiegħek, iżda l-mudell ma jkunx jista’ jaqra fajl jew iħaddem kmand. Vibe isir sempliċiment chatbot, li mhix il-għan.
Adatta l-Kmand għall-Magna Tiegħek
Jekk għandek GPUs multipli, it-tensor parallelism jiddistribwixxi l-mudell fuq il-kards kollha. Il-VRAM imbagħad magħquda tippermetti window tal-kuntest usa’.
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--tensor-parallel-size 2 \
--port 8080
Fuq konfigurazzjoni aktar modesta, trid tnaqqas il-preċiżjoni. H100 jew A100 jittratta FP8; RTX 4090 se tuża kwantizzazzjoni ta’ 4-bit b’AWQ, bl-ispiża ta’ telf ftit fil-kwalità li huwa kkumpensat ħafna mill-fatt li l-mudell finalment joqgħod fil-memorja.
# FP8 fuq H100/A100
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--dtype float16 \
--port 8080
# 4-bit fuq RTX 4090
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--quantization awq \
--port 8080
L-aħħar leva meta l-VRAM tibqa’ insuffiċjenti hija li tnaqqas it-tul massimu tal-kuntest. Il-cache tal-attenzjoni tikkonsma memorja proporzjonalment għall-kuntest, u n-niżla għal 16,384 token spiss tiffranka dak li kien nieqes biex tibda.
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--max-model-len 16384 \
--port 8080
Għaqqad Vibe u Ivverifika
Is-server qed jaħdem; issa trid tgħid lil Vibe biex jużah. Vibe ma jiġix b’mudell lokali: iddikjara provider u preset tal-mudell f’config.toml.
# ~/.vibe/config.toml
active_model = "devstral-local"
[[providers]]
name = "local"
api_base = "http://localhost:8080/v1"
api_style = "openai"
backend = "generic"
[[models]]
name = "mistralai/Devstral-Small-2-24B-Instruct-2512"
provider = "local"
alias = "devstral-local"
Żomm active_model fuq l-ewwel tabella [[...]], inkella TOML se jwaħħalha ma’ dik it-tabella. Issettja max_context_length fil-preset biex tindika l-kuntest tas-server tiegħek, li wkoll irid jirritorna l-użu f’tokens f’tweġibiet streaming (stream_options.include_usage). Verżjoni iqsar: Vibe jipprovdi provider predifinit, llamacpp, li jipponta lejn http://127.0.0.1:8080/v1 mingħajr ċavetta; f’dak il-każ, ikteb provider = "llamacpp" fil-preset, mingħajr blokk [[providers]]. F’sessjoni, /model jibdel bejn il-mudell lokali u mudelli ospitati.
Ittestja l-katina fuq żewġ livelli: l-ewwel l-API raw, li tikkonferma li l-mudell huwa mgħobbi, imbagħad talba reali f’Vibe biex tivvalida li s-sejħiet tal-għodda jaħdmu.
# Test dirett tal-API
curl http://localhost:8080/v1/models
# Test f'Vibe (l-aġent ask jitlob qabel kull għodda)
vibe --agent ask
> List files in the current directory
Għall-użu ta’ kuljum, li terġa’ tibda l-kmand manwalment malajr isir tedjanti. Servizz systemd ibda s-server mal-boot u jerġa’ jibdih fil-każ ta’ ħsara.
# Oħloq servizz systemd
sudo tee /etc/systemd/system/vllm-devstral.service << EOF
[Unit]
Description=vLLM Devstral Server
After=network.target
[Service]
Type=simple
User=$USER
ExecStart=/usr/local/bin/vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 --tool-call-parser mistral --enable-auto-tool-choice --port 8080
Restart=always
RestartSec=10
[Install]
WantedBy=multi-user.target
EOF
sudo systemctl enable --now vllm-devstral
It-Tliet Problemi li Se Tiltaqa’ Magħhom
Żball CUDA out of memory ifisser li l-mudell ma joqgħodx: naqqas --max-model-len jew ibdel għal kwantizzazzjoni ta’ 4-bit. Il-modbija fl-ewwel tnedija hija normali u mhix sintomu—it-tnedija inizjali tniżżel u tgħabbi l-mudell, madwar 14 GB, u t-tnedijiet sussegwenti jibbenefikaw mill-cache. Fl-aħħar nett, jekk Vibe ma jistax isib is-server lokali, sempliċiment iċċekkja li l-port 8080 qed jisma’ qabel ma tfittex aktar.
curl http://localhost:8080/health
Punti Ewlenin
- vLLM huwa l-qafas irrakkomandat biex tisservi Devstral lokalment
- Il-flags
--tool-call-parser mistralu--enable-auto-tool-choicehuma mandatorji - H100/A100 joffri FP8 u kuntest ta’ 128K; RTX 4090 joffri 4-bit u 32K
- Naqqas
--max-model-lenjekk il-VRAM tkun insuffiċjenti - Għaqqad Vibe permezz ta’ provider u preset tal-mudell f’
config.toml(jew il-provider predifinitllamacpp), imbagħad uża/model - Ħaddem vLLM bħala servizz systemd għall-użu ta’ kuljum