Aqbeż għall-kontenut ewlieni
Malti— Agħżel lingwa
Menu

Iddispjaċċja Devstral Lokalment ma' vLLM

Lezzjoni 13 / 14 Aġġornat 2 ta’ Novembru 2026 Avvanzat
F'din il-paġna
  1. Ipprepara d-Dispjament
  2. X’Jippermettilek l-Hardware Tiegħek
  3. Installa vLLM
  4. Ibda s-Server
  5. Adatta l-Kmand għall-Magna Tiegħek
  6. Għaqqad Vibe u Ivverifika
  7. It-Tliet Problemi li Se Tiltaqa’ Magħhom
  8. Punti Ewlenin

Lezzjoni aġġornata fit-2 ta’ Novembru 2026 abbażi tal-paġna Using offline models fid-dokumentazzjoni ta’ Vibe. Devstral tneħħa mill-API ta’ Mistral, iżda l-piżijiet tiegħu għadhom ippubblikati: Devstral Small 2 u Mistral Small 4 huma ż-żewġ mudelli miftuħa rrakkomandati għall-użu lokali. Vibe ma jiġix b’mudell lokali: int tgħaqqdu ma’ server kompatibbli ma’ OpenAI permezz ta’ preset f’config.toml, imbagħad tibdel bl-użu ta’ /model. Sors: Using offline models.

Ipprepara d-Dispjament

Li tiddispjaċċja Devstral lokalment ifisser li tħaddem server ta’ inferenza fuq il-magna tiegħek li jesponi API kompatibbli ma’ OpenAI. Imbagħad Vibe jgħaqqad miegħu eżattament daqslikieku kien qed jitkellem mas-sħaba ta’ Mistral. Din il-kompatibbiltà tal-interfaċċa tagħmel il-bidla seamless; l-għodod tiegħek m’għandhom l-ebda raġuni biex ikunu jafu minn fejn qed jiġu t-tweġibiet. Il-qafas irrakkomandat għal dan ir-rwol huwa vLLM, magna ta’ inferenza b’prestazzjoni għolja żviluppata mill-komunità open-source.

X’Jippermettilek l-Hardware Tiegħek

Qabel ma tinstalla xejn, iċċekkja l-GPU tiegħek. Hija tiddetermina l-preċiżjoni użabbli u, konsegwentement, id-daqs tal-window tal-kuntest li se jkollok disponibbli.

Konfigurazzjoni GPU VRAM Preċiżjoni Kuntest
Irrakkomandat NVIDIA H100 / A100 80 GB FP8 ~128K tokens
Alternattiva RTX 4090 / RTX 6000 24–48 GB 4-bit (kwantizzat) ~32K tokens
CPU biss L-ebda GPU 64+ GB RAM - Bil-mod (mhux irrakkomandat)

Nota importanti: Il-konfigurazzjoni b’CPU biss hija funzjonali iżda estremament bil-moda għal mudell ta’ 24B. Hix xierqa biss għall-ittestjar, mhux għall-użu ta’ kuljum. Fi kliem ieħor, tippermettilek tivverifika li l-katina taħdem, iżda mhux li tista’ taħdem magħha.

Installa vLLM

Il-prerekwiżit tas-softwer huwa minimu: Python 3.10 jew ogħla, segwit minn pip install.

# Python 3.10+ meħtieġ
python3 --version

# Installa vLLM
pip install vllm

Sussegwentement, ivverifika li s-sewwieqa ta’ NVIDIA u CUDA huma installati u operattivi. Dan il-kmand huwa l-aħjar test end-to-end: juri l-GPU tiegħek u verżjoni ta’ CUDA, il-livell baxx huwa f’saħħtu, u kwalunkwe żball sussegwenti se jiġi minn xi mkien ieħor.

nvidia-smi
# Irid juri l-GPU tiegħek u l-verżjoni ta' CUDA

Ibda s-Server

Il-kmand tal-bidu jidħol f’erba’ argumenti, li tnejn minnhom huma essenzjali biex taħdem ma’ Vibe.

vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --port 8080

Ejja nifirdu l-flags:

  • mistralai/Devstral-Small-2-24B-Instruct-2512: Il-mudell Hugging Face li għandu jitgħabba
  • --tool-call-parser mistral: Jippermetti l-parsing ta’ sejħiet tal-għodda fil-format ta’ Mistral
  • --enable-auto-tool-choice: Jippermetti lill-mudell jagħżel l-għodod tiegħu awtomatikament
  • --port 8080: Il-port li fuqu jisma’ s-server

Iż-żewġ flags relatati mal-għodod jistħoqqilhom attenzjoni. Mingħajrhom, is-server iwieġeb il-mistoqsijiet tiegħek, iżda l-mudell ma jkunx jista’ jaqra fajl jew iħaddem kmand. Vibe isir sempliċiment chatbot, li mhix il-għan.

Adatta l-Kmand għall-Magna Tiegħek

Jekk għandek GPUs multipli, it-tensor parallelism jiddistribwixxi l-mudell fuq il-kards kollha. Il-VRAM imbagħad magħquda tippermetti window tal-kuntest usa’.

vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --tensor-parallel-size 2 \
  --port 8080

Fuq konfigurazzjoni aktar modesta, trid tnaqqas il-preċiżjoni. H100 jew A100 jittratta FP8; RTX 4090 se tuża kwantizzazzjoni ta’ 4-bit b’AWQ, bl-ispiża ta’ telf ftit fil-kwalità li huwa kkumpensat ħafna mill-fatt li l-mudell finalment joqgħod fil-memorja.

# FP8 fuq H100/A100
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --dtype float16 \
  --port 8080

# 4-bit fuq RTX 4090
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --quantization awq \
  --port 8080

L-aħħar leva meta l-VRAM tibqa’ insuffiċjenti hija li tnaqqas it-tul massimu tal-kuntest. Il-cache tal-attenzjoni tikkonsma memorja proporzjonalment għall-kuntest, u n-niżla għal 16,384 token spiss tiffranka dak li kien nieqes biex tibda.

vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --max-model-len 16384 \
  --port 8080

Għaqqad Vibe u Ivverifika

Is-server qed jaħdem; issa trid tgħid lil Vibe biex jużah. Vibe ma jiġix b’mudell lokali: iddikjara provider u preset tal-mudell f’config.toml.

# ~/.vibe/config.toml
active_model = "devstral-local"

[[providers]]
name = "local"
api_base = "http://localhost:8080/v1"
api_style = "openai"
backend = "generic"

[[models]]
name = "mistralai/Devstral-Small-2-24B-Instruct-2512"
provider = "local"
alias = "devstral-local"

Żomm active_model fuq l-ewwel tabella [[...]], inkella TOML se jwaħħalha ma’ dik it-tabella. Issettja max_context_length fil-preset biex tindika l-kuntest tas-server tiegħek, li wkoll irid jirritorna l-użu f’tokens f’tweġibiet streaming (stream_options.include_usage). Verżjoni iqsar: Vibe jipprovdi provider predifinit, llamacpp, li jipponta lejn http://127.0.0.1:8080/v1 mingħajr ċavetta; f’dak il-każ, ikteb provider = "llamacpp" fil-preset, mingħajr blokk [[providers]]. F’sessjoni, /model jibdel bejn il-mudell lokali u mudelli ospitati.

Ittestja l-katina fuq żewġ livelli: l-ewwel l-API raw, li tikkonferma li l-mudell huwa mgħobbi, imbagħad talba reali f’Vibe biex tivvalida li s-sejħiet tal-għodda jaħdmu.

# Test dirett tal-API
curl http://localhost:8080/v1/models

# Test f'Vibe (l-aġent ask jitlob qabel kull għodda)
vibe --agent ask
> List files in the current directory

Għall-użu ta’ kuljum, li terġa’ tibda l-kmand manwalment malajr isir tedjanti. Servizz systemd ibda s-server mal-boot u jerġa’ jibdih fil-każ ta’ ħsara.

# Oħloq servizz systemd
sudo tee /etc/systemd/system/vllm-devstral.service << EOF
[Unit]
Description=vLLM Devstral Server
After=network.target

[Service]
Type=simple
User=$USER
ExecStart=/usr/local/bin/vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 --tool-call-parser mistral --enable-auto-tool-choice --port 8080
Restart=always
RestartSec=10

[Install]
WantedBy=multi-user.target
EOF

sudo systemctl enable --now vllm-devstral

It-Tliet Problemi li Se Tiltaqa’ Magħhom

Żball CUDA out of memory ifisser li l-mudell ma joqgħodx: naqqas --max-model-len jew ibdel għal kwantizzazzjoni ta’ 4-bit. Il-modbija fl-ewwel tnedija hija normali u mhix sintomu—it-tnedija inizjali tniżżel u tgħabbi l-mudell, madwar 14 GB, u t-tnedijiet sussegwenti jibbenefikaw mill-cache. Fl-aħħar nett, jekk Vibe ma jistax isib is-server lokali, sempliċiment iċċekkja li l-port 8080 qed jisma’ qabel ma tfittex aktar.

curl http://localhost:8080/health

Punti Ewlenin

  • vLLM huwa l-qafas irrakkomandat biex tisservi Devstral lokalment
  • Il-flags --tool-call-parser mistral u --enable-auto-tool-choice huma mandatorji
  • H100/A100 joffri FP8 u kuntest ta’ 128K; RTX 4090 joffri 4-bit u 32K
  • Naqqas --max-model-len jekk il-VRAM tkun insuffiċjenti
  • Għaqqad Vibe permezz ta’ provider u preset tal-mudell f’config.toml (jew il-provider predifinit llamacpp), imbagħad uża /model
  • Ħaddem vLLM bħala servizz systemd għall-użu ta’ kuljum