Izvietot Devstral lokāli ar vLLM
Šajā lapā
Nodarbība atjaunināta 2026. gada 2. novembrī, pamatojoties uz Using offline models lapu Vibe dokumentācijā. Devstral ir izņemts no Mistral API, taču tā svari joprojām ir publiski pieejami: Devstral Small 2 un Mistral Small 4 ir divi ieteicamie atvērtie modeļi lokālai lietošanai. Vibe nenodrošina lokālu modeli: tu to savieno ar OpenAI saderīgu serveri, izmantojot iepriekšēju iestatījumu failā
config.toml, un pēc tam pārslēdzies, izmantojot/model. Avots: Using offline models.
Sagatavo izvietošanu
Devstral izvietošana lokāli nozīmē secinājumu servera (inference server) palaišanu tavā datorā, kas eksponē OpenAI saderīgu API. Vibe tam pievienojas tieši tā, it kā tas sarunātos ar Mistral mākoņu. Šī saskarnes saderība padara pāreju nemanāmu; taviem rīkiem nav iemesla zināt, no kurienes nāk atbildes. Ieteicamais ietvars šim uzdevumam ir vLLM – augstas veiktspējas secinājumu dzinējs, ko izstrādājusi atvērtā koda kopiena.
Ko ļauj tavs aparatūras nodrošinājums
Pirms jebkādas instalācijas pārbaudi savu GPU. Tas nosaka izmantojamo precizitāti un līdz ar to arī pieejamo konteksta loga lielumu.
| Konfigurācija | GPU | VRAM | Precizitāte | Konteksts |
|---|---|---|---|---|
| Ieteicams | NVIDIA H100 / A100 | 80 GB | FP8 | ~128K tokeni |
| Alternatīva | RTX 4090 / RTX 6000 | 24–48 GB | 4-bitu (kvantēts) | ~32K tokeni |
| Tikai CPU | Nav GPU | 64+ GB RAM | - | Lēns (nav ieteicams) |
Svarīga piezīme: Konfigurācija, kurā izmanto tikai CPU, ir funkcionāla, bet ārkārtīgi lēna 24B modelim. Tā ir piemērota tikai testēšanai, nevis ikdienas lietošanai. Citiem vārdiem sakot, tā ļauj pārbaudīt, vai ķēde darbojas, bet ne to, vai ar to var strādāt.
Instalē vLLM
Programmatūras priekšnosacījumi ir minimāli: Python 3.10 vai jaunāka versija, kam seko pip install.
# Nepieciešams Python 3.10+
python3 --version
# Instalē vLLM
pip install vllm
Tālāk pārbaudi, vai NVIDIA draiveri un CUDA ir instalēti un darbojas. Šī komanda ir labākais end-to-end tests: ja tā parāda tavu GPU un CUDA versiju, zemākais līmenis ir vesels, un jebkuras turpmākās kļūdas radīsies citur.
nvidia-smi
# Jāparāda tavs GPU un CUDA versija
Palaid serveri
Palaišanas komanda ietilpst četros argumentos, no kuriem divi ir būtiski darbam ar Vibe.
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--port 8080
Apskatīsim karodziņus:
mistralai/Devstral-Small-2-24B-Instruct-2512: Hugging Face modelis, kas jāielādē--tool-call-parser mistral: Iespējo rīku izsaukumu parsēšanu Mistral formātā--enable-auto-tool-choice: Ļauj modelim automātiski izvēlēties savus rīkus--port 8080: Servera klausīšanās ports
Divi karodziņi, kas saistīti ar rīkiem, ir pelnījuši uzmanību. Bez tiem serveris atbildētu uz taviem jautājumiem, bet modelis vairs nevarētu lasīt failus vai izpildīt komandas. Vibe pārvērstos par vienkāršu čatbotu, kas nav mērķis.
Pielāgo komandu savai mašīnai
Ja tev ir vairāki GPU, tenzoru paralēlisms sadala modeli starp visām kartēm. Apvienotais VRAM tad ļauj izmantot plašāku konteksta logu.
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--tensor-parallel-size 2 \
--port 8080
Pie pieticīgākas konfigurācijas tev jāsamazina precizitāte. H100 vai A100 apstrādā FP8; RTX 4090 izmantos 4-bitu kvantēšanu ar AWQ, upurējot nelielu kvalitātes zudumu, ko lielā mērā kompensē fakts, ka modelis beidzot ietilpst atmiņā.
# FP8 uz H100/A100
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--dtype float16 \
--port 8080
# 4-bitu uz RTX 4090
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--quantization awq \
--port 8080
Pēdējais svira, ja VRAM joprojām nepietiek, ir maksimālā konteksta garuma samazināšana. Uzmanības kešatmiņa patērē atmiņu proporcionāli kontekstam, un samazināšana līdz 16 384 tokeniem bieži vien atbrīvo trūkstošo, lai sāktu darbību.
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--max-model-len 16384 \
--port 8080
Savieno Vibe un pārbaudi
Serveris darbojas; tagad tev jānorāda Vibe to izmantot. Vibe nenodrošina lokālu modeli: deklarē nodrošinātāju un modeļa iepriekšēju iestatījumu failā config.toml.
# ~/.vibe/config.toml
active_model = "devstral-local"
[[providers]]
name = "local"
api_base = "http://localhost:8080/v1"
api_style = "openai"
backend = "generic"
[[models]]
name = "mistralai/Devstral-Small-2-24B-Instruct-2512"
provider = "local"
alias = "devstral-local"
Uzturi active_model virs pirmās [[...]] tabulas, pretējā gadījumā TOML to piesaistīs šai tabulai. Iestatī max_context_length iepriekšējā iestatījumā, lai norādītu servera kontekstu, kam arī jāatgriež tokena lietojums straumēšanas atbildēs (stream_options.include_usage). Īsāks variants: Vibe nodrošina iepriekš definētu nodrošinātāju llamacpp, kas norāda uz http://127.0.0.1:8080/v1 bez atslēgas; šādā gadījumā iepriekšējā iestatījumā raksti provider = "llamacpp" bez [[providers]] bloka. Sesijas laikā /model pārslēdzas starp lokālo modeli un mitinātajiem modeļiem.
Testē ķēdi divos līmeņos: vispirms neapstrādāto API, kas apstiprina, ka modelis ir ielādēts, un pēc tam reālu pieprasījumu Vibe, lai validētu, ka rīku izsaukumi darbojas.
# Tiešs API tests
curl http://localhost:8080/v1/models
# Tests Vibe vidē (ask aģents pieprasa pirms katra rīka)
vibe --agent ask
> List files in the current directory
Ikdienas lietošanai komandas manuāla restartēšana ātri kļūst apnicīga. systemd serviss palaiž serveri startējoties un restartē to avārijas gadījumā.
# Izveido systemd servisu
sudo tee /etc/systemd/system/vllm-devstral.service << EOF
[Unit]
Description=vLLM Devstral Server
After=network.target
[Service]
Type=simple
User=$USER
ExecStart=/usr/local/bin/vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 --tool-call-parser mistral --enable-auto-tool-choice --port 8080
Restart=always
RestartSec=10
[Install]
WantedBy=multi-user.target
EOF
sudo systemctl enable --now vllm-devstral
Trīs problēmas, ar kurām saskarsies
Kļūda CUDA out of memory nozīmē, ka modelis neietilpst: samazini --max-model-len vai pārej uz 4-bitu kvantēšanu. Lēnums pašā pirmajā palaišanā ir normāls un nav simptoms – sākotnējā startēšana lejupielādē un ielādē modeli (aptuveni 14 GB), un turpmākās palaišanas gūst labumu no kešatmiņas. Visbeidzot, ja Vibe nevar atrast lokālo serveri, vienkārši pārbaudi, vai ports 8080 klausās, pirms meklē tālāk.
curl http://localhost:8080/health
Galvenās atziņas
- vLLM ir ieteicamais ietvars Devstral apkalpošanai lokāli
- Karodziņi
--tool-call-parser mistralun--enable-auto-tool-choiceir obligāti - H100/A100 nodrošina FP8 un 128K kontekstu; RTX 4090 nodrošina 4-bitu un 32K
- Samazini
--max-model-len, ja VRAM nepietiek - Savieno Vibe, izmantojot nodrošinātāju un modeļa iepriekšēju iestatījumu failā
config.toml(vai iepriekš definētollamacppnodrošinātāju), pēc tam izmanto/model - Darbinā vLLM kā systemd servisu ikdienas lietošanai