Pāriet uz galveno saturu
Latviešu— Izvēlēties valodu
Izvēlne

Izvietot Devstral lokāli ar vLLM

Nodarbība 13 no 14 Atjaunota 2026. gada 2. novembris Augstākais
Šajā lapā
  1. Sagatavo izvietošanu
  2. Ko ļauj tavs aparatūras nodrošinājums
  3. Instalē vLLM
  4. Palaid serveri
  5. Pielāgo komandu savai mašīnai
  6. Savieno Vibe un pārbaudi
  7. Trīs problēmas, ar kurām saskarsies
  8. Galvenās atziņas

Nodarbība atjaunināta 2026. gada 2. novembrī, pamatojoties uz Using offline models lapu Vibe dokumentācijā. Devstral ir izņemts no Mistral API, taču tā svari joprojām ir publiski pieejami: Devstral Small 2 un Mistral Small 4 ir divi ieteicamie atvērtie modeļi lokālai lietošanai. Vibe nenodrošina lokālu modeli: tu to savieno ar OpenAI saderīgu serveri, izmantojot iepriekšēju iestatījumu failā config.toml, un pēc tam pārslēdzies, izmantojot /model. Avots: Using offline models.

Sagatavo izvietošanu

Devstral izvietošana lokāli nozīmē secinājumu servera (inference server) palaišanu tavā datorā, kas eksponē OpenAI saderīgu API. Vibe tam pievienojas tieši tā, it kā tas sarunātos ar Mistral mākoņu. Šī saskarnes saderība padara pāreju nemanāmu; taviem rīkiem nav iemesla zināt, no kurienes nāk atbildes. Ieteicamais ietvars šim uzdevumam ir vLLM – augstas veiktspējas secinājumu dzinējs, ko izstrādājusi atvērtā koda kopiena.

Ko ļauj tavs aparatūras nodrošinājums

Pirms jebkādas instalācijas pārbaudi savu GPU. Tas nosaka izmantojamo precizitāti un līdz ar to arī pieejamo konteksta loga lielumu.

Konfigurācija GPU VRAM Precizitāte Konteksts
Ieteicams NVIDIA H100 / A100 80 GB FP8 ~128K tokeni
Alternatīva RTX 4090 / RTX 6000 24–48 GB 4-bitu (kvantēts) ~32K tokeni
Tikai CPU Nav GPU 64+ GB RAM - Lēns (nav ieteicams)

Svarīga piezīme: Konfigurācija, kurā izmanto tikai CPU, ir funkcionāla, bet ārkārtīgi lēna 24B modelim. Tā ir piemērota tikai testēšanai, nevis ikdienas lietošanai. Citiem vārdiem sakot, tā ļauj pārbaudīt, vai ķēde darbojas, bet ne to, vai ar to var strādāt.

Instalē vLLM

Programmatūras priekšnosacījumi ir minimāli: Python 3.10 vai jaunāka versija, kam seko pip install.

# Nepieciešams Python 3.10+
python3 --version

# Instalē vLLM
pip install vllm

Tālāk pārbaudi, vai NVIDIA draiveri un CUDA ir instalēti un darbojas. Šī komanda ir labākais end-to-end tests: ja tā parāda tavu GPU un CUDA versiju, zemākais līmenis ir vesels, un jebkuras turpmākās kļūdas radīsies citur.

nvidia-smi
# Jāparāda tavs GPU un CUDA versija

Palaid serveri

Palaišanas komanda ietilpst četros argumentos, no kuriem divi ir būtiski darbam ar Vibe.

vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --port 8080

Apskatīsim karodziņus:

  • mistralai/Devstral-Small-2-24B-Instruct-2512: Hugging Face modelis, kas jāielādē
  • --tool-call-parser mistral: Iespējo rīku izsaukumu parsēšanu Mistral formātā
  • --enable-auto-tool-choice: Ļauj modelim automātiski izvēlēties savus rīkus
  • --port 8080: Servera klausīšanās ports

Divi karodziņi, kas saistīti ar rīkiem, ir pelnījuši uzmanību. Bez tiem serveris atbildētu uz taviem jautājumiem, bet modelis vairs nevarētu lasīt failus vai izpildīt komandas. Vibe pārvērstos par vienkāršu čatbotu, kas nav mērķis.

Pielāgo komandu savai mašīnai

Ja tev ir vairāki GPU, tenzoru paralēlisms sadala modeli starp visām kartēm. Apvienotais VRAM tad ļauj izmantot plašāku konteksta logu.

vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --tensor-parallel-size 2 \
  --port 8080

Pie pieticīgākas konfigurācijas tev jāsamazina precizitāte. H100 vai A100 apstrādā FP8; RTX 4090 izmantos 4-bitu kvantēšanu ar AWQ, upurējot nelielu kvalitātes zudumu, ko lielā mērā kompensē fakts, ka modelis beidzot ietilpst atmiņā.

# FP8 uz H100/A100
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --dtype float16 \
  --port 8080

# 4-bitu uz RTX 4090
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --quantization awq \
  --port 8080

Pēdējais svira, ja VRAM joprojām nepietiek, ir maksimālā konteksta garuma samazināšana. Uzmanības kešatmiņa patērē atmiņu proporcionāli kontekstam, un samazināšana līdz 16 384 tokeniem bieži vien atbrīvo trūkstošo, lai sāktu darbību.

vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --max-model-len 16384 \
  --port 8080

Savieno Vibe un pārbaudi

Serveris darbojas; tagad tev jānorāda Vibe to izmantot. Vibe nenodrošina lokālu modeli: deklarē nodrošinātāju un modeļa iepriekšēju iestatījumu failā config.toml.

# ~/.vibe/config.toml
active_model = "devstral-local"

[[providers]]
name = "local"
api_base = "http://localhost:8080/v1"
api_style = "openai"
backend = "generic"

[[models]]
name = "mistralai/Devstral-Small-2-24B-Instruct-2512"
provider = "local"
alias = "devstral-local"

Uzturi active_model virs pirmās [[...]] tabulas, pretējā gadījumā TOML to piesaistīs šai tabulai. Iestatī max_context_length iepriekšējā iestatījumā, lai norādītu servera kontekstu, kam arī jāatgriež tokena lietojums straumēšanas atbildēs (stream_options.include_usage). Īsāks variants: Vibe nodrošina iepriekš definētu nodrošinātāju llamacpp, kas norāda uz http://127.0.0.1:8080/v1 bez atslēgas; šādā gadījumā iepriekšējā iestatījumā raksti provider = "llamacpp" bez [[providers]] bloka. Sesijas laikā /model pārslēdzas starp lokālo modeli un mitinātajiem modeļiem.

Testē ķēdi divos līmeņos: vispirms neapstrādāto API, kas apstiprina, ka modelis ir ielādēts, un pēc tam reālu pieprasījumu Vibe, lai validētu, ka rīku izsaukumi darbojas.

# Tiešs API tests
curl http://localhost:8080/v1/models

# Tests Vibe vidē (ask aģents pieprasa pirms katra rīka)
vibe --agent ask
> List files in the current directory

Ikdienas lietošanai komandas manuāla restartēšana ātri kļūst apnicīga. systemd serviss palaiž serveri startējoties un restartē to avārijas gadījumā.

# Izveido systemd servisu
sudo tee /etc/systemd/system/vllm-devstral.service << EOF
[Unit]
Description=vLLM Devstral Server
After=network.target

[Service]
Type=simple
User=$USER
ExecStart=/usr/local/bin/vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 --tool-call-parser mistral --enable-auto-tool-choice --port 8080
Restart=always
RestartSec=10

[Install]
WantedBy=multi-user.target
EOF

sudo systemctl enable --now vllm-devstral

Trīs problēmas, ar kurām saskarsies

Kļūda CUDA out of memory nozīmē, ka modelis neietilpst: samazini --max-model-len vai pārej uz 4-bitu kvantēšanu. Lēnums pašā pirmajā palaišanā ir normāls un nav simptoms – sākotnējā startēšana lejupielādē un ielādē modeli (aptuveni 14 GB), un turpmākās palaišanas gūst labumu no kešatmiņas. Visbeidzot, ja Vibe nevar atrast lokālo serveri, vienkārši pārbaudi, vai ports 8080 klausās, pirms meklē tālāk.

curl http://localhost:8080/health

Galvenās atziņas

  • vLLM ir ieteicamais ietvars Devstral apkalpošanai lokāli
  • Karodziņi --tool-call-parser mistral un --enable-auto-tool-choice ir obligāti
  • H100/A100 nodrošina FP8 un 128K kontekstu; RTX 4090 nodrošina 4-bitu un 32K
  • Samazini --max-model-len, ja VRAM nepietiek
  • Savieno Vibe, izmantojot nodrošinātāju un modeļa iepriekšēju iestatījumu failā config.toml (vai iepriekš definēto llamacpp nodrošinātāju), pēc tam izmanto /model
  • Darbinā vLLM kā systemd servisu ikdienas lietošanai