Lähe põhisisu juurde
Eesti— Vali keel
Menüü

Devstrali kohalik kasutuselevõtt vLLM-iga

Õppetund 13 / 14 Värskendatud 2. november 2026 Edasijõudnutele
Sellel lehel
  1. Ettevalmistus kasutuselevõtuks
  2. Mida sinu riistvara võimaldab
  3. vLLM-i installimine
  4. Serveri käivitamine
  5. Kohanda käsk oma masinale
  6. Ühenda Vibe ja kontrolli
  7. Kolm probleemi, millega kohtud
  8. Peamised punktid

Õppetund uuendatud 2. novembril 2026, tuginedes Vibe dokumentatsiooni lehele Using offline models. Devstral on Mistral API-st eemaldatud, kuid selle kaalud on endiselt avalikud: Devstral Small 2 ja Mistral Small 4 on kaks soovitatavat avatud mudelit kohalikuks kasutamiseks. Vibe ei sisalda kohalikku mudelit: ühendad selle OpenAI-ga ühilduva serveriga eelseadistuse kaudu failis config.toml ja lülitud seejärel käsuga /model. Allikas: Using offline models.

Ettevalmistus kasutuselevõtuks

Devstrali kohalik kasutuselevõtt tähendab järeldusserveri käivitamist oma masinas, mis avaldab OpenAI-ga ühilduva API. Vibe ühendub sellega täpselt nii, nagu suhtleks ta Mistrali pilvega. See liidese ühilduvus muudab ülemineku sujuvaks; sinu tööriistadel pole põhjust teada, kust vastused pärinevad. Selle rolli jaoks soovitatud raamistik on vLLM, avatud lähtekoodiga kogukonna loodud suure jõudlusega järeldusmootor.

Mida sinu riistvara võimaldab

Enne midagi installimist kontrolli oma GPU-d. See määrab kasutatava täpsuse ja sellest tulenevalt saadaoleva kontekstiakna suuruse.

Konfiguratsioon GPU VRAM Täpsus Kontekst
Soovitatav NVIDIA H100 / A100 80 GB FP8 ~128K tokenit
Alternatiiv RTX 4090 / RTX 6000 24–48 GB 4-bitine (kvanditud) ~32K tokenit
Ainult CPU GPU puudub 64+ GB RAM - Aeglane (ei soovitata)

Oluline märkus: Ainult CPU-l põhinev konfiguratsioon on funktsionaalne, kuid 24B mudeli jaoks äärmiselt aeglane. See sobib ainult testimiseks, mitte igapäevaseks kasutamiseks. Teisisõnu võimaldab see kontrollida, kas ahel töötab, kuid mitte seda, kas sellega on võimalik tegelikult töötada.

vLLM-i installimine

Tarkvaraline eeldus on minimaalne: Python 3.10 või uuem, millele järgneb pip install.

# Nõutav Python 3.10+
python3 --version

# Installi vLLM
pip install vllm

Järgmisena veendu, et NVIDIA draiverid ja CUDA on installitud ja töökorras. See käsk on parim ots-otsani test: kui see kuvab sinu GPU ja CUDA versiooni, on madalama taseme kiht terve ja kõik järgnevad vead pärinevad mujalt.

nvidia-smi
# Peab kuvama sinu GPU ja CUDA versiooni

Serveri käivitamine

Käivituskäsk mahutub nelja argumendiga, millest kaks on Vibe’iga töötamiseks hädavajalikud.

vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --port 8080

Vaatame lippe lähemalt:

  • mistralai/Devstral-Small-2-24B-Instruct-2512: Laaditav Hugging Face’i mudel
  • --tool-call-parser mistral: Võimaldab tööriistakutsude parsimist Mistrali vormingus
  • --enable-auto-tool-choice: Lubab mudelil automaatselt oma tööriistu valida
  • --port 8080: Serveri kuulamise port

Kaks tööriistadega seotud lippu väärivad tähelepanu. Ilma nendeta vastaks server sinu küsimustele, kuid mudel ei saaks enam faile lugeda ega käske käivitada. Vibest saaks lihtne vestlusrobot, mis ei ole eesmärk.

Kohanda käsk oma masinale

Kui sul on mitu GPU-d, jaotab tensorparalleelsus mudeli kõigi kaartide vahel. Kombineeritud VRAM võimaldab seejärel laiemat kontekstiakent.

vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --tensor-parallel-size 2 \
  --port 8080

Tagasihoidlikuma konfiguratsiooni korral tuleb täpsust vähendada. H100 või A100 töötleb FP8-d; RTX 4090 kasutab 4-bitist kvantimist AWQ-ga, arvestades kerget kvaliteedikadu, mida kompenseerib suuresti asjaolu, et mudel mahub lõpuks mällu.

# FP8 H100/A100-l
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --dtype float16 \
  --port 8080

# 4-bitine RTX 4090-l
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --quantization awq \
  --port 8080

Viimane hoob, kui VRAM jääb endiselt napiks, on maksimaalse konteksti pikkuse vähendamine. Tähelepanu vahemälu tarbib mälu proportsionaalselt kontekstiga ja langus 16 384 tokenini vabastab sageli just selle, mida käivitamiseks puudu jäi.

vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --max-model-len 16384 \
  --port 8080

Ühenda Vibe ja kontrolli

Server töötab; nüüd tuleb öelda Vibele, et ta seda kasutaks. Vibe ei sisalda kohalikku mudelit: deklareeri pakkuja ja mudeli eelseadistus failis config.toml.

# ~/.vibe/config.toml
active_model = "devstral-local"

[[providers]]
name = "local"
api_base = "http://localhost:8080/v1"
api_style = "openai"
backend = "generic"

[[models]]
name = "mistralai/Devstral-Small-2-24B-Instruct-2512"
provider = "local"
alias = "devstral-local"

Hoia active_model esimese [[...]] tabeli kohal, vastasel juhul seob TOML selle selle tabeliga. Määra eelseadistuses max_context_length, et näidata serveri konteksti, mis peab samuti tagastama tokenite kasutuse voogvastustes (stream_options.include_usage). Lühem variant: Vibe pakub eelmääratud pakkujat llamacpp, mis osutab aadressile http://127.0.0.1:8080/v1 ilma võtmeta; sel juhul kirjuta eelseadistusse provider = "llamacpp" ilma [[providers]] plokita. Seansis lülitab /model kohaliku mudeli ja hostitud mudelite vahel.

Testi ahelat kahel tasandil: esmalt toores API, mis kinnitab, et mudel on laaditud, seejärel reaalne päring Vibes, et valideerida tööriistakutsude toimimist.

# Otsene API test
curl http://localhost:8080/v1/models

# Test Vibes (küsimise agent küsib enne iga tööriista)
vibe --agent ask
> List files in the current directory

Igapäevaseks kasutamiseks muutub käsu käsitsi uuesti käivitamine kiiresti tüütuks. systemd-i teenus käivitab serveri taaskäivitamisel ja taaskäivitab selle kokkujooksmise korral.

# Loo systemd-i teenus
sudo tee /etc/systemd/system/vllm-devstral.service << EOF
[Unit]
Description=vLLM Devstral Server
After=network.target

[Service]
Type=simple
User=$USER
ExecStart=/usr/local/bin/vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 --tool-call-parser mistral --enable-auto-tool-choice --port 8080
Restart=always
RestartSec=10

[Install]
WantedBy=multi-user.target
EOF

sudo systemctl enable --now vllm-devstral

Kolm probleemi, millega kohtud

Viga CUDA out of memory tähendab, et mudel ei mahu: vähenda --max-model-len või lülitu 4-bitisele kvantimisele. Aeglus esimesel käivitamisel on normaalne ja mitte sümptom – esmane käivitamine laadib alla ja laeb mudeli, umbes 14 GB, ning järgnevad käivitused saavad kasu vahemälust. Lõpuks, kui Vibe ei leia kohalikku serverit, kontrolli lihtsalt, kas port 8080 kuulab, enne kui kaugemale vaatad.

curl http://localhost:8080/health

Peamised punktid

  • vLLM on soovitatud raamistik Devstrali kohalikuks teenindamiseks
  • Lipud --tool-call-parser mistral ja --enable-auto-tool-choice on kohustuslikud
  • H100/A100 pakub FP8-d ja 128K konteksti; RTX 4090 pakub 4-bitist ja 32K
  • Vähenda --max-model-len, kui VRAM on ebapiisav
  • Ühenda Vibe pakkuja ja mudeli eelseadistuse kaudu failis config.toml (või eelmääratud llamacpp pakkuja) ja kasuta seejärel /model
  • Käita vLLM-i igapäevaseks kasutamiseks systemd-i teenusena