Devstrali kohalik kasutuselevõtt vLLM-iga
Sellel lehel
Õppetund uuendatud 2. novembril 2026, tuginedes Vibe dokumentatsiooni lehele Using offline models. Devstral on Mistral API-st eemaldatud, kuid selle kaalud on endiselt avalikud: Devstral Small 2 ja Mistral Small 4 on kaks soovitatavat avatud mudelit kohalikuks kasutamiseks. Vibe ei sisalda kohalikku mudelit: ühendad selle OpenAI-ga ühilduva serveriga eelseadistuse kaudu failis
config.tomlja lülitud seejärel käsuga/model. Allikas: Using offline models.
Ettevalmistus kasutuselevõtuks
Devstrali kohalik kasutuselevõtt tähendab järeldusserveri käivitamist oma masinas, mis avaldab OpenAI-ga ühilduva API. Vibe ühendub sellega täpselt nii, nagu suhtleks ta Mistrali pilvega. See liidese ühilduvus muudab ülemineku sujuvaks; sinu tööriistadel pole põhjust teada, kust vastused pärinevad. Selle rolli jaoks soovitatud raamistik on vLLM, avatud lähtekoodiga kogukonna loodud suure jõudlusega järeldusmootor.
Mida sinu riistvara võimaldab
Enne midagi installimist kontrolli oma GPU-d. See määrab kasutatava täpsuse ja sellest tulenevalt saadaoleva kontekstiakna suuruse.
| Konfiguratsioon | GPU | VRAM | Täpsus | Kontekst |
|---|---|---|---|---|
| Soovitatav | NVIDIA H100 / A100 | 80 GB | FP8 | ~128K tokenit |
| Alternatiiv | RTX 4090 / RTX 6000 | 24–48 GB | 4-bitine (kvanditud) | ~32K tokenit |
| Ainult CPU | GPU puudub | 64+ GB RAM | - | Aeglane (ei soovitata) |
Oluline märkus: Ainult CPU-l põhinev konfiguratsioon on funktsionaalne, kuid 24B mudeli jaoks äärmiselt aeglane. See sobib ainult testimiseks, mitte igapäevaseks kasutamiseks. Teisisõnu võimaldab see kontrollida, kas ahel töötab, kuid mitte seda, kas sellega on võimalik tegelikult töötada.
vLLM-i installimine
Tarkvaraline eeldus on minimaalne: Python 3.10 või uuem, millele järgneb pip install.
# Nõutav Python 3.10+
python3 --version
# Installi vLLM
pip install vllm
Järgmisena veendu, et NVIDIA draiverid ja CUDA on installitud ja töökorras. See käsk on parim ots-otsani test: kui see kuvab sinu GPU ja CUDA versiooni, on madalama taseme kiht terve ja kõik järgnevad vead pärinevad mujalt.
nvidia-smi
# Peab kuvama sinu GPU ja CUDA versiooni
Serveri käivitamine
Käivituskäsk mahutub nelja argumendiga, millest kaks on Vibe’iga töötamiseks hädavajalikud.
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--port 8080
Vaatame lippe lähemalt:
mistralai/Devstral-Small-2-24B-Instruct-2512: Laaditav Hugging Face’i mudel--tool-call-parser mistral: Võimaldab tööriistakutsude parsimist Mistrali vormingus--enable-auto-tool-choice: Lubab mudelil automaatselt oma tööriistu valida--port 8080: Serveri kuulamise port
Kaks tööriistadega seotud lippu väärivad tähelepanu. Ilma nendeta vastaks server sinu küsimustele, kuid mudel ei saaks enam faile lugeda ega käske käivitada. Vibest saaks lihtne vestlusrobot, mis ei ole eesmärk.
Kohanda käsk oma masinale
Kui sul on mitu GPU-d, jaotab tensorparalleelsus mudeli kõigi kaartide vahel. Kombineeritud VRAM võimaldab seejärel laiemat kontekstiakent.
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--tensor-parallel-size 2 \
--port 8080
Tagasihoidlikuma konfiguratsiooni korral tuleb täpsust vähendada. H100 või A100 töötleb FP8-d; RTX 4090 kasutab 4-bitist kvantimist AWQ-ga, arvestades kerget kvaliteedikadu, mida kompenseerib suuresti asjaolu, et mudel mahub lõpuks mällu.
# FP8 H100/A100-l
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--dtype float16 \
--port 8080
# 4-bitine RTX 4090-l
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--quantization awq \
--port 8080
Viimane hoob, kui VRAM jääb endiselt napiks, on maksimaalse konteksti pikkuse vähendamine. Tähelepanu vahemälu tarbib mälu proportsionaalselt kontekstiga ja langus 16 384 tokenini vabastab sageli just selle, mida käivitamiseks puudu jäi.
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--max-model-len 16384 \
--port 8080
Ühenda Vibe ja kontrolli
Server töötab; nüüd tuleb öelda Vibele, et ta seda kasutaks. Vibe ei sisalda kohalikku mudelit: deklareeri pakkuja ja mudeli eelseadistus failis config.toml.
# ~/.vibe/config.toml
active_model = "devstral-local"
[[providers]]
name = "local"
api_base = "http://localhost:8080/v1"
api_style = "openai"
backend = "generic"
[[models]]
name = "mistralai/Devstral-Small-2-24B-Instruct-2512"
provider = "local"
alias = "devstral-local"
Hoia active_model esimese [[...]] tabeli kohal, vastasel juhul seob TOML selle selle tabeliga. Määra eelseadistuses max_context_length, et näidata serveri konteksti, mis peab samuti tagastama tokenite kasutuse voogvastustes (stream_options.include_usage). Lühem variant: Vibe pakub eelmääratud pakkujat llamacpp, mis osutab aadressile http://127.0.0.1:8080/v1 ilma võtmeta; sel juhul kirjuta eelseadistusse provider = "llamacpp" ilma [[providers]] plokita. Seansis lülitab /model kohaliku mudeli ja hostitud mudelite vahel.
Testi ahelat kahel tasandil: esmalt toores API, mis kinnitab, et mudel on laaditud, seejärel reaalne päring Vibes, et valideerida tööriistakutsude toimimist.
# Otsene API test
curl http://localhost:8080/v1/models
# Test Vibes (küsimise agent küsib enne iga tööriista)
vibe --agent ask
> List files in the current directory
Igapäevaseks kasutamiseks muutub käsu käsitsi uuesti käivitamine kiiresti tüütuks. systemd-i teenus käivitab serveri taaskäivitamisel ja taaskäivitab selle kokkujooksmise korral.
# Loo systemd-i teenus
sudo tee /etc/systemd/system/vllm-devstral.service << EOF
[Unit]
Description=vLLM Devstral Server
After=network.target
[Service]
Type=simple
User=$USER
ExecStart=/usr/local/bin/vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 --tool-call-parser mistral --enable-auto-tool-choice --port 8080
Restart=always
RestartSec=10
[Install]
WantedBy=multi-user.target
EOF
sudo systemctl enable --now vllm-devstral
Kolm probleemi, millega kohtud
Viga CUDA out of memory tähendab, et mudel ei mahu: vähenda --max-model-len või lülitu 4-bitisele kvantimisele. Aeglus esimesel käivitamisel on normaalne ja mitte sümptom – esmane käivitamine laadib alla ja laeb mudeli, umbes 14 GB, ning järgnevad käivitused saavad kasu vahemälust. Lõpuks, kui Vibe ei leia kohalikku serverit, kontrolli lihtsalt, kas port 8080 kuulab, enne kui kaugemale vaatad.
curl http://localhost:8080/health
Peamised punktid
- vLLM on soovitatud raamistik Devstrali kohalikuks teenindamiseks
- Lipud
--tool-call-parser mistralja--enable-auto-tool-choiceon kohustuslikud - H100/A100 pakub FP8-d ja 128K konteksti; RTX 4090 pakub 4-bitist ja 32K
- Vähenda
--max-model-len, kui VRAM on ebapiisav - Ühenda Vibe pakkuja ja mudeli eelseadistuse kaudu failis
config.toml(või eelmääratudllamacpppakkuja) ja kasuta seejärel/model - Käita vLLM-i igapäevaseks kasutamiseks systemd-i teenusena