Devstralin käyttöönotto paikallisesti vLLM:llä
Tällä sivulla
Oppitunti päivitetty 2. marraskuuta 2026 Vibe-dokumentaation Using offline models -sivun perusteella. Devstral on poistettu Mistral API:sta, mutta sen painot ovat edelleen saatavilla: Devstral Small 2 ja Mistral Small 4 ovat kaksi suositeltua avointa mallia paikalliseen käyttöön. Vibe ei sisällä paikallista mallia: yhdistät sen OpenAI-yhteensopivaan palvelimeen esiasetuksella tiedostossa
config.tomlja vaihdat mallia komennolla/model. Lähde: Using offline models.
Valmistele käyttöönotto
Devstralin käyttöönotto paikallisesti tarkoittaa päättelypalvelimen (inference server) ajamista omalla koneellasi siten, että se tarjoaa OpenAI-yhteensopivan rajapinnan. Vibe yhdistää siihen täsmälleen samalla tavalla kuin se keskustelisi Mistralin pilven kanssa. Tämä rajapinnan yhteensopivuus tekee vaihdosta saumattoman; työkaluillasi ei ole syytä tietää, mistä vastaukset tulevat. Suositeltu kehys tähän tehtävään on vLLM, avoimen lähdekoodin yhteisön kehittämä suorituskykyinen päättelymoottori.
Mitä laitteistosi sallii
Ennen kuin asennat mitään, tarkista näytönohjaimesi (GPU). Se määrittää käytettävissä olevan tarkkuuden ja sitä kautta käytettävissä olevan konteksti-ikkunan koon.
| Kokoonpano | GPU | VRAM | Tarkkuus | Konteksti |
|---|---|---|---|---|
| Suositeltu | NVIDIA H100 / A100 | 80 GB | FP8 | ~128K tokenia |
| Vaihtoehtoinen | RTX 4090 / RTX 6000 | 24–48 GB | 4-bittinen (kvantattu) | ~32K tokenia |
| Vain CPU | Ei GPU:ta | 64+ GB RAM | - | Hidas (ei suositeltu) |
Tärkeä huomautus: Vain suorittimella (CPU) toimiva kokoonpano on toimiva, mutta erittäin hidas 24B-mallille. Se sopii vain testaamiseen, ei päivittäiseen käyttöön. Toisin sanoen sen avulla voit varmistaa, että ketju toimii, mutta et sitä, että voisit työskennellä sen kanssa.
Asenna vLLM
Ohjelmistovaatimukset ovat minimaaliset: Python 3.10 tai uudempi, jonka jälkeen suoritat pip install -komennon.
# Python 3.10+ vaaditaan
python3 --version
# Asenna vLLM
pip install vllm
Seuraavaksi varmista, että NVIDIA-ajurit ja CUDA on asennettu ja toimivat. Tämä komento on paras end-to-end-testi: jos se näyttää näytönohjaimesi ja CUDA-version, matalan tason kerros on kunnossa, ja mahdolliset myöhemmät virheet johtuvat muualta.
nvidia-smi
# Tämän tulee näyttää GPU:si ja CUDA-versio
Käynnistä palvelin
Käynnistyskomento mahtuu neljään argumenttiin, joista kaksi ovat olennaisia Viben kanssa työskentelyä varten.
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--port 8080
Puretaan lipukkeet (flags):
mistralai/Devstral-Small-2-24B-Instruct-2512: Ladattava Hugging Face -malli--tool-call-parser mistral: Ottaa käyttöön työkalukutsujen jäsentämisen Mistral-muodossa--enable-auto-tool-choice: Sallii mallin valita työkalunsa automaattisesti--port 8080: Palvelimen kuuntelema portti
Työkaluihin liittyvät kaksi lippua ansaitsevat huomiota. Ilman niitä palvelin vastaisi kysymyksiisi, mutta malli ei enää pystyisi lukemaan tiedostoa tai suorittamaan komentoa. Vibestä tulisi yksinkertainen keskustelubotti, mikä ei ole tavoite.
Mukauta komento koneellesi
Jos sinulla on useita näytönohjaimia, tensoririnnakkaisuus jakaa mallin kaikille korteille. Yhdistetty VRAM mahdollistaa tällöin laajemman konteksti-ikkunan.
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--tensor-parallel-size 2 \
--port 8080
Vaativammassa kokoonpanossa joudut laskemaan tarkkuutta. H100 tai A100 käsittelee FP8:n; RTX 4090 käyttää 4-bittistä kvantointia AWQ:lla, mikä aiheuttaa lievän laadun heikkenemisen, mutta tämän korvaa suuresti se, että malli mahtuu vihdoin muistiin.
# FP8 H100/A100:ssa
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--dtype float16 \
--port 8080
# 4-bittinen RTX 4090:ssä
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--quantization awq \
--port 8080
Viimeinen vipu, jos VRAM ei edelleenkään riitä, on maksimikontekstin pituuden pienentäminen. Huomiovälimuisti (attention cache) kuluttaa muistia suhteessa kontekstiin, ja pudottaminen 16 384 tokeniin vapauttaa usein sen verran, että käynnistys onnistuu.
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--max-model-len 16384 \
--port 8080
Yhdistä Vibe ja varmista toiminta
Palvelin on käynnissä; nyt sinun tulee kertoa Vibelle sen käyttäminen. Vibe ei sisällä paikallista mallia: määritä tarjoaja ja malliesiasetus tiedostoon config.toml.
# ~/.vibe/config.toml
active_model = "devstral-local"
[[providers]]
name = "local"
api_base = "http://localhost:8080/v1"
api_style = "openai"
backend = "generic"
[[models]]
name = "mistralai/Devstral-Small-2-24B-Instruct-2512"
provider = "local"
alias = "devstral-local"
Pidä active_model ensimmäisen [[...]]-taulukon yläpuolella, muuten TOML liittää sen kyseiseen taulukkoon. Aseta max_context_length esiasetuksessa ilmoittaaksesi palvelimesi kontekstin, jonka tulee myös palauttaa tokenien käyttö virtautuvissa vastauksissa (stream_options.include_usage). Lyhyempi variantti: Vibe tarjoaa valmiin tarjoajan, llamacpp, joka osoittaa osoitteeseen http://127.0.0.1:8080/v1 ilman avainta; tässä tapauksessa kirjoita esiasetukseen provider = "llamacpp" ilman [[providers]]-lohkoa. Istunnossa /model vaihtaa paikallisen mallin ja isännöityjen mallien välillä.
Testaa ketju kahdella tasolla: ensin raaka API, joka vahvistaa mallin latautumisen, sitten todellinen pyyntö Vibessä työkalukutsujen toiminnan validoimiseksi.
# Suora API-testi
curl http://localhost:8080/v1/models
# Testi Vibessä (ask-agent pyytää lupaa ennen jokaista työkalua)
vibe --agent ask
> List files in the current directory
Päivittäisessä käytössä komennon manuaalinen uudelleenkäynnistäminen käy nopeasti raskaaksi. systemd-palvelu käynnistää palvelimen käynnistyksen yhteydessä ja käynnistää sen uudelleen kaatumistilanteessa.
# Luo systemd-palvelu
sudo tee /etc/systemd/system/vllm-devstral.service << EOF
[Unit]
Description=vLLM Devstral Server
After=network.target
[Service]
Type=simple
User=$USER
ExecStart=/usr/local/bin/vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 --tool-call-parser mistral --enable-auto-tool-choice --port 8080
Restart=always
RestartSec=10
[Install]
WantedBy=multi-user.target
EOF
sudo systemctl enable --now vllm-devstral
Kolme ongelmaa, jotka kohtaat
CUDA out of memory -virhe tarkoittaa, että malli ei mahdu muistiin: pienennä arvoa --max-model-len tai siirry 4-bittiseen kvantointiin. Hitaus aivan ensimmäisellä käynnistyksellä on normaalia eikä oire: alkuperäinen käynnistys lataa mallin (noin 14 GB), ja myöhemmät käynnistykset hyötyvät välimuistista. Lopuksi, jos Vibe ei löydä paikallista palvelinta, tarkista ensin, että portti 8080 kuuntelee, ennen kuin etsit vikaa muualta.
curl http://localhost:8080/health
Keskeiset asiat
- vLLM on suositeltu kehys Devstralin tarjoamiseen paikallisesti
- Lipukkeet
--tool-call-parser mistralja--enable-auto-tool-choiceovat pakollisia - H100/A100 tarjoaa FP8:n ja 128K kontekstin; RTX 4090 tarjoaa 4-bittisen ja 32K kontekstin
- Pienennä arvoa
--max-model-len, jos VRAM ei riitä - Yhdistä Vibe tarjoajan ja malliesiasetuksen kautta tiedostossa
config.toml(tai valmiillallamacpp-tarjoajalla) ja käytä komentoa/model - Aja vLLM systemd-palveluna päivittäistä käyttöä varten