Siirry pääsisältöön
Suomi— Valitse kieli
Valikko

Devstralin käyttöönotto paikallisesti vLLM:llä

Oppitunti 13 / 14 Päivitetty 2. marraskuuta 2026 Edistynyt
Tällä sivulla
  1. Valmistele käyttöönotto
  2. Mitä laitteistosi sallii
  3. Asenna vLLM
  4. Käynnistä palvelin
  5. Mukauta komento koneellesi
  6. Yhdistä Vibe ja varmista toiminta
  7. Kolme ongelmaa, jotka kohtaat
  8. Keskeiset asiat

Oppitunti päivitetty 2. marraskuuta 2026 Vibe-dokumentaation Using offline models -sivun perusteella. Devstral on poistettu Mistral API:sta, mutta sen painot ovat edelleen saatavilla: Devstral Small 2 ja Mistral Small 4 ovat kaksi suositeltua avointa mallia paikalliseen käyttöön. Vibe ei sisällä paikallista mallia: yhdistät sen OpenAI-yhteensopivaan palvelimeen esiasetuksella tiedostossa config.toml ja vaihdat mallia komennolla /model. Lähde: Using offline models.

Valmistele käyttöönotto

Devstralin käyttöönotto paikallisesti tarkoittaa päättelypalvelimen (inference server) ajamista omalla koneellasi siten, että se tarjoaa OpenAI-yhteensopivan rajapinnan. Vibe yhdistää siihen täsmälleen samalla tavalla kuin se keskustelisi Mistralin pilven kanssa. Tämä rajapinnan yhteensopivuus tekee vaihdosta saumattoman; työkaluillasi ei ole syytä tietää, mistä vastaukset tulevat. Suositeltu kehys tähän tehtävään on vLLM, avoimen lähdekoodin yhteisön kehittämä suorituskykyinen päättelymoottori.

Mitä laitteistosi sallii

Ennen kuin asennat mitään, tarkista näytönohjaimesi (GPU). Se määrittää käytettävissä olevan tarkkuuden ja sitä kautta käytettävissä olevan konteksti-ikkunan koon.

Kokoonpano GPU VRAM Tarkkuus Konteksti
Suositeltu NVIDIA H100 / A100 80 GB FP8 ~128K tokenia
Vaihtoehtoinen RTX 4090 / RTX 6000 24–48 GB 4-bittinen (kvantattu) ~32K tokenia
Vain CPU Ei GPU:ta 64+ GB RAM - Hidas (ei suositeltu)

Tärkeä huomautus: Vain suorittimella (CPU) toimiva kokoonpano on toimiva, mutta erittäin hidas 24B-mallille. Se sopii vain testaamiseen, ei päivittäiseen käyttöön. Toisin sanoen sen avulla voit varmistaa, että ketju toimii, mutta et sitä, että voisit työskennellä sen kanssa.

Asenna vLLM

Ohjelmistovaatimukset ovat minimaaliset: Python 3.10 tai uudempi, jonka jälkeen suoritat pip install -komennon.

# Python 3.10+ vaaditaan
python3 --version

# Asenna vLLM
pip install vllm

Seuraavaksi varmista, että NVIDIA-ajurit ja CUDA on asennettu ja toimivat. Tämä komento on paras end-to-end-testi: jos se näyttää näytönohjaimesi ja CUDA-version, matalan tason kerros on kunnossa, ja mahdolliset myöhemmät virheet johtuvat muualta.

nvidia-smi
# Tämän tulee näyttää GPU:si ja CUDA-versio

Käynnistä palvelin

Käynnistyskomento mahtuu neljään argumenttiin, joista kaksi ovat olennaisia Viben kanssa työskentelyä varten.

vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --port 8080

Puretaan lipukkeet (flags):

  • mistralai/Devstral-Small-2-24B-Instruct-2512: Ladattava Hugging Face -malli
  • --tool-call-parser mistral: Ottaa käyttöön työkalukutsujen jäsentämisen Mistral-muodossa
  • --enable-auto-tool-choice: Sallii mallin valita työkalunsa automaattisesti
  • --port 8080: Palvelimen kuuntelema portti

Työkaluihin liittyvät kaksi lippua ansaitsevat huomiota. Ilman niitä palvelin vastaisi kysymyksiisi, mutta malli ei enää pystyisi lukemaan tiedostoa tai suorittamaan komentoa. Vibestä tulisi yksinkertainen keskustelubotti, mikä ei ole tavoite.

Mukauta komento koneellesi

Jos sinulla on useita näytönohjaimia, tensoririnnakkaisuus jakaa mallin kaikille korteille. Yhdistetty VRAM mahdollistaa tällöin laajemman konteksti-ikkunan.

vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --tensor-parallel-size 2 \
  --port 8080

Vaativammassa kokoonpanossa joudut laskemaan tarkkuutta. H100 tai A100 käsittelee FP8:n; RTX 4090 käyttää 4-bittistä kvantointia AWQ:lla, mikä aiheuttaa lievän laadun heikkenemisen, mutta tämän korvaa suuresti se, että malli mahtuu vihdoin muistiin.

# FP8 H100/A100:ssa
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --dtype float16 \
  --port 8080

# 4-bittinen RTX 4090:ssä
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --quantization awq \
  --port 8080

Viimeinen vipu, jos VRAM ei edelleenkään riitä, on maksimikontekstin pituuden pienentäminen. Huomiovälimuisti (attention cache) kuluttaa muistia suhteessa kontekstiin, ja pudottaminen 16 384 tokeniin vapauttaa usein sen verran, että käynnistys onnistuu.

vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --max-model-len 16384 \
  --port 8080

Yhdistä Vibe ja varmista toiminta

Palvelin on käynnissä; nyt sinun tulee kertoa Vibelle sen käyttäminen. Vibe ei sisällä paikallista mallia: määritä tarjoaja ja malliesiasetus tiedostoon config.toml.

# ~/.vibe/config.toml
active_model = "devstral-local"

[[providers]]
name = "local"
api_base = "http://localhost:8080/v1"
api_style = "openai"
backend = "generic"

[[models]]
name = "mistralai/Devstral-Small-2-24B-Instruct-2512"
provider = "local"
alias = "devstral-local"

Pidä active_model ensimmäisen [[...]]-taulukon yläpuolella, muuten TOML liittää sen kyseiseen taulukkoon. Aseta max_context_length esiasetuksessa ilmoittaaksesi palvelimesi kontekstin, jonka tulee myös palauttaa tokenien käyttö virtautuvissa vastauksissa (stream_options.include_usage). Lyhyempi variantti: Vibe tarjoaa valmiin tarjoajan, llamacpp, joka osoittaa osoitteeseen http://127.0.0.1:8080/v1 ilman avainta; tässä tapauksessa kirjoita esiasetukseen provider = "llamacpp" ilman [[providers]]-lohkoa. Istunnossa /model vaihtaa paikallisen mallin ja isännöityjen mallien välillä.

Testaa ketju kahdella tasolla: ensin raaka API, joka vahvistaa mallin latautumisen, sitten todellinen pyyntö Vibessä työkalukutsujen toiminnan validoimiseksi.

# Suora API-testi
curl http://localhost:8080/v1/models

# Testi Vibessä (ask-agent pyytää lupaa ennen jokaista työkalua)
vibe --agent ask
> List files in the current directory

Päivittäisessä käytössä komennon manuaalinen uudelleenkäynnistäminen käy nopeasti raskaaksi. systemd-palvelu käynnistää palvelimen käynnistyksen yhteydessä ja käynnistää sen uudelleen kaatumistilanteessa.

# Luo systemd-palvelu
sudo tee /etc/systemd/system/vllm-devstral.service << EOF
[Unit]
Description=vLLM Devstral Server
After=network.target

[Service]
Type=simple
User=$USER
ExecStart=/usr/local/bin/vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 --tool-call-parser mistral --enable-auto-tool-choice --port 8080
Restart=always
RestartSec=10

[Install]
WantedBy=multi-user.target
EOF

sudo systemctl enable --now vllm-devstral

Kolme ongelmaa, jotka kohtaat

CUDA out of memory -virhe tarkoittaa, että malli ei mahdu muistiin: pienennä arvoa --max-model-len tai siirry 4-bittiseen kvantointiin. Hitaus aivan ensimmäisellä käynnistyksellä on normaalia eikä oire: alkuperäinen käynnistys lataa mallin (noin 14 GB), ja myöhemmät käynnistykset hyötyvät välimuistista. Lopuksi, jos Vibe ei löydä paikallista palvelinta, tarkista ensin, että portti 8080 kuuntelee, ennen kuin etsit vikaa muualta.

curl http://localhost:8080/health

Keskeiset asiat

  • vLLM on suositeltu kehys Devstralin tarjoamiseen paikallisesti
  • Lipukkeet --tool-call-parser mistral ja --enable-auto-tool-choice ovat pakollisia
  • H100/A100 tarjoaa FP8:n ja 128K kontekstin; RTX 4090 tarjoaa 4-bittisen ja 32K kontekstin
  • Pienennä arvoa --max-model-len, jos VRAM ei riitä
  • Yhdistä Vibe tarjoajan ja malliesiasetuksen kautta tiedostossa config.toml (tai valmiilla llamacpp-tarjoajalla) ja käytä komentoa /model
  • Aja vLLM systemd-palveluna päivittäistä käyttöä varten