Siirry pääsisältöön
Suomi— Valitse kieli
Valikko

Isännöi Devstralia paikallisesti

Oppitunti 13 / 14 Päivitetty 2. marraskuuta 2026 Kehittäjä
Tällä sivulla
  1. Miksi isännöidä Devstralia paikallisesti?
  2. Suositellut mallit
  3. Laitteistovaatimukset
  4. Käyttöönotto vLLM:llä
  5. Paikallisen palvelimen käyttö
  6. Vaihtoehtoiset kehykset
  7. Viben yhdistäminen paikalliseen palvelimeen
  8. Keskeiset asiat

Oppitunti päivitetty 2. marraskuuta 2026 Vibe-dokumentaation Using offline models -sivun perusteella: Devstral on poistettu API:sta, mutta Devstral Small 2 on edelleen olemassa ja se on Mistral Small 4:n ohella yksi kahdesta suositellusta avoimesta mallista paikalliseen käyttöön. Perusteettomat kustannusarviot on poistettu, ja Viben yhdistäminen paikalliseen palvelimeen noudattaa nyt virallista config.toml-syntaksia. Lähde: Using offline models.

Miksi isännöidä Devstralia paikallisesti?

Devstral Small 2 julkaistaan avoimina painoina Apache 2.0 -lisenssillä (Devstral 2, sen 123 miljardin parametrin isoveli, käyttää muokattua MIT-lisenssiä). Vaikka se poistettiin Mistral API:sta 31. maaliskuuta 2026, se ei ole kadonnut: voit ottaa sen käyttöön omilla palvelimillasi lähettämättä ainuttakaan koodiriviä ulkoiseen API:hin, ja Vibe-dokumentaatio suosittelee sitä edelleen tähän tarkoitukseen.

Motivaatiot menevät usein päällekkäin. Ykkösenä on tietosuoja: koodisi ei koskaan poistu infrastruktuuristasi, mikä lopettaa heti kaikki väittelyt tarjoajan käyttöehdoista. Seuraavaksi tulee viive, sillä verkkoyhteyden edestakainen matka Mistral API:hin näppäilysi ja ehdotuksen välillä katoaa. Kustannusrakenne muuttuu: maksat kiinteän hinnan näytönohjaimesta käyttöpohjaisen laskutuksen sijaan, mikä muuttuu eduksi heti, kun koko tiimi kysyy mallilta koko päivän. Lopuksi tulee vaatimustenmukaisuus, jota tietyt säännökset ja alat kuten pankki- tai puolustusteollisuus vaativat, sekä saatavuus, sillä mikään kolmas osapuoli ei voi keskeyttää työtäsi.

Suositellut mallit

Vibe-dokumentaatio suosittelee kahta avointa mallia paikalliseen käyttöön:

  • Devstral Small 2 (mistralai/Devstral-Small-2-24B-Instruct-2512 Hugging Facessa): 24 miljardia parametria, tiheä malli, koulutettu agenttitehtäviin ja koodaukseen, ja sillä on kevyin laitteistovaatimus;
  • Mistral Small 4: 119 miljardia parametria asiantuntijasekoitusarkkitehtuurissa (mixture-of-experts), joista 6,5 miljardia on aktiivisia; hybridi päättely- ja koodausmalli, jonka konteksti on 256 000 tokenia, Apache 2.0 -lisenssillä.

Laitteistovaatimukset

Kohtuulliseen suorituskykyyn pitkissä konteksteissa dokumentaatio suosittelee FP8-käyttöönottoa noin 128 000 tokenin kontekstilla:

KokoonpanoLaitteistoTarkkuusKonteksti
SuositeltuH100- tai A100-näytönohjainFP8~128 000 tokenia
KehitystyöasemaRTX 4090 tai mikä tahansa 24 Gt VRAM:n näytönohjain4-bittinen~32 000 tokenia
Ei näytönohjaintaCPU-offload, riittävästi keskusmuistia—— huomattavasti hitaampi

Nämä luvut pätevät Devstral Small 2:een. Mistral Small 4 vaatii paljon enemmän videomuistia painojensa lataamiseen: varaudu vähintään yhteen 80 Gt:n H100:aan FP8-muodossa, ja vielä enemmän pitkiä konteksteja varten. Säädä sitten tarkkuus ja kontekstin pituus laitteistoosi sopivaksi.

Käyttöönotto vLLM:llä

vLLM on Viben dokumentaation suosittelema päättelykehys (inference framework) Devstralin tarjoamiseen. Asennus vaatii vain yhden komennon.

pip install vllm

Palvelin käynnistyy sitten yhdellä rivillä, käyttäen kahta valitsinta, jotka tekevät mallista käyttökelpoisen agenttitilassa.

vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --port 8080

Kolme variaatiota kattaa useimmat todelliset tilanteet: mallin jakaminen useille näytönohjaimille, tarkkuuden vähentäminen, kun VRAM on tiukilla, tai kontekstin lyhentäminen samasta syystä.

# Useita näytönohjaimia (jos sinulla on 2+ GPU:ta)
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --tensor-parallel-size 2 \
  --port 8080

# Vähennetty tarkkuus (näytönohjaimille, joissa on vähän VRAM:ia)
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --dtype float16 \
  --port 8080

# Vähennetty konteksti (VRAM:n säästämiseksi)
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --max-model-len 32768 \
  --port 8080

Tässä on selitys sille, mitä kukin lippu ohjaa:

  • --tool-call-parser mistral — ottaa käyttöön työkalukutsujen jäsentämisen Mistral-muodossa
  • --enable-auto-tool-choice — sallii mallin päättää, milloin se kutsuu työkalua
  • --tensor-parallel-size — jakaa mallin useille näytönohjaimille
  • --dtype — ohjaa tarkkuutta (float16, bfloat16, float32)
  • --max-model-len — rajoittaa kontekstin kokoa VRAM:n säästämiseksi

Kahta ensimmäistä kannattaa tarkastella erityisesti: niiden pois jättäminen tuottaa palvelimen, joka toimii moitteettomasti keskustelussa, mutta epäonnistuu hiljaisesti heti, kun agentti yrittää kutsua työkalua. Tämä on yleisin syy siihen, miksi paikallinen käyttöönotto koetaan “pettymykseksi”.

Paikallisen palvelimen käyttö

Kun vLLM on käynnissä, portti 8080 tarjoaa OpenAI-yhteensopivan API:n. Mistral SDK yhdistää siihen yksinkertaisesti muuttamalla palvelimen URL-osoitetta; avainta ei enää tarvita.

from mistralai.client import Mistral

# Osoita paikalliseen palvelimeen
client = Mistral(
    api_key="dummy",  # Avainta ei tarvita paikallisesti
    server_url="http://localhost:8080",
)

response = client.chat.complete(
    model="mistralai/Devstral-Small-2-24B-Instruct-2512",
    messages=[
        {"role": "user", "content": "Analysoi tämä koodi ja ehdota parannuksia."}
    ],
)

Myös OpenAI SDK toimii yhtä hyvin, joten voit vaihtaa olemassa olevan koodin käyttämään paikallista Devstralia kirjoittamatta sitä uudelleen.

from openai import OpenAI

client = OpenAI(
    api_key="dummy",
    base_url="http://localhost:8080/v1",
)

response = client.chat.completions.create(
    model="mistralai/Devstral-Small-2-24B-Instruct-2512",
    messages=[
        {"role": "user", "content": "Selitä tämä koodi."}
    ],
)

Vaihtoehtoiset kehykset

vLLM ei ole ainoa vaihtoehto: Devstral toimii minkä tahansa päättelykehyksen kanssa, joka tarjoaa OpenAI-yhteensopivan API:n. Vibe-dokumentaatio mainitsee llama.cpp:n, joka sopii vähäisen VRAM:n asetuksiin kiitos sen GGUF-kvantoitujen mallien, LM Studio:n, joka tarjoaa graafisen käyttöliittymän ilman komentoriviä, sekä Ollama:n. Tarkista jokaisesta työkalusta tarkka mallinimi ja kvantisointi ennen tulosten vertailua.

Viben yhdistäminen paikalliseen palvelimeen

Vibe ei sisällä paikallista mallia: kun palvelimesi on käynnissä, määrität tarjoajan ja malliesiasetuksen tiedostoon config.toml. Portissa 8080 toimivalle OpenAI-yhteensopivalle palvelimelle:

active_model = "devstral-local"

[[providers]]
name = "local"
api_base = "http://localhost:8080/v1"
api_style = "openai"
backend = "generic"

[[models]]
name = "mistralai/Devstral-Small-2-24B-Instruct-2512"
provider = "local"
alias = "devstral-local"

Dokumentaation mukaan on noudatettava kolmea varotoimenpidettä: pidä active_model ylempänä kuin ensimmäinen [[...]]-taulukko, muuten TOML liittää sen kyseiseen taulukkoon; aseta max_context_length esiasetukseen ilmoittaaksesi palvelimesi kontekstin; ja varmista, että palvelin palauttaa tokenien käytön suoratoistovastauksissa (stream_options.include_usage). Vibe tarjoaa myös valmiin tarjoajan, llamacpp, joka osoittaa osoitteeseen http://127.0.0.1:8080/v1 ilman avainta: tässä tapauksessa kirjoita esiasetukseen yksinkertaisesti provider = "llamacpp". /model-komento vaihtaa sitten paikallisen mallin ja isännöityjen mallien välillä.

Täysin offline-toimintaa varten poista myös telemetria ja päivitystarkistukset käytöstä:

enable_telemetry = false
enable_update_checks = false

Näillä asetuksilla ja paikallisella tarjoajalla CLI ei enää ota yhteyttä osoitteeseen mistral.ai. Taidot, MCP-palvelimet ja ulkoisiin järjestelmiin yhteyttä ottavat liittimet on poistettava käytöstä erikseen.

Keskeiset asiat

  • Devstral on poistettu API:sta, mutta Devstral Small 2 (24B, Apache 2.0) on edelleen suositeltu paikalliseen käyttöön yhdessä Mistral Small 4:n kanssa
  • vLLM on suositeltu kehys; --tool-call-parser mistral ja --enable-auto-tool-choice ovat välttämättömiä agentille
  • H100 tai A100 FP8-muodossa noin 128k kontekstilla; 24 Gt:n näytönohjain 4-bittisenä noin 32k kontekstilla
  • Palvelin tarjoaa OpenAI-yhteensopivan API:n, jota voi käyttää Mistral SDK:n tai OpenAI SDK:n kanssa
  • Vibe yhdistää palvelimeen esiasetuksen kautta tiedostossa config.toml (tai llamacpp-tarjoajan); poista telemetria ja päivitykset käytöstä offline-käyttöä varten