Isännöi Devstralia paikallisesti
Tällä sivulla
Oppitunti päivitetty 2. marraskuuta 2026 Vibe-dokumentaation Using offline models -sivun perusteella: Devstral on poistettu API:sta, mutta Devstral Small 2 on edelleen olemassa ja se on Mistral Small 4:n ohella yksi kahdesta suositellusta avoimesta mallista paikalliseen käyttöön. Perusteettomat kustannusarviot on poistettu, ja Viben yhdistäminen paikalliseen palvelimeen noudattaa nyt virallista
config.toml-syntaksia. Lähde: Using offline models.
Miksi isännöidä Devstralia paikallisesti?
Devstral Small 2 julkaistaan avoimina painoina Apache 2.0 -lisenssillä (Devstral 2, sen 123 miljardin parametrin isoveli, käyttää muokattua MIT-lisenssiä). Vaikka se poistettiin Mistral API:sta 31. maaliskuuta 2026, se ei ole kadonnut: voit ottaa sen käyttöön omilla palvelimillasi lähettämättä ainuttakaan koodiriviä ulkoiseen API:hin, ja Vibe-dokumentaatio suosittelee sitä edelleen tähän tarkoitukseen.
Motivaatiot menevät usein päällekkäin. Ykkösenä on tietosuoja: koodisi ei koskaan poistu infrastruktuuristasi, mikä lopettaa heti kaikki väittelyt tarjoajan käyttöehdoista. Seuraavaksi tulee viive, sillä verkkoyhteyden edestakainen matka Mistral API:hin näppäilysi ja ehdotuksen välillä katoaa. Kustannusrakenne muuttuu: maksat kiinteän hinnan näytönohjaimesta käyttöpohjaisen laskutuksen sijaan, mikä muuttuu eduksi heti, kun koko tiimi kysyy mallilta koko päivän. Lopuksi tulee vaatimustenmukaisuus, jota tietyt säännökset ja alat kuten pankki- tai puolustusteollisuus vaativat, sekä saatavuus, sillä mikään kolmas osapuoli ei voi keskeyttää työtäsi.
Suositellut mallit
Vibe-dokumentaatio suosittelee kahta avointa mallia paikalliseen käyttöön:
- Devstral Small 2 (
mistralai/Devstral-Small-2-24B-Instruct-2512Hugging Facessa): 24 miljardia parametria, tiheä malli, koulutettu agenttitehtäviin ja koodaukseen, ja sillä on kevyin laitteistovaatimus; - Mistral Small 4: 119 miljardia parametria asiantuntijasekoitusarkkitehtuurissa (mixture-of-experts), joista 6,5 miljardia on aktiivisia; hybridi päättely- ja koodausmalli, jonka konteksti on 256 000 tokenia, Apache 2.0 -lisenssillä.
Laitteistovaatimukset
Kohtuulliseen suorituskykyyn pitkissä konteksteissa dokumentaatio suosittelee FP8-käyttöönottoa noin 128 000 tokenin kontekstilla:
| Kokoonpano | Laitteisto | Tarkkuus | Konteksti |
|---|---|---|---|
| Suositeltu | H100- tai A100-näytönohjain | FP8 | ~128 000 tokenia |
| Kehitystyöasema | RTX 4090 tai mikä tahansa 24 Gt VRAM:n näytönohjain | 4-bittinen | ~32 000 tokenia |
| Ei näytönohjainta | CPU-offload, riittävästi keskusmuistia | — | — huomattavasti hitaampi |
Nämä luvut pätevät Devstral Small 2:een. Mistral Small 4 vaatii paljon enemmän videomuistia painojensa lataamiseen: varaudu vähintään yhteen 80 Gt:n H100:aan FP8-muodossa, ja vielä enemmän pitkiä konteksteja varten. Säädä sitten tarkkuus ja kontekstin pituus laitteistoosi sopivaksi.
Käyttöönotto vLLM:llä
vLLM on Viben dokumentaation suosittelema päättelykehys (inference framework) Devstralin tarjoamiseen. Asennus vaatii vain yhden komennon.
pip install vllm
Palvelin käynnistyy sitten yhdellä rivillä, käyttäen kahta valitsinta, jotka tekevät mallista käyttökelpoisen agenttitilassa.
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--port 8080
Kolme variaatiota kattaa useimmat todelliset tilanteet: mallin jakaminen useille näytönohjaimille, tarkkuuden vähentäminen, kun VRAM on tiukilla, tai kontekstin lyhentäminen samasta syystä.
# Useita näytönohjaimia (jos sinulla on 2+ GPU:ta)
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--tensor-parallel-size 2 \
--port 8080
# Vähennetty tarkkuus (näytönohjaimille, joissa on vähän VRAM:ia)
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--dtype float16 \
--port 8080
# Vähennetty konteksti (VRAM:n säästämiseksi)
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--max-model-len 32768 \
--port 8080
Tässä on selitys sille, mitä kukin lippu ohjaa:
--tool-call-parser mistral— ottaa käyttöön työkalukutsujen jäsentämisen Mistral-muodossa--enable-auto-tool-choice— sallii mallin päättää, milloin se kutsuu työkalua--tensor-parallel-size— jakaa mallin useille näytönohjaimille--dtype— ohjaa tarkkuutta (float16, bfloat16, float32)--max-model-len— rajoittaa kontekstin kokoa VRAM:n säästämiseksi
Kahta ensimmäistä kannattaa tarkastella erityisesti: niiden pois jättäminen tuottaa palvelimen, joka toimii moitteettomasti keskustelussa, mutta epäonnistuu hiljaisesti heti, kun agentti yrittää kutsua työkalua. Tämä on yleisin syy siihen, miksi paikallinen käyttöönotto koetaan “pettymykseksi”.
Paikallisen palvelimen käyttö
Kun vLLM on käynnissä, portti 8080 tarjoaa OpenAI-yhteensopivan API:n. Mistral SDK yhdistää siihen yksinkertaisesti muuttamalla palvelimen URL-osoitetta; avainta ei enää tarvita.
from mistralai.client import Mistral
# Osoita paikalliseen palvelimeen
client = Mistral(
api_key="dummy", # Avainta ei tarvita paikallisesti
server_url="http://localhost:8080",
)
response = client.chat.complete(
model="mistralai/Devstral-Small-2-24B-Instruct-2512",
messages=[
{"role": "user", "content": "Analysoi tämä koodi ja ehdota parannuksia."}
],
)
Myös OpenAI SDK toimii yhtä hyvin, joten voit vaihtaa olemassa olevan koodin käyttämään paikallista Devstralia kirjoittamatta sitä uudelleen.
from openai import OpenAI
client = OpenAI(
api_key="dummy",
base_url="http://localhost:8080/v1",
)
response = client.chat.completions.create(
model="mistralai/Devstral-Small-2-24B-Instruct-2512",
messages=[
{"role": "user", "content": "Selitä tämä koodi."}
],
)
Vaihtoehtoiset kehykset
vLLM ei ole ainoa vaihtoehto: Devstral toimii minkä tahansa päättelykehyksen kanssa, joka tarjoaa OpenAI-yhteensopivan API:n. Vibe-dokumentaatio mainitsee llama.cpp:n, joka sopii vähäisen VRAM:n asetuksiin kiitos sen GGUF-kvantoitujen mallien, LM Studio:n, joka tarjoaa graafisen käyttöliittymän ilman komentoriviä, sekä Ollama:n. Tarkista jokaisesta työkalusta tarkka mallinimi ja kvantisointi ennen tulosten vertailua.
Viben yhdistäminen paikalliseen palvelimeen
Vibe ei sisällä paikallista mallia: kun palvelimesi on käynnissä, määrität tarjoajan ja malliesiasetuksen tiedostoon config.toml. Portissa 8080 toimivalle OpenAI-yhteensopivalle palvelimelle:
active_model = "devstral-local"
[[providers]]
name = "local"
api_base = "http://localhost:8080/v1"
api_style = "openai"
backend = "generic"
[[models]]
name = "mistralai/Devstral-Small-2-24B-Instruct-2512"
provider = "local"
alias = "devstral-local"
Dokumentaation mukaan on noudatettava kolmea varotoimenpidettä: pidä active_model ylempänä kuin ensimmäinen [[...]]-taulukko, muuten TOML liittää sen kyseiseen taulukkoon; aseta max_context_length esiasetukseen ilmoittaaksesi palvelimesi kontekstin; ja varmista, että palvelin palauttaa tokenien käytön suoratoistovastauksissa (stream_options.include_usage). Vibe tarjoaa myös valmiin tarjoajan, llamacpp, joka osoittaa osoitteeseen http://127.0.0.1:8080/v1 ilman avainta: tässä tapauksessa kirjoita esiasetukseen yksinkertaisesti provider = "llamacpp". /model-komento vaihtaa sitten paikallisen mallin ja isännöityjen mallien välillä.
Täysin offline-toimintaa varten poista myös telemetria ja päivitystarkistukset käytöstä:
enable_telemetry = false
enable_update_checks = false
Näillä asetuksilla ja paikallisella tarjoajalla CLI ei enää ota yhteyttä osoitteeseen mistral.ai. Taidot, MCP-palvelimet ja ulkoisiin järjestelmiin yhteyttä ottavat liittimet on poistettava käytöstä erikseen.
Keskeiset asiat
- Devstral on poistettu API:sta, mutta Devstral Small 2 (24B, Apache 2.0) on edelleen suositeltu paikalliseen käyttöön yhdessä Mistral Small 4:n kanssa
- vLLM on suositeltu kehys;
--tool-call-parser mistralja--enable-auto-tool-choiceovat välttämättömiä agentille - H100 tai A100 FP8-muodossa noin 128k kontekstilla; 24 Gt:n näytönohjain 4-bittisenä noin 32k kontekstilla
- Palvelin tarjoaa OpenAI-yhteensopivan API:n, jota voi käyttää Mistral SDK:n tai OpenAI SDK:n kanssa
- Vibe yhdistää palvelimeen esiasetuksen kautta tiedostossa
config.toml(taillamacpp-tarjoajan); poista telemetria ja päivitykset käytöstä offline-käyttöä varten