Devstral helyi üzemeltetése
Ezen az oldalon
A lecke frissítve: 2026. november 2. a Vibe dokumentációjának Offline modellek használata oldala alapján: a Devstral eltávolításra került az API-ból, de a Devstral Small 2 megmaradt, és a Mistral Small 4 mellett továbbra is az egyik ajánlott nyílt modell helyi használatra. A nem hitelesített költségbecsléseket eltávolítottuk, a Vibe helyi szerverhez való csatlakoztatása pedig immár a hivatalos
config.tomlszintaxist követi. Forrás: Offline modellek használata.
Miért érdemes helyben futtatni a Devstralt?
A Devstral Small 2 nyílt súlyokkal jelenik meg, Apache 2.0 licenc alatt (míg a Devstral 2, a 123 milliárd paraméteres nagytestvére, módosított MIT licencet használ). Bár 2026. március 31-én eltávolították a Mistral API-ból, nem tűnt el: saját szervereidre telepítheted anélkül, hogy egyetlen sor kódot is küldenél külső API-nak, és a Vibe dokumentációja továbbra is erre a célra ajánlja.
A motivációk gyakran átfedik egymást. Az első helyen az adatvédelem áll: a kódod soha nem hagyja el az infrastruktúrádat, ezzel elejét véve minden vitának a szolgáltató felhasználási feltételeiről. Ezt követi a késleltetés csökkenése, mivel nincs hálózati oda-vissza út a Mistral API felé a billentyűleütéseid és a javaslat között. A költségszerkezet megváltozik: használat alapú számlázás helyett egy GPU rögzített árát fizeted meg, ami akkor válik előnyössé, ha egy egész csapat egész nap lekérdezi a modellt. Végül ott van a megfelelőség, amelyet bizonyos szabályozások és ágazatok (például banki vagy védelmi szektor) megkövetelnek, valamint a rendelkezésre állás, hiszen harmadik fél által nyújtott szolgáltatás nem szakíthatja meg a munkádat.
Ajánlott modellek
A Vibe dokumentációja két nyílt modellt ajánl helyi használatra:
- Devstral Small 2 (
mistralai/Devstral-Small-2-24B-Instruct-2512a Hugging Face-en): 24 milliárd paraméter, sűrű architektúra, ügynöki feladatokra és kódolásra tanítva, a legkisebb hardverigénnyel; - Mistral Small 4: 119 milliárd paraméter szakértők keverékéből álló (mixture-of-experts) architektúrában, ebből 6,5 milliárd aktív; hibrid következtetési és kódoló modell 256 000 tokenes kontextussal, Apache 2.0 licenc alatt.
Hardveres előfeltételek
A hosszú kontextusok esetén elfogadható teljesítmény érdekében a dokumentáció FP8 kiépítést javasol, körülbelül 128 000 tokenes kontextussal:
| Konfiguráció | Hardver | Pontosság | Kontextus |
|---|---|---|---|
| Ajánlott | H100 vagy A100 GPU | FP8 | ~128 000 token |
| Fejlesztői munkaállomás | RTX 4090 vagy bármely 24 GB VRAM-os GPU | 4 bites | ~32 000 token |
| GPU nélkül | CPU offload, elegendő RAM-mal | — | — jelentősen lassabb |
Ezek az értékek a Devstral Small 2-re vonatkoznak. A Mistral Small 4 sokkal több videomemóriát igényel a súlyok betöltéséhez: számíts legalább egy 80 GB-os H100-ra FP8 módban, és még többre hosszú kontextusok esetén. Ezután igazítsd a pontosságot és a kontextus hosszát a hardveredhez.
Telepítés vLLM-mel
A vLLM az a következtetési keretrendszer, amelyet a Vibe dokumentációja a Devstral kiszolgálására ajánl. A telepítéshez mindössze egyetlen parancs szükséges.
pip install vllm
A szerver ezután egy sorban elindítható, azzal a két opcióval, amelyek lehetővé teszik a modell ügynök módban történő használatát.
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--port 8080
Három variáció fedi le a legtöbb valós helyzetet: a modell több GPU-ra osztása, a pontosság csökkentése szűkös VRAM esetén, vagy a kontextus megnyirbálása ugyanerre az okra.
# Több GPU (ha 2 vagy több GPU-d van)
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--tensor-parallel-size 2 \
--port 8080
# Csökkentett pontosság (kevesebb VRAM-mal rendelkező GPU-khoz)
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--dtype float16 \
--port 8080
# Csökkentett kontextus (VRAM megtakarítás érdekében)
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--max-model-len 32768 \
--port 8080
Íme, mit szabályoz az egyes kapcsolók:
--tool-call-parser mistral— engedélyezi az eszközhívások elemzését Mistral formátumban--enable-auto-tool-choice— lehetővé teszi a modell számára, hogy eldöntse, mikor hívjon meg egy eszközt--tensor-parallel-size— több GPU-ra osztja szét a modellt--dtype— szabályozza a pontosságot (float16, bfloat16, float32)--max-model-len— korlátozza a kontextus méretét a VRAM megtakarítása érdekében
Az első kettő különös figyelmet érdemel: ha kihagyod őket, olyan szervert kapsz, amely beszélgetéshez tökéletesen működik, de némán meghibásodik, amint egy ügynök megpróbál eszközt hívni. Ez a leggyakoribb oka annak, hogy egy helyi telepítést „csalódást keltőnek“ ítélnek.
A helyi szerver használata
Ha a vLLM fut, a 8080-as port egy OpenAI-kompatibilis API-t tesz közzé. A Mistral SDK úgy csatlakozik hozzá, hogy egyszerűen megváltoztatod a szerver URL-jét; a kulcsra ekkor már nincs szükség.
from mistralai.client import Mistral
# Csatlakozás a helyi szerverhez
client = Mistral(
api_key="dummy", # Helyben nincs szükség kulcsra
server_url="http://localhost:8080",
)
response = client.chat.complete(
model="mistralai/Devstral-Small-2-24B-Instruct-2512",
messages=[
{"role": "user", "content": "Elemezd ezt a kódot, és javasolj fejlesztéseket."}
],
)
Az OpenAI SDK ugyanígy működik, lehetővé téve a meglévő kód helyi Devstralra való átállítását átírás nélkül.
from openai import OpenAI
client = OpenAI(
api_key="dummy",
base_url="http://localhost:8080/v1",
)
response = client.chat.completions.create(
model="mistralai/Devstral-Small-2-24B-Instruct-2512",
messages=[
{"role": "user", "content": "Magyarázd el ezt a kódot."}
],
)
Alternatív keretrendszerek
A vLLM nem az egyetlen út: a Devstral bármely olyan következtetési keretrendszerrel működik, amely OpenAI-kompatibilis API-t tesz közzé. A Vibe dokumentációja említi a llama.cpp-t, amely a GGUF kvantált modelljeinek köszönhetően alacsony VRAM-igényű beállításokhoz ideális, az LM Studio-t, amely grafikus felületet kínál parancssor nélkül, valamint az Ollama-t. Az eredmények összehasonlítása előtt ellenőrizd az egyes eszközökben a pontos modellnevet és a kvantálást.
A Vibe csatlakoztatása a helyi szerverhez
A Vibe nem tartalmaz helyi modellt: ha a szervered fut, egy szolgáltatót és egy modell előbeállítást kell deklarálnod a config.toml fájlban. Egy 8080-as porton futó OpenAI-kompatibilis szerver esetén:
active_model = "devstral-local"
[[providers]]
name = "local"
api_base = "http://localhost:8080/v1"
api_style = "openai"
backend = "generic"
[[models]]
name = "mistralai/Devstral-Small-2-24B-Instruct-2512"
provider = "local"
alias = "devstral-local"
Három óvintézkedés a dokumentációból: a active_model értékét az első [[...]] tömb fölé kell helyezni, különben a TOML ehhez a tömbhöz csatolja; állítsd be a max_context_length értéket az előbeállításban, hogy jelezd a szervered kontextusméretét; és győződj meg róla, hogy a szerver visszaadja a tokenhasználatot a streamelt válaszokban (stream_options.include_usage). A Vibe biztosít egy előre definiált szolgáltatót is, a llamacpp-t, amely a http://127.0.0.1:8080/v1 címre mutat kulcs nélkül: ebben az esetben elég annyit írnod az előbeállításba, hogy provider = "llamacpp". A /model parancs ezután váltani tud a helyi modell és a hosztolt modellek között.
A teljesen offline működéshez tiltsd le a telemetriát és a frissítésellenőrzéseket is:
enable_telemetry = false
enable_update_checks = false
Ezekkel a beállításokkal és egy helyi szolgáltatóval a CLI többé nem lép kapcsolatba a mistral.ai oldallal. A készségeket, az MCP szervereket és a külső rendszereket elérő csatlakozókat külön kell letiltani.
Főbb megállapítások
- A Devstral eltávolításra került az API-ból, de a Devstral Small 2 (24B, Apache 2.0) továbbra is ajánlott helyi használatra, a Mistral Small 4 mellett
- A vLLM az ajánlott keretrendszer; a
--tool-call-parser mistralés a--enable-auto-tool-choiceelengedhetetlen egy ügynök számára - H100 vagy A100 FP8-ban ~128k kontextussal; egy 24 GB-os GPU 4 bites módban ~32k kontextussal
- A szerver OpenAI-kompatibilis API-t tesz közzé, használható a Mistral SDK-val vagy az OpenAI SDK-val
- A Vibe egy előbeállításon keresztül csatlakozik a szerverhez a
config.tomlfájlban (vagy allamacppszolgáltatóval); offline használathoz tiltsd le a telemetriát és a frissítéseket