Ugrás a főtartalomra
Magyar— Nyelv kiválasztása
Menü

Devstral helyi üzemeltetése

13. lecke 14 közül Frissítve 2026. november 2. Fejlesztő
Ezen az oldalon
  1. Miért érdemes helyben futtatni a Devstralt?
  2. Ajánlott modellek
  3. Hardveres előfeltételek
  4. Telepítés vLLM-mel
  5. A helyi szerver használata
  6. Alternatív keretrendszerek
  7. A Vibe csatlakoztatása a helyi szerverhez
  8. Főbb megállapítások

A lecke frissítve: 2026. november 2. a Vibe dokumentációjának Offline modellek használata oldala alapján: a Devstral eltávolításra került az API-ból, de a Devstral Small 2 megmaradt, és a Mistral Small 4 mellett továbbra is az egyik ajánlott nyílt modell helyi használatra. A nem hitelesített költségbecsléseket eltávolítottuk, a Vibe helyi szerverhez való csatlakoztatása pedig immár a hivatalos config.toml szintaxist követi. Forrás: Offline modellek használata.

Miért érdemes helyben futtatni a Devstralt?

A Devstral Small 2 nyílt súlyokkal jelenik meg, Apache 2.0 licenc alatt (míg a Devstral 2, a 123 milliárd paraméteres nagytestvére, módosított MIT licencet használ). Bár 2026. március 31-én eltávolították a Mistral API-ból, nem tűnt el: saját szervereidre telepítheted anélkül, hogy egyetlen sor kódot is küldenél külső API-nak, és a Vibe dokumentációja továbbra is erre a célra ajánlja.

A motivációk gyakran átfedik egymást. Az első helyen az adatvédelem áll: a kódod soha nem hagyja el az infrastruktúrádat, ezzel elejét véve minden vitának a szolgáltató felhasználási feltételeiről. Ezt követi a késleltetés csökkenése, mivel nincs hálózati oda-vissza út a Mistral API felé a billentyűleütéseid és a javaslat között. A költségszerkezet megváltozik: használat alapú számlázás helyett egy GPU rögzített árát fizeted meg, ami akkor válik előnyössé, ha egy egész csapat egész nap lekérdezi a modellt. Végül ott van a megfelelőség, amelyet bizonyos szabályozások és ágazatok (például banki vagy védelmi szektor) megkövetelnek, valamint a rendelkezésre állás, hiszen harmadik fél által nyújtott szolgáltatás nem szakíthatja meg a munkádat.

Ajánlott modellek

A Vibe dokumentációja két nyílt modellt ajánl helyi használatra:

  • Devstral Small 2 (mistralai/Devstral-Small-2-24B-Instruct-2512 a Hugging Face-en): 24 milliárd paraméter, sűrű architektúra, ügynöki feladatokra és kódolásra tanítva, a legkisebb hardverigénnyel;
  • Mistral Small 4: 119 milliárd paraméter szakértők keverékéből álló (mixture-of-experts) architektúrában, ebből 6,5 milliárd aktív; hibrid következtetési és kódoló modell 256 000 tokenes kontextussal, Apache 2.0 licenc alatt.

Hardveres előfeltételek

A hosszú kontextusok esetén elfogadható teljesítmény érdekében a dokumentáció FP8 kiépítést javasol, körülbelül 128 000 tokenes kontextussal:

KonfigurációHardverPontosságKontextus
AjánlottH100 vagy A100 GPUFP8~128 000 token
Fejlesztői munkaállomásRTX 4090 vagy bármely 24 GB VRAM-os GPU4 bites~32 000 token
GPU nélkülCPU offload, elegendő RAM-mal—— jelentősen lassabb

Ezek az értékek a Devstral Small 2-re vonatkoznak. A Mistral Small 4 sokkal több videomemóriát igényel a súlyok betöltéséhez: számíts legalább egy 80 GB-os H100-ra FP8 módban, és még többre hosszú kontextusok esetén. Ezután igazítsd a pontosságot és a kontextus hosszát a hardveredhez.

Telepítés vLLM-mel

A vLLM az a következtetési keretrendszer, amelyet a Vibe dokumentációja a Devstral kiszolgálására ajánl. A telepítéshez mindössze egyetlen parancs szükséges.

pip install vllm

A szerver ezután egy sorban elindítható, azzal a két opcióval, amelyek lehetővé teszik a modell ügynök módban történő használatát.

vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --port 8080

Három variáció fedi le a legtöbb valós helyzetet: a modell több GPU-ra osztása, a pontosság csökkentése szűkös VRAM esetén, vagy a kontextus megnyirbálása ugyanerre az okra.

# Több GPU (ha 2 vagy több GPU-d van)
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --tensor-parallel-size 2 \
  --port 8080

# Csökkentett pontosság (kevesebb VRAM-mal rendelkező GPU-khoz)
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --dtype float16 \
  --port 8080

# Csökkentett kontextus (VRAM megtakarítás érdekében)
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --max-model-len 32768 \
  --port 8080

Íme, mit szabályoz az egyes kapcsolók:

  • --tool-call-parser mistral — engedélyezi az eszközhívások elemzését Mistral formátumban
  • --enable-auto-tool-choice — lehetővé teszi a modell számára, hogy eldöntse, mikor hívjon meg egy eszközt
  • --tensor-parallel-size — több GPU-ra osztja szét a modellt
  • --dtype — szabályozza a pontosságot (float16, bfloat16, float32)
  • --max-model-len — korlátozza a kontextus méretét a VRAM megtakarítása érdekében

Az első kettő különös figyelmet érdemel: ha kihagyod őket, olyan szervert kapsz, amely beszélgetéshez tökéletesen működik, de némán meghibásodik, amint egy ügynök megpróbál eszközt hívni. Ez a leggyakoribb oka annak, hogy egy helyi telepítést „csalódást keltőnek“ ítélnek.

A helyi szerver használata

Ha a vLLM fut, a 8080-as port egy OpenAI-kompatibilis API-t tesz közzé. A Mistral SDK úgy csatlakozik hozzá, hogy egyszerűen megváltoztatod a szerver URL-jét; a kulcsra ekkor már nincs szükség.

from mistralai.client import Mistral

# Csatlakozás a helyi szerverhez
client = Mistral(
    api_key="dummy",  # Helyben nincs szükség kulcsra
    server_url="http://localhost:8080",
)

response = client.chat.complete(
    model="mistralai/Devstral-Small-2-24B-Instruct-2512",
    messages=[
        {"role": "user", "content": "Elemezd ezt a kódot, és javasolj fejlesztéseket."}
    ],
)

Az OpenAI SDK ugyanígy működik, lehetővé téve a meglévő kód helyi Devstralra való átállítását átírás nélkül.

from openai import OpenAI

client = OpenAI(
    api_key="dummy",
    base_url="http://localhost:8080/v1",
)

response = client.chat.completions.create(
    model="mistralai/Devstral-Small-2-24B-Instruct-2512",
    messages=[
        {"role": "user", "content": "Magyarázd el ezt a kódot."}
    ],
)

Alternatív keretrendszerek

A vLLM nem az egyetlen út: a Devstral bármely olyan következtetési keretrendszerrel működik, amely OpenAI-kompatibilis API-t tesz közzé. A Vibe dokumentációja említi a llama.cpp-t, amely a GGUF kvantált modelljeinek köszönhetően alacsony VRAM-igényű beállításokhoz ideális, az LM Studio-t, amely grafikus felületet kínál parancssor nélkül, valamint az Ollama-t. Az eredmények összehasonlítása előtt ellenőrizd az egyes eszközökben a pontos modellnevet és a kvantálást.

A Vibe csatlakoztatása a helyi szerverhez

A Vibe nem tartalmaz helyi modellt: ha a szervered fut, egy szolgáltatót és egy modell előbeállítást kell deklarálnod a config.toml fájlban. Egy 8080-as porton futó OpenAI-kompatibilis szerver esetén:

active_model = "devstral-local"

[[providers]]
name = "local"
api_base = "http://localhost:8080/v1"
api_style = "openai"
backend = "generic"

[[models]]
name = "mistralai/Devstral-Small-2-24B-Instruct-2512"
provider = "local"
alias = "devstral-local"

Három óvintézkedés a dokumentációból: a active_model értékét az első [[...]] tömb fölé kell helyezni, különben a TOML ehhez a tömbhöz csatolja; állítsd be a max_context_length értéket az előbeállításban, hogy jelezd a szervered kontextusméretét; és győződj meg róla, hogy a szerver visszaadja a tokenhasználatot a streamelt válaszokban (stream_options.include_usage). A Vibe biztosít egy előre definiált szolgáltatót is, a llamacpp-t, amely a http://127.0.0.1:8080/v1 címre mutat kulcs nélkül: ebben az esetben elég annyit írnod az előbeállításba, hogy provider = "llamacpp". A /model parancs ezután váltani tud a helyi modell és a hosztolt modellek között.

A teljesen offline működéshez tiltsd le a telemetriát és a frissítésellenőrzéseket is:

enable_telemetry = false
enable_update_checks = false

Ezekkel a beállításokkal és egy helyi szolgáltatóval a CLI többé nem lép kapcsolatba a mistral.ai oldallal. A készségeket, az MCP szervereket és a külső rendszereket elérő csatlakozókat külön kell letiltani.

Főbb megállapítások

  • A Devstral eltávolításra került az API-ból, de a Devstral Small 2 (24B, Apache 2.0) továbbra is ajánlott helyi használatra, a Mistral Small 4 mellett
  • A vLLM az ajánlott keretrendszer; a --tool-call-parser mistral és a --enable-auto-tool-choice elengedhetetlen egy ügynök számára
  • H100 vagy A100 FP8-ban ~128k kontextussal; egy 24 GB-os GPU 4 bites módban ~32k kontextussal
  • A szerver OpenAI-kompatibilis API-t tesz közzé, használható a Mistral SDK-val vagy az OpenAI SDK-val
  • A Vibe egy előbeállításon keresztül csatlakozik a szerverhez a config.toml fájlban (vagy a llamacpp szolgáltatóval); offline használathoz tiltsd le a telemetriát és a frissítéseket