Ugrás a főtartalomra
Magyar— Nyelv kiválasztása
Menü

Devstral helyi üzembe helyezése vLLM-mel

13. lecke 14 közül Frissítve 2026. november 2. Haladó
Ezen az oldalon
  1. Az üzembe helyezés előkészítése
  2. Amit a hardvered lehetővé tesz
  3. A vLLM telepítése
  4. A szerver elindítása
  5. A parancs igazítása a gépedhez
  6. A Vibe csatlakoztatása és ellenőrzése
  7. A három probléma, amivel találkozhatsz
  8. Főbb megállapítások

A lecke frissítve: 2026. november 2. a Vibe dokumentációjának Offline modellek használata oldala alapján. A Devstral eltávolításra került a Mistral API-ból, de a súlyai továbbra is elérhetők: a Devstral Small 2 és a Mistral Small 4 a két ajánlott nyílt modell helyi használatra. A Vibe nem tartalmaz beépített helyi modellt: egy OpenAI-kompatibilis szerverhez csatlakoztatsz egy config.toml fájlban definiált előbeállítással, majd a /model paranccsal váltasz közöttük. Forrás: Offline modellek használata.

Az üzembe helyezés előkészítése

A Devstral helyi üzembe helyezése azt jelenti, hogy egy következtetési szervert (inference server) futtatsz a gépeden, amely egy OpenAI-kompatibilis API-t tesz közzé. A Vibe ezután pontosan úgy csatlakozik hozzá, mintha a Mistral felhővel kommunikálna. Ez az interfész-kompatibilitás teszi zökkenőmentessé a váltást; az eszközeidnek nincs okuk tudni, honnan érkeznek a válaszok. Ehhez a szerepkörhöz ajánlott keretrendszer a vLLM, amelyet a nyílt forráskódú közösség fejlesztett ki, és nagy teljesítményű következtetési motorként szolgál.

Amit a hardvered lehetővé tesz

Mielőtt bármit telepítenél, ellenőrizd a GPU-dat. Ez határozza meg a használható pontosságot, és ennek következtében a rendelkezésre álló kontextusablak méretét is.

Konfiguráció GPU VRAM Pontosság Kontextus
Ajánlott NVIDIA H100 / A100 80 GB FP8 ~128K token
Alternatíva RTX 4090 / RTX 6000 24–48 GB 4-bit (kvantált) ~32K token
Csak CPU Nincs GPU 64+ GB RAM - Lassú (nem ajánlott)

Fontos megjegyzés: A csak CPU-ra épülő konfiguráció működőképes, de egy 24B-s modell esetén rendkívül lassú. Kizárólag tesztelésre alkalmas, nem napi használatra. Más szóval: ezzel ellenőrizheted, hogy a lánc működik-e, de azt nem, hogy képes vagy-e vele dolgozni.

A vLLM telepítése

A szoftveres előfeltétel minimális: Python 3.10 vagy újabb, majd egy pip install.

# Python 3.10+ szükséges
python3 --version

# vLLM telepítése
pip install vllm

Ezután ellenőrizd, hogy az NVIDIA driverek és a CUDA telepítve vannak-e, valamint működnek-e. Ez a parancs a legjobb végpontok közötti teszt: ha kiírja a GPU-dat és a CUDA verzióját, akkor az alacsony szintű réteg egészséges, és minden későbbi hiba máshonnan ered.

nvidia-smi
# Meg kell jelenítse a GPU-dat és a CUDA verziót

A szerver elindítása

Az indítási parancs négy argumentumból áll, amelyek közül kettő elengedhetetlen a Vibe használatához.

vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --port 8080

Nézzük meg részletesen a kapcsolókat:

  • mistralai/Devstral-Small-2-24B-Instruct-2512: A betöltendő Hugging Face modell
  • --tool-call-parser mistral: Engedélyezi az eszközhívások (tool calls) elemzését Mistral formátumban
  • --enable-auto-tool-choice: Lehetővé teszi a modell számára, hogy automatikusan válasszon eszközöket
  • --port 8080: A szerver figyelő portja

Az eszközökhöz kapcsolódó két kapcsoló külön figyelmet érdemel. Nélkülük a szerver ugyan válaszolna a kérdéseidre, de a modell többé nem tudna fájlt olvasni vagy parancsot futtatni. A Vibe egyszerű chatbottá válna, ami nem a cél.

A parancs igazítása a gépedhez

Ha több GPU-val rendelkezel, a tenzor-párhuzamosítás (tensor parallelism) szétosztja a modellt az összes kártyán. Az így összeadott VRAM szélesebb kontextusablakot tesz lehetővé.

vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --tensor-parallel-size 2 \
  --port 8080

Szerényebb konfigurációnál csökkentened kell a pontosságot. Egy H100 vagy A100 kezeli az FP8-at; egy RTX 4090 4 bites kvantálást használ AWQ-val, ami minőségi veszteséggel jár, de ezt bőven kompenzálja, hogy a modell végre elfér a memóriában.

# FP8 H100/A100 esetén
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --dtype float16 \
  --port 8080

# 4-bit RTX 4090 esetén
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --quantization awq \
  --port 8080

Ha a VRAM továbbra is elégtelen, az utolsó lehetőség a maximális kontextushossz csökkentése. A figyelem gyorsítótár (attention cache) memóriafogyasztása arányos a kontextussal, és a 16 384 tokenre való csökkentés gyakran felszabadítja azt a hiányzó mennyiséget, ami az indításhoz szükséges volt.

vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --max-model-len 16384 \
  --port 8080

A Vibe csatlakoztatása és ellenőrzése

A szerver fut; most meg kell mondanod a Vibenek, hogy használja azt. A Vibe nem tartalmaz beépített helyi modellt: deklarálnod kell egy szolgáltatót és egy modell-előbeállítást a config.toml fájlban.

# ~/.vibe/config.toml
active_model = "devstral-local"

[[providers]]
name = "local"
api_base = "http://localhost:8080/v1"
api_style = "openai"
backend = "generic"

[[models]]
name = "mistralai/Devstral-Small-2-24B-Instruct-2512"
provider = "local"
alias = "devstral-local"

Az active_model értékét az első [[...]] táblázat fölé kell írnod, különben a TOML ehhez a táblázathoz csatolja. Állítsd be a max_context_length értéket az előbeállításban, hogy jelezd a szervered kontextusát; ennek streaming válaszokban tokenhasználatot is vissza kell adnia (stream_options.include_usage). Rövidebb változat: a Vibe biztosít egy előre definiált szolgáltatót, a llamacpp-t, amely a http://127.0.0.1:8080/v1 címre mutat kulcs nélkül; ebben az esetben írd azt, hogy provider = "llamacpp" az előbeállításban, egy [[providers]] blokk nélkül. Egy munkamenetben a /model paranccsal válthatsz a helyi és a hosztolt modellek között.

Teszteld a láncot két szinten: először a nyers API-t, ami megerősíti, hogy a modell betöltődött, majd egy valós kérést a Vibeben, hogy validáld az eszközhívások működését.

# Közvetlen API teszt
curl http://localhost:8080/v1/models

# Tesztelés Vibeben (az ask ügynök minden eszköz előtt kérdez)
vibe --agent ask
> List files in the current directory

Napi használatra a parancs manuális újraindítása gyorsan unalmassá válik. Egy systemd szolgáltatás elindítja a szervert rendszerindításkor, és újraindítja összeomlás esetén is.

# systemd szolgáltatás létrehozása
sudo tee /etc/systemd/system/vllm-devstral.service << EOF
[Unit]
Description=vLLM Devstral Server
After=network.target

[Service]
Type=simple
User=$USER
ExecStart=/usr/local/bin/vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 --tool-call-parser mistral --enable-auto-tool-choice --port 8080
Restart=always
RestartSec=10

[Install]
WantedBy=multi-user.target
EOF

sudo systemctl enable --now vllm-devstral

A három probléma, amivel találkozhatsz

A CUDA out of memory hiba azt jelenti, hogy a modell nem fér el: csökkentsd a --max-model-len értékét, vagy válts 4 bites kvantálásra. Az első indítás lassúsága normális, és nem tünet: a kezdeti indítás letölti és betölti a modellt (kb. 14 GB), a későbbi indítások pedig a gyorsítótárat használják. Végül, ha a Vibe nem találja a helyi szervert, egyszerűen ellenőrizd, hogy a 8080-as port figyel-e, mielőtt tovább keresgélnél.

curl http://localhost:8080/health

Főbb megállapítások

  • A vLLM az ajánlott keretrendszer a Devstral helyi kiszolgálásához
  • A --tool-call-parser mistral és a --enable-auto-tool-choice kapcsolók kötelezőek
  • Egy H100/A100 FP8-at és 128K kontextust kínál; egy RTX 4090 4 bitet és 32K-t
  • Csökkentsd a --max-model-len értékét, ha a VRAM elégtelen
  • Csatlakoztasd a Vibet egy szolgáltató és modell-előbeállítás segítségével a config.toml fájlban (vagy az előre definiált llamacpp szolgáltatóval), majd használd a /model parancsot
  • Futtasd a vLLM-et systemd szolgáltatásként a napi használathoz