Devstral helyi üzembe helyezése vLLM-mel
Ezen az oldalon
A lecke frissítve: 2026. november 2. a Vibe dokumentációjának Offline modellek használata oldala alapján. A Devstral eltávolításra került a Mistral API-ból, de a súlyai továbbra is elérhetők: a Devstral Small 2 és a Mistral Small 4 a két ajánlott nyílt modell helyi használatra. A Vibe nem tartalmaz beépített helyi modellt: egy OpenAI-kompatibilis szerverhez csatlakoztatsz egy
config.tomlfájlban definiált előbeállítással, majd a/modelparanccsal váltasz közöttük. Forrás: Offline modellek használata.
Az üzembe helyezés előkészítése
A Devstral helyi üzembe helyezése azt jelenti, hogy egy következtetési szervert (inference server) futtatsz a gépeden, amely egy OpenAI-kompatibilis API-t tesz közzé. A Vibe ezután pontosan úgy csatlakozik hozzá, mintha a Mistral felhővel kommunikálna. Ez az interfész-kompatibilitás teszi zökkenőmentessé a váltást; az eszközeidnek nincs okuk tudni, honnan érkeznek a válaszok. Ehhez a szerepkörhöz ajánlott keretrendszer a vLLM, amelyet a nyílt forráskódú közösség fejlesztett ki, és nagy teljesítményű következtetési motorként szolgál.
Amit a hardvered lehetővé tesz
Mielőtt bármit telepítenél, ellenőrizd a GPU-dat. Ez határozza meg a használható pontosságot, és ennek következtében a rendelkezésre álló kontextusablak méretét is.
| Konfiguráció | GPU | VRAM | Pontosság | Kontextus |
|---|---|---|---|---|
| Ajánlott | NVIDIA H100 / A100 | 80 GB | FP8 | ~128K token |
| Alternatíva | RTX 4090 / RTX 6000 | 24–48 GB | 4-bit (kvantált) | ~32K token |
| Csak CPU | Nincs GPU | 64+ GB RAM | - | Lassú (nem ajánlott) |
Fontos megjegyzés: A csak CPU-ra épülő konfiguráció működőképes, de egy 24B-s modell esetén rendkívül lassú. Kizárólag tesztelésre alkalmas, nem napi használatra. Más szóval: ezzel ellenőrizheted, hogy a lánc működik-e, de azt nem, hogy képes vagy-e vele dolgozni.
A vLLM telepítése
A szoftveres előfeltétel minimális: Python 3.10 vagy újabb, majd egy pip install.
# Python 3.10+ szükséges
python3 --version
# vLLM telepítése
pip install vllm
Ezután ellenőrizd, hogy az NVIDIA driverek és a CUDA telepítve vannak-e, valamint működnek-e. Ez a parancs a legjobb végpontok közötti teszt: ha kiírja a GPU-dat és a CUDA verzióját, akkor az alacsony szintű réteg egészséges, és minden későbbi hiba máshonnan ered.
nvidia-smi
# Meg kell jelenítse a GPU-dat és a CUDA verziót
A szerver elindítása
Az indítási parancs négy argumentumból áll, amelyek közül kettő elengedhetetlen a Vibe használatához.
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--port 8080
Nézzük meg részletesen a kapcsolókat:
mistralai/Devstral-Small-2-24B-Instruct-2512: A betöltendő Hugging Face modell--tool-call-parser mistral: Engedélyezi az eszközhívások (tool calls) elemzését Mistral formátumban--enable-auto-tool-choice: Lehetővé teszi a modell számára, hogy automatikusan válasszon eszközöket--port 8080: A szerver figyelő portja
Az eszközökhöz kapcsolódó két kapcsoló külön figyelmet érdemel. Nélkülük a szerver ugyan válaszolna a kérdéseidre, de a modell többé nem tudna fájlt olvasni vagy parancsot futtatni. A Vibe egyszerű chatbottá válna, ami nem a cél.
A parancs igazítása a gépedhez
Ha több GPU-val rendelkezel, a tenzor-párhuzamosítás (tensor parallelism) szétosztja a modellt az összes kártyán. Az így összeadott VRAM szélesebb kontextusablakot tesz lehetővé.
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--tensor-parallel-size 2 \
--port 8080
Szerényebb konfigurációnál csökkentened kell a pontosságot. Egy H100 vagy A100 kezeli az FP8-at; egy RTX 4090 4 bites kvantálást használ AWQ-val, ami minőségi veszteséggel jár, de ezt bőven kompenzálja, hogy a modell végre elfér a memóriában.
# FP8 H100/A100 esetén
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--dtype float16 \
--port 8080
# 4-bit RTX 4090 esetén
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--quantization awq \
--port 8080
Ha a VRAM továbbra is elégtelen, az utolsó lehetőség a maximális kontextushossz csökkentése. A figyelem gyorsítótár (attention cache) memóriafogyasztása arányos a kontextussal, és a 16 384 tokenre való csökkentés gyakran felszabadítja azt a hiányzó mennyiséget, ami az indításhoz szükséges volt.
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--max-model-len 16384 \
--port 8080
A Vibe csatlakoztatása és ellenőrzése
A szerver fut; most meg kell mondanod a Vibenek, hogy használja azt. A Vibe nem tartalmaz beépített helyi modellt: deklarálnod kell egy szolgáltatót és egy modell-előbeállítást a config.toml fájlban.
# ~/.vibe/config.toml
active_model = "devstral-local"
[[providers]]
name = "local"
api_base = "http://localhost:8080/v1"
api_style = "openai"
backend = "generic"
[[models]]
name = "mistralai/Devstral-Small-2-24B-Instruct-2512"
provider = "local"
alias = "devstral-local"
Az active_model értékét az első [[...]] táblázat fölé kell írnod, különben a TOML ehhez a táblázathoz csatolja. Állítsd be a max_context_length értéket az előbeállításban, hogy jelezd a szervered kontextusát; ennek streaming válaszokban tokenhasználatot is vissza kell adnia (stream_options.include_usage). Rövidebb változat: a Vibe biztosít egy előre definiált szolgáltatót, a llamacpp-t, amely a http://127.0.0.1:8080/v1 címre mutat kulcs nélkül; ebben az esetben írd azt, hogy provider = "llamacpp" az előbeállításban, egy [[providers]] blokk nélkül. Egy munkamenetben a /model paranccsal válthatsz a helyi és a hosztolt modellek között.
Teszteld a láncot két szinten: először a nyers API-t, ami megerősíti, hogy a modell betöltődött, majd egy valós kérést a Vibeben, hogy validáld az eszközhívások működését.
# Közvetlen API teszt
curl http://localhost:8080/v1/models
# Tesztelés Vibeben (az ask ügynök minden eszköz előtt kérdez)
vibe --agent ask
> List files in the current directory
Napi használatra a parancs manuális újraindítása gyorsan unalmassá válik. Egy systemd szolgáltatás elindítja a szervert rendszerindításkor, és újraindítja összeomlás esetén is.
# systemd szolgáltatás létrehozása
sudo tee /etc/systemd/system/vllm-devstral.service << EOF
[Unit]
Description=vLLM Devstral Server
After=network.target
[Service]
Type=simple
User=$USER
ExecStart=/usr/local/bin/vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 --tool-call-parser mistral --enable-auto-tool-choice --port 8080
Restart=always
RestartSec=10
[Install]
WantedBy=multi-user.target
EOF
sudo systemctl enable --now vllm-devstral
A három probléma, amivel találkozhatsz
A CUDA out of memory hiba azt jelenti, hogy a modell nem fér el: csökkentsd a --max-model-len értékét, vagy válts 4 bites kvantálásra. Az első indítás lassúsága normális, és nem tünet: a kezdeti indítás letölti és betölti a modellt (kb. 14 GB), a későbbi indítások pedig a gyorsítótárat használják. Végül, ha a Vibe nem találja a helyi szervert, egyszerűen ellenőrizd, hogy a 8080-as port figyel-e, mielőtt tovább keresgélnél.
curl http://localhost:8080/health
Főbb megállapítások
- A vLLM az ajánlott keretrendszer a Devstral helyi kiszolgálásához
- A
--tool-call-parser mistralés a--enable-auto-tool-choicekapcsolók kötelezőek - Egy H100/A100 FP8-at és 128K kontextust kínál; egy RTX 4090 4 bitet és 32K-t
- Csökkentsd a
--max-model-lenértékét, ha a VRAM elégtelen - Csatlakoztasd a Vibet egy szolgáltató és modell-előbeállítás segítségével a
config.tomlfájlban (vagy az előre definiáltllamacppszolgáltatóval), majd használd a/modelparancsot - Futtasd a vLLM-et systemd szolgáltatásként a napi használathoz