Lokalno pokretanje Devstrala s vLLM-om
Na ovoj stranici
Lekcija ažurirana 2. studenoga 2026. na temelju stranice Using offline models u Vibe dokumentaciji. Devstral je uklonjen s Mistral API-ja, ali njegove težine ostaju objavljene: Devstral Small 2 i Mistral Small 4 dva su preporučena otvorena modela za lokalnu upotrebu. Vibe ne dolazi s ugrađenim lokalnim modelom: povezuješ ga sa poslužiteljem kompatibilnim s OpenAI putem unaprijed postavljene konfiguracije u
config.toml, a zatim prebacuješ pomoću/model. Izvor: Using offline models.
Priprema implementacije
Lokalno pokretanje Devstrala znači da na svom računalu pokrećeš poslužitelj za zaključivanje (inference server) koji izlaže API kompatibilan s OpenAIjem. Vibe se zatim povezuje s njim točno kao da komunicira s Mistralovim oblakom. Ta kompatibilnost sučelja čini prelazak bezbolnim; tvoji alati nemaju razloga znati odakle stižu odgovori. Preporučeni okvir za tu ulogu je vLLM, visokoučinkovit motor za zaključivanje koji je razvila zajednica otvorenog koda.
Što ti hardver dopušta
Prije instalacije bilo čega, provjeri svoju GPU karticu. Ona određuje iskoristivu preciznost i, posljedično, veličinu kontekstnog prozora koji ćeš imati na raspolaganju.
| Konfiguracija | GPU | VRAM | Preciznost | Kontekst |
|---|---|---|---|---|
| Preporučeno | NVIDIA H100 / A100 | 80 GB | FP8 | ~128K tokena |
| Alternativa | RTX 4090 / RTX 6000 | 24–48 GB | 4-bitna (kvantizirana) | ~32K tokena |
| Samo CPU | Bez GPU-a | 64+ GB RAM-a | - | Sporo (nije preporučeno) |
Važna napomena: Konfiguracija samo na CPU-u je funkcionalna, ali iznimno spora za model od 24B. Prikladna je isključivo za testiranje, a ne za svakodnevni rad. Drugim riječima, omogućuje ti provjeru funkcionira li lanac, ali ne i možeš li s njim stvarno raditi.
Instalacija vLLM-a
Softverski preduvjeti su minimalni: Python 3.10 ili noviji, nakon čega slijedi pip install.
# Potreban Python 3.10+
python3 --version
# Instaliraj vLLM
pip install vllm
Zatim provjeri jesu li NVIDIA upravljački programi i CUDA instalirani te rade li ispravno. Ova naredba najbolji je test od kraja do kraja: ako prikaže tvoju GPU karticu i verziju CUDA-e, niskojezični sloj je zdrav, a sve kasnije pogreške dolazit će s druge strane.
nvidia-smi
# Mora prikazati tvoju GPU karticu i verziju CUDA-e
Pokretanje poslužitelja
Naredba za pokretanje stane u četiri argumenta, od kojih su dva ključna za rad s Vibom.
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--port 8080
Rastavimo zastavice (flags):
mistralai/Devstral-Small-2-24B-Instruct-2512: Hugging Face model koji se učitava--tool-call-parser mistral: Omogućuje parsiranje poziva alata u Mistral formatu--enable-auto-tool-choice: Omogućuje modelu automatski odabir alata--port 8080: Port na kojem poslužitelj sluša
Dvije zastavice vezane uz alate zaslužuju pažnju. Bez njih bi poslužitelj odgovarao na tvoja pitanja, ali model više ne bi mogao čitati datoteke niti pokretati naredbe. Vibe bi postao običan chatbot, što nije cilj.
Prilagodi naredbu svom računalu
Ako imaš više GPU kartica, tenzorska paralelizacija distribuira model na sve kartice. Kombinirani VRAM tada omogućuje širi kontekstni prozor.
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--tensor-parallel-size 2 \
--port 8080
Na skromnijoj konfiguraciji moraš smanjiti preciznost. H100 ili A100 rukuje s FP8; RTX 4090 koristit će 4-bitnu kvantizaciju s AWQ-om, uz cijenu blagog gubitka kvalitete koji je uvelike nadoknađen činjenicom da model napokon staje u memoriju.
# FP8 na H100/A100
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--dtype float16 \
--port 8080
# 4-bit na RTX 4090
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--quantization awq \
--port 8080
Posljednja poluga kada VRAM i dalje nije dovoljan jest smanjenje maksimalne duljine konteksta. Predmemorija pažnje (attention cache) troši memoriju proporcionalno kontekstu, a spuštanje na 16.384 tokena često oslobodi ono što je nedostajalo za pokretanje.
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--max-model-len 16384 \
--port 8080
Poveži Vibe i provjeri
Poslužitelj radi; sada moraš reći Vibeu da ga koristi. Vibe ne dolazi s ugrađenim lokalnim modelom: deklariraj pružatelja usluge i unaprijed postavljenu konfiguraciju modela u config.toml.
# ~/.vibe/config.toml
active_model = "devstral-local"
[[providers]]
name = "local"
api_base = "http://localhost:8080/v1"
api_style = "openai"
backend = "generic"
[[models]]
name = "mistralai/Devstral-Small-2-24B-Instruct-2512"
provider = "local"
alias = "devstral-local"
Zadrži active_model iznad prve tablice [[...]], inače će ga TOML pridružiti toj tablici. Postavi max_context_length u unaprijed postavljenoj konfiguraciji kako bi označio kontekst svog poslužitelja, koji također mora vraćati korištenje tokena u streamanim odgovorima (stream_options.include_usage). Kraća varijanta: Vibe nudi unaprijed definiranog pružatelja, llamacpp, koji pokazuje na http://127.0.0.1:8080/v1 bez ključa; u tom slučaju u unaprijed postavljenu konfiguraciju upiši provider = "llamacpp", bez bloka [[providers]]. U sesiji, /model prebacuje između lokalnog modela i hostiranih modela.
Testiraj lanac na dvije razine: prvo sirovi API, što potvrđuje da je model učitan, zatim stvarni zahtjev u Vibeu kako bi se validiralo da pozivi alata rade.
# Izravan test API-ja
curl http://localhost:8080/v1/models
# Test u Vibeu (agent za pitanja traži dopuštenje prije svakog alata)
vibe --agent ask
> List files in the current directory
Za svakodnevnu upotrebu, ručno ponovno pokretanje naredbe brzo postaje zamorno. systemd servis pokreće poslužitelj pri podizanju sustava i ponovno ga pokreće u slučaju rušenja.
# Stvori systemd servis
sudo tee /etc/systemd/system/vllm-devstral.service << EOF
[Unit]
Description=vLLM Devstral Server
After=network.target
[Service]
Type=simple
User=$USER
ExecStart=/usr/local/bin/vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 --tool-call-parser mistral --enable-auto-tool-choice --port 8080
Restart=always
RestartSec=10
[Install]
WantedBy=multi-user.target
EOF
sudo systemctl enable --now vllm-devstral
Tri problema na koja ćeš naići
Greška CUDA out of memory znači da model ne staje: smanji --max-model-len ili prijeđi na 4-bitnu kvantizaciju. Usporenost pri samom prvom pokretanju je normalna i nije simptom – početno pokretanje preuzima i učitava model, oko 14 GB, a kasnija pokretanja imaju koristi od predmemorije. Naposljetku, ako Vibe ne može pronaći lokalni poslužitelj, jednostavno provjeri sluša li port 8080 prije nego što kreneš dalje u istragu.
curl http://localhost:8080/health
Ključne točke
- vLLM je preporučeni okvir za posluživanje Devstrala lokalno
- Zastavice
--tool-call-parser mistrali--enable-auto-tool-choicesu obavezne - H100/A100 nudi FP8 i kontekst od 128K; RTX 4090 nudi 4-bit i 32K
- Smanji
--max-model-lenako VRAM nije dovoljan - Poveži Vibe putem pružatelja usluge i unaprijed postavljene konfiguracije modela u
config.toml(ili unaprijed definiranog pružateljallamacpp), zatim koristi/model - Pokreni vLLM kao systemd servis za svakodnevnu upotrebu