Preskoči na glavni sadržaj
Hrvatski— Odaberite jezik
Izbornik

Lokalno pokretanje Devstrala s vLLM-om

Lekcija 13 od 14 Ažurirano 2. studenoga 2026. Napredno
Na ovoj stranici
  1. Priprema implementacije
  2. Što ti hardver dopušta
  3. Instalacija vLLM-a
  4. Pokretanje poslužitelja
  5. Prilagodi naredbu svom računalu
  6. Poveži Vibe i provjeri
  7. Tri problema na koja ćeš naići
  8. Ključne točke

Lekcija ažurirana 2. studenoga 2026. na temelju stranice Using offline models u Vibe dokumentaciji. Devstral je uklonjen s Mistral API-ja, ali njegove težine ostaju objavljene: Devstral Small 2 i Mistral Small 4 dva su preporučena otvorena modela za lokalnu upotrebu. Vibe ne dolazi s ugrađenim lokalnim modelom: povezuješ ga sa poslužiteljem kompatibilnim s OpenAI putem unaprijed postavljene konfiguracije u config.toml, a zatim prebacuješ pomoću /model. Izvor: Using offline models.

Priprema implementacije

Lokalno pokretanje Devstrala znači da na svom računalu pokrećeš poslužitelj za zaključivanje (inference server) koji izlaže API kompatibilan s OpenAIjem. Vibe se zatim povezuje s njim točno kao da komunicira s Mistralovim oblakom. Ta kompatibilnost sučelja čini prelazak bezbolnim; tvoji alati nemaju razloga znati odakle stižu odgovori. Preporučeni okvir za tu ulogu je vLLM, visokoučinkovit motor za zaključivanje koji je razvila zajednica otvorenog koda.

Što ti hardver dopušta

Prije instalacije bilo čega, provjeri svoju GPU karticu. Ona određuje iskoristivu preciznost i, posljedično, veličinu kontekstnog prozora koji ćeš imati na raspolaganju.

Konfiguracija GPU VRAM Preciznost Kontekst
Preporučeno NVIDIA H100 / A100 80 GB FP8 ~128K tokena
Alternativa RTX 4090 / RTX 6000 24–48 GB 4-bitna (kvantizirana) ~32K tokena
Samo CPU Bez GPU-a 64+ GB RAM-a - Sporo (nije preporučeno)

Važna napomena: Konfiguracija samo na CPU-u je funkcionalna, ali iznimno spora za model od 24B. Prikladna je isključivo za testiranje, a ne za svakodnevni rad. Drugim riječima, omogućuje ti provjeru funkcionira li lanac, ali ne i možeš li s njim stvarno raditi.

Instalacija vLLM-a

Softverski preduvjeti su minimalni: Python 3.10 ili noviji, nakon čega slijedi pip install.

# Potreban Python 3.10+
python3 --version

# Instaliraj vLLM
pip install vllm

Zatim provjeri jesu li NVIDIA upravljački programi i CUDA instalirani te rade li ispravno. Ova naredba najbolji je test od kraja do kraja: ako prikaže tvoju GPU karticu i verziju CUDA-e, niskojezični sloj je zdrav, a sve kasnije pogreške dolazit će s druge strane.

nvidia-smi
# Mora prikazati tvoju GPU karticu i verziju CUDA-e

Pokretanje poslužitelja

Naredba za pokretanje stane u četiri argumenta, od kojih su dva ključna za rad s Vibom.

vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --port 8080

Rastavimo zastavice (flags):

  • mistralai/Devstral-Small-2-24B-Instruct-2512: Hugging Face model koji se učitava
  • --tool-call-parser mistral: Omogućuje parsiranje poziva alata u Mistral formatu
  • --enable-auto-tool-choice: Omogućuje modelu automatski odabir alata
  • --port 8080: Port na kojem poslužitelj sluša

Dvije zastavice vezane uz alate zaslužuju pažnju. Bez njih bi poslužitelj odgovarao na tvoja pitanja, ali model više ne bi mogao čitati datoteke niti pokretati naredbe. Vibe bi postao običan chatbot, što nije cilj.

Prilagodi naredbu svom računalu

Ako imaš više GPU kartica, tenzorska paralelizacija distribuira model na sve kartice. Kombinirani VRAM tada omogućuje širi kontekstni prozor.

vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --tensor-parallel-size 2 \
  --port 8080

Na skromnijoj konfiguraciji moraš smanjiti preciznost. H100 ili A100 rukuje s FP8; RTX 4090 koristit će 4-bitnu kvantizaciju s AWQ-om, uz cijenu blagog gubitka kvalitete koji je uvelike nadoknađen činjenicom da model napokon staje u memoriju.

# FP8 na H100/A100
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --dtype float16 \
  --port 8080

# 4-bit na RTX 4090
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --quantization awq \
  --port 8080

Posljednja poluga kada VRAM i dalje nije dovoljan jest smanjenje maksimalne duljine konteksta. Predmemorija pažnje (attention cache) troši memoriju proporcionalno kontekstu, a spuštanje na 16.384 tokena često oslobodi ono što je nedostajalo za pokretanje.

vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --max-model-len 16384 \
  --port 8080

Poveži Vibe i provjeri

Poslužitelj radi; sada moraš reći Vibeu da ga koristi. Vibe ne dolazi s ugrađenim lokalnim modelom: deklariraj pružatelja usluge i unaprijed postavljenu konfiguraciju modela u config.toml.

# ~/.vibe/config.toml
active_model = "devstral-local"

[[providers]]
name = "local"
api_base = "http://localhost:8080/v1"
api_style = "openai"
backend = "generic"

[[models]]
name = "mistralai/Devstral-Small-2-24B-Instruct-2512"
provider = "local"
alias = "devstral-local"

Zadrži active_model iznad prve tablice [[...]], inače će ga TOML pridružiti toj tablici. Postavi max_context_length u unaprijed postavljenoj konfiguraciji kako bi označio kontekst svog poslužitelja, koji također mora vraćati korištenje tokena u streamanim odgovorima (stream_options.include_usage). Kraća varijanta: Vibe nudi unaprijed definiranog pružatelja, llamacpp, koji pokazuje na http://127.0.0.1:8080/v1 bez ključa; u tom slučaju u unaprijed postavljenu konfiguraciju upiši provider = "llamacpp", bez bloka [[providers]]. U sesiji, /model prebacuje između lokalnog modela i hostiranih modela.

Testiraj lanac na dvije razine: prvo sirovi API, što potvrđuje da je model učitan, zatim stvarni zahtjev u Vibeu kako bi se validiralo da pozivi alata rade.

# Izravan test API-ja
curl http://localhost:8080/v1/models

# Test u Vibeu (agent za pitanja traži dopuštenje prije svakog alata)
vibe --agent ask
> List files in the current directory

Za svakodnevnu upotrebu, ručno ponovno pokretanje naredbe brzo postaje zamorno. systemd servis pokreće poslužitelj pri podizanju sustava i ponovno ga pokreće u slučaju rušenja.

# Stvori systemd servis
sudo tee /etc/systemd/system/vllm-devstral.service << EOF
[Unit]
Description=vLLM Devstral Server
After=network.target

[Service]
Type=simple
User=$USER
ExecStart=/usr/local/bin/vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 --tool-call-parser mistral --enable-auto-tool-choice --port 8080
Restart=always
RestartSec=10

[Install]
WantedBy=multi-user.target
EOF

sudo systemctl enable --now vllm-devstral

Tri problema na koja ćeš naići

Greška CUDA out of memory znači da model ne staje: smanji --max-model-len ili prijeđi na 4-bitnu kvantizaciju. Usporenost pri samom prvom pokretanju je normalna i nije simptom – početno pokretanje preuzima i učitava model, oko 14 GB, a kasnija pokretanja imaju koristi od predmemorije. Naposljetku, ako Vibe ne može pronaći lokalni poslužitelj, jednostavno provjeri sluša li port 8080 prije nego što kreneš dalje u istragu.

curl http://localhost:8080/health

Ključne točke

  • vLLM je preporučeni okvir za posluživanje Devstrala lokalno
  • Zastavice --tool-call-parser mistral i --enable-auto-tool-choice su obavezne
  • H100/A100 nudi FP8 i kontekst od 128K; RTX 4090 nudi 4-bit i 32K
  • Smanji --max-model-len ako VRAM nije dovoljan
  • Poveži Vibe putem pružatelja usluge i unaprijed postavljene konfiguracije modela u config.toml (ili unaprijed definiranog pružatelja llamacpp), zatim koristi /model
  • Pokreni vLLM kao systemd servis za svakodnevnu upotrebu