Preskoči na glavni sadržaj
Hrvatski— Odaberite jezik
Izbornik

Lokalno hostanje Devstrala

Lekcija 13 od 14 Ažurirano 2. studenoga 2026. Programer
Na ovoj stranici
  1. Zašto lokalno hostati Devstral?
  2. Preporučeni modeli
  3. Hardverski preduvjeti
  4. Implementacija s vLLM-om
  5. Korištenje lokalnog poslužitelja
  6. Alternativni okviri
  7. Povezivanje Vibea s lokalnim poslužiteljem
  8. Ključne točke

Lekcija ažurirana 2. studenog 2026. na temelju stranice Using offline models u Vibe dokumentaciji: Devstral je uklonjen s API-ja, ali Devstral Small 2 ostaje, uz Mistral Small 4, kao jedan od dva preporučena otvorena modela za lokalnu upotrebu. Uklonjene su neprovjerene procjene troškova, a povezivanje Vibea s lokalnim poslužiteljem sada slijedi službenu sintaksu config.toml. Izvor: Using offline models.

Zašto lokalno hostati Devstral?

Devstral Small 2 objavljen je s otvorenim težinama pod licencom Apache 2.0 (Devstral 2, njegov “veliki brat” sa 123 milijarde parametara, koristi modificiranu MIT licencu). Iako je uklonjen s Mistral API-ja 31. ožujka 2026., nije nestao: možeš ga implementirati na vlastitim poslužiteljima bez slanja ijednog retka koda vanjskom API-ju, a Vibe dokumentacija ga i dalje preporučuje za tu svrhu.

Motivacije se često preklapaju. Privatnost je na prvom mjestu: tvoj kod nikada ne napušta tvoju infrastrukturu, čime se prekida svaka rasprava o uvjetima korištenja pružatelja usluge. Slijedi latencija, jer nema mrežnog povrata do Mistral API-ja između tvojih tipki i prijedloga. Struktura troškova se mijenja: plaćaš fiksnu cijenu za GPU umjesto naplate temeljene na korištenju, što postaje prednost čim cijeli tim cijeli dan upućuje upite modelu. Konačno, tu su usklađenost (compliance), koju zahtijevaju određeni propisi i sektori poput bankarstva ili obrane, te dostupnost, jer te nijedna vanjska usluga ne može prekinuti u radu.

Preporučeni modeli

Vibe dokumentacija preporučuje dva otvorena modela za lokalnu upotrebu:

  • Devstral Small 2 (mistralai/Devstral-Small-2-24B-Instruct-2512 na Hugging Faceu): 24 milijarde parametara, gusta arhitektura, treniran za agentske zadatke i programiranje, s najmanjim hardverskim zahtjevima;
  • Mistral Small 4: 119 milijardi parametara u arhitekturi mješavine stručnjaka (MoE), s 6,5 milijardi aktivnih, hibridni model za rezoniranje i programiranje s kontekstom od 256.000 tokena, pod licencom Apache 2.0.

Hardverski preduvjeti

Za pristojne performanse pri dugim kontekstima, dokumentacija preporučuje implementaciju u preciznosti FP8 s kontekstom od oko 128.000 tokena:

KonfiguracijaHardverPreciznostKontekst
PreporučenoH100 ili A100 GPUFP8~128.000 tokena
Razvojna radna stanicaRTX 4090 ili bilo koji GPU s 24 GB VRAM-a4-bit~32.000 tokena
Bez GPU-aCPU offload, s dovoljno RAM-a—— znatno sporije

Ove brojke vrijede za Devstral Small 2. Mistral Small 4 zahtijeva mnogo više video memorije za učitavanje svojih težina: računaj na barem jedan H100 od 80 GB u FP8 preciznosti, a još više za duge kontekste. Zatim prilagodi preciznost i duljinu konteksta svom hardveru.

Implementacija s vLLM-om

vLLM je okvir za zaključivanje (inference framework) koji Vibe dokumentacija preporučuje za posluživanje Devstrala. Instalacija zahtijeva samo jednu naredbu.

pip install vllm

Poslužitelj se zatim pokreće u jednom retku, s dvije opcije koje model čine upotrebljivim u agentskom načinu rada.

vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --port 8080

Tri varijante pokrivaju većinu stvarnih situacija: raspodjela modela na više GPU-ova, smanjenje preciznosti kada je VRAM ograničen ili skraćivanje konteksta iz istog razloga.

# Više GPU-ova (ako imaš 2+ GPU-a)
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --tensor-parallel-size 2 \
  --port 8080

# Smanjena preciznost (za GPU-ove s manje VRAM-a)
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --dtype float16 \
  --port 8080

# Smanjeni kontekst (za uštedu VRAM-a)
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --max-model-len 32768 \
  --port 8080

Evo što kontrolira svaka zastavica:

  • --tool-call-parser mistral — omogućuje parsiranje poziva alata u Mistral formatu
  • --enable-auto-tool-choice — dopušta modelu da odluči kada pozvati alat
  • --tensor-parallel-size — dijeli model na više GPU-ova
  • --dtype — kontrolira preciznost (float16, bfloat16, float32)
  • --max-model-len — ograničava veličinu konteksta radi uštede VRAM-a

Prve dvije zaslužuju posebnu pozornost: njihovo izostavljanje daje ti poslužitelj koji savršeno radi za razgovor, ali tiho zakaže čim agent pokuša pozvati alat. To je najčešći uzrok zbog kojeg se lokalna implementacija ocjenjuje „razočaravajućom“.

Korištenje lokalnog poslužitelja

Kada je vLLM pokrenut, port 8080 izlaže API kompatibilan s OpenAIjem. Mistral SDK se povezuje s njim jednostavnom promjenom URL-a poslužitelja; ključ više nije potreban.

from mistralai.client import Mistral

# Usmjeri na lokalni poslužitelj
client = Mistral(
    api_key="dummy",  # Lokalno ključ nije potreban
    server_url="http://localhost:8080",
)

response = client.chat.complete(
    model="mistralai/Devstral-Small-2-24B-Instruct-2512",
    messages=[
        {"role": "user", "content": "Analiziraj ovaj kod i predloži poboljšanja."}
    ],
)

OpenAI SDK radi jednako dobro, omogućujući ti prebacivanje postojećeg koda na lokalni Devstral bez potrebe za njegovim prepisivanjem.

from openai import OpenAI

client = OpenAI(
    api_key="dummy",
    base_url="http://localhost:8080/v1",
)

response = client.chat.completions.create(
    model="mistralai/Devstral-Small-2-24B-Instruct-2512",
    messages=[
        {"role": "user", "content": "Objasni ovaj kod."}
    ],
)

Alternativni okviri

vLLM nije jedini put: Devstral radi s bilo kojim okvirom za zaključivanje koji izlaže API kompatibilan s OpenAIjem. Vibe dokumentacija navodi llama.cpp, prikladan za postavke s malo VRAM-a zahvaljujući svojim GGUF kvantiziranim modelima, LM Studio, koji nudi grafičko sučelje bez naredbenog retka, te Ollama. Prije usporedbe rezultata provjeri točan naziv modela i kvantizaciju u svakom alatu.

Povezivanje Vibea s lokalnim poslužiteljem

Vibe ne uključuje lokalni model: kada je tvoj poslužitelj pokrenut, u config.toml deklariraš pružatelja usluge i unaprijed postavljenu konfiguraciju modela. Za poslužitelj kompatibilan s OpenAIjem na portu 8080:

active_model = "devstral-local"

[[providers]]
name = "local"
api_base = "http://localhost:8080/v1"
api_style = "openai"
backend = "generic"

[[models]]
name = "mistralai/Devstral-Small-2-24B-Instruct-2512"
provider = "local"
alias = "devstral-local"

Tri mjere opreza iz dokumentacije: zadrži active_model iznad prvog polja [[...]], inače će ga TOML pridružiti tom polju; postavi max_context_length u unaprijed postavljenoj konfiguraciji kako bi označio kontekst svog poslužitelja; i provjeri vraća li poslužitelj upotrebu tokena u streamanim odgovorima (stream_options.include_usage). Vibe također pruža unaprijed definiranog pružatelja, llamacpp, koji pokazuje na http://127.0.0.1:8080/v1 bez ključa: u tom slučaju samo napiši provider = "llamacpp" u unaprijed postavljenoj konfiguraciji. Naredba /model zatim prebacuje između lokalnog modela i hostanih modela.

Za potpuno izvanmrežno (offline) rada također onemogući telematiku i provjere ažuriranja:

enable_telemetry = false
enable_update_checks = false

S ovim postavkama i lokalnim pružateljem, CLI više ne kontaktira mistral.ai. Vještine, MCP poslužitelje i konektore koji dosežu vanjske sustave moraš zasebno onemogućiti.

Ključne točke

  • Devstral je uklonjen s API-ja, ali Devstral Small 2 (24B, Apache 2.0) ostaje preporučen za lokalnu upotrebu, uz Mistral Small 4
  • vLLM je preporučeni okvir; --tool-call-parser mistral i --enable-auto-tool-choice ključni su za agenta
  • H100 ili A100 u FP8 preciznosti s ~128k konteksta; GPU od 24 GB u 4-bitnoj preciznosti s ~32k
  • Poslužitelj izlaže API kompatibilan s OpenAIjem, upotrebljiv s Mistral SDK-om ili OpenAI SDK-om
  • Vibe se povezuje s poslužiteljem putem unaprijed postavljene konfiguracije u config.toml (ili pružatelja llamacpp); onemogući telematiku i ažuriranja za offline rad