Lokalno hostanje Devstrala
Na ovoj stranici
Lekcija ažurirana 2. studenog 2026. na temelju stranice Using offline models u Vibe dokumentaciji: Devstral je uklonjen s API-ja, ali Devstral Small 2 ostaje, uz Mistral Small 4, kao jedan od dva preporučena otvorena modela za lokalnu upotrebu. Uklonjene su neprovjerene procjene troškova, a povezivanje Vibea s lokalnim poslužiteljem sada slijedi službenu sintaksu
config.toml. Izvor: Using offline models.
Zašto lokalno hostati Devstral?
Devstral Small 2 objavljen je s otvorenim težinama pod licencom Apache 2.0 (Devstral 2, njegov “veliki brat” sa 123 milijarde parametara, koristi modificiranu MIT licencu). Iako je uklonjen s Mistral API-ja 31. ožujka 2026., nije nestao: možeš ga implementirati na vlastitim poslužiteljima bez slanja ijednog retka koda vanjskom API-ju, a Vibe dokumentacija ga i dalje preporučuje za tu svrhu.
Motivacije se često preklapaju. Privatnost je na prvom mjestu: tvoj kod nikada ne napušta tvoju infrastrukturu, čime se prekida svaka rasprava o uvjetima korištenja pružatelja usluge. Slijedi latencija, jer nema mrežnog povrata do Mistral API-ja između tvojih tipki i prijedloga. Struktura troškova se mijenja: plaćaš fiksnu cijenu za GPU umjesto naplate temeljene na korištenju, što postaje prednost čim cijeli tim cijeli dan upućuje upite modelu. Konačno, tu su usklađenost (compliance), koju zahtijevaju određeni propisi i sektori poput bankarstva ili obrane, te dostupnost, jer te nijedna vanjska usluga ne može prekinuti u radu.
Preporučeni modeli
Vibe dokumentacija preporučuje dva otvorena modela za lokalnu upotrebu:
- Devstral Small 2 (
mistralai/Devstral-Small-2-24B-Instruct-2512na Hugging Faceu): 24 milijarde parametara, gusta arhitektura, treniran za agentske zadatke i programiranje, s najmanjim hardverskim zahtjevima; - Mistral Small 4: 119 milijardi parametara u arhitekturi mješavine stručnjaka (MoE), s 6,5 milijardi aktivnih, hibridni model za rezoniranje i programiranje s kontekstom od 256.000 tokena, pod licencom Apache 2.0.
Hardverski preduvjeti
Za pristojne performanse pri dugim kontekstima, dokumentacija preporučuje implementaciju u preciznosti FP8 s kontekstom od oko 128.000 tokena:
| Konfiguracija | Hardver | Preciznost | Kontekst |
|---|---|---|---|
| Preporučeno | H100 ili A100 GPU | FP8 | ~128.000 tokena |
| Razvojna radna stanica | RTX 4090 ili bilo koji GPU s 24 GB VRAM-a | 4-bit | ~32.000 tokena |
| Bez GPU-a | CPU offload, s dovoljno RAM-a | — | — znatno sporije |
Ove brojke vrijede za Devstral Small 2. Mistral Small 4 zahtijeva mnogo više video memorije za učitavanje svojih težina: računaj na barem jedan H100 od 80 GB u FP8 preciznosti, a još više za duge kontekste. Zatim prilagodi preciznost i duljinu konteksta svom hardveru.
Implementacija s vLLM-om
vLLM je okvir za zaključivanje (inference framework) koji Vibe dokumentacija preporučuje za posluživanje Devstrala. Instalacija zahtijeva samo jednu naredbu.
pip install vllm
Poslužitelj se zatim pokreće u jednom retku, s dvije opcije koje model čine upotrebljivim u agentskom načinu rada.
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--port 8080
Tri varijante pokrivaju većinu stvarnih situacija: raspodjela modela na više GPU-ova, smanjenje preciznosti kada je VRAM ograničen ili skraćivanje konteksta iz istog razloga.
# Više GPU-ova (ako imaš 2+ GPU-a)
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--tensor-parallel-size 2 \
--port 8080
# Smanjena preciznost (za GPU-ove s manje VRAM-a)
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--dtype float16 \
--port 8080
# Smanjeni kontekst (za uštedu VRAM-a)
vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
--tool-call-parser mistral \
--enable-auto-tool-choice \
--max-model-len 32768 \
--port 8080
Evo što kontrolira svaka zastavica:
--tool-call-parser mistral— omogućuje parsiranje poziva alata u Mistral formatu--enable-auto-tool-choice— dopušta modelu da odluči kada pozvati alat--tensor-parallel-size— dijeli model na više GPU-ova--dtype— kontrolira preciznost (float16, bfloat16, float32)--max-model-len— ograničava veličinu konteksta radi uštede VRAM-a
Prve dvije zaslužuju posebnu pozornost: njihovo izostavljanje daje ti poslužitelj koji savršeno radi za razgovor, ali tiho zakaže čim agent pokuša pozvati alat. To je najčešći uzrok zbog kojeg se lokalna implementacija ocjenjuje „razočaravajućom“.
Korištenje lokalnog poslužitelja
Kada je vLLM pokrenut, port 8080 izlaže API kompatibilan s OpenAIjem. Mistral SDK se povezuje s njim jednostavnom promjenom URL-a poslužitelja; ključ više nije potreban.
from mistralai.client import Mistral
# Usmjeri na lokalni poslužitelj
client = Mistral(
api_key="dummy", # Lokalno ključ nije potreban
server_url="http://localhost:8080",
)
response = client.chat.complete(
model="mistralai/Devstral-Small-2-24B-Instruct-2512",
messages=[
{"role": "user", "content": "Analiziraj ovaj kod i predloži poboljšanja."}
],
)
OpenAI SDK radi jednako dobro, omogućujući ti prebacivanje postojećeg koda na lokalni Devstral bez potrebe za njegovim prepisivanjem.
from openai import OpenAI
client = OpenAI(
api_key="dummy",
base_url="http://localhost:8080/v1",
)
response = client.chat.completions.create(
model="mistralai/Devstral-Small-2-24B-Instruct-2512",
messages=[
{"role": "user", "content": "Objasni ovaj kod."}
],
)
Alternativni okviri
vLLM nije jedini put: Devstral radi s bilo kojim okvirom za zaključivanje koji izlaže API kompatibilan s OpenAIjem. Vibe dokumentacija navodi llama.cpp, prikladan za postavke s malo VRAM-a zahvaljujući svojim GGUF kvantiziranim modelima, LM Studio, koji nudi grafičko sučelje bez naredbenog retka, te Ollama. Prije usporedbe rezultata provjeri točan naziv modela i kvantizaciju u svakom alatu.
Povezivanje Vibea s lokalnim poslužiteljem
Vibe ne uključuje lokalni model: kada je tvoj poslužitelj pokrenut, u config.toml deklariraš pružatelja usluge i unaprijed postavljenu konfiguraciju modela. Za poslužitelj kompatibilan s OpenAIjem na portu 8080:
active_model = "devstral-local"
[[providers]]
name = "local"
api_base = "http://localhost:8080/v1"
api_style = "openai"
backend = "generic"
[[models]]
name = "mistralai/Devstral-Small-2-24B-Instruct-2512"
provider = "local"
alias = "devstral-local"
Tri mjere opreza iz dokumentacije: zadrži active_model iznad prvog polja [[...]], inače će ga TOML pridružiti tom polju; postavi max_context_length u unaprijed postavljenoj konfiguraciji kako bi označio kontekst svog poslužitelja; i provjeri vraća li poslužitelj upotrebu tokena u streamanim odgovorima (stream_options.include_usage). Vibe također pruža unaprijed definiranog pružatelja, llamacpp, koji pokazuje na http://127.0.0.1:8080/v1 bez ključa: u tom slučaju samo napiši provider = "llamacpp" u unaprijed postavljenoj konfiguraciji. Naredba /model zatim prebacuje između lokalnog modela i hostanih modela.
Za potpuno izvanmrežno (offline) rada također onemogući telematiku i provjere ažuriranja:
enable_telemetry = false
enable_update_checks = false
S ovim postavkama i lokalnim pružateljem, CLI više ne kontaktira mistral.ai. Vještine, MCP poslužitelje i konektore koji dosežu vanjske sustave moraš zasebno onemogućiti.
Ključne točke
- Devstral je uklonjen s API-ja, ali Devstral Small 2 (24B, Apache 2.0) ostaje preporučen za lokalnu upotrebu, uz Mistral Small 4
- vLLM je preporučeni okvir;
--tool-call-parser mistrali--enable-auto-tool-choiceključni su za agenta - H100 ili A100 u FP8 preciznosti s ~128k konteksta; GPU od 24 GB u 4-bitnoj preciznosti s ~32k
- Poslužitelj izlaže API kompatibilan s OpenAIjem, upotrebljiv s Mistral SDK-om ili OpenAI SDK-om
- Vibe se povezuje s poslužiteljem putem unaprijed postavljene konfiguracije u
config.toml(ili pružateljallamacpp); onemogući telematiku i ažuriranja za offline rad