Preskoči na glavni sadržaj
Hrvatski— Odaberite jezik
Izbornik

Uvod u samostalno hostiranje

Lekcija 10 od 14 Ažurirano 29. srpnja 2026. Napredno
Na ovoj stranici
  1. Zašto samostalno hostirati Mistral model
  2. Motivacija za samostalno hostiranje
  3. Izazovi, licem u lice
  4. Mistralovi modeli otvorenih težina
  5. Tri motora za zaključivanje
  6. Odlučivanje kroz četiri pitanja
  7. Ključne točke

Zašto samostalno hostirati Mistral model

Samostalno hostiranje znači implementaciju Mistral modela na tvoju vlastitu infrastrukturu, bilo da se radi o lokalnom poslužitelju, privatnom oblaku ili unajmljenim GPU-ovima. Ovaj pristup daje ti potpunu kontrolu, ali uvodi značajnu složenost. Prije nego što zaroniš u motore za zaključivanje (inference engines) obrađene u nadolazećim lekcijama, utvrdi je li to zapravo pravi potez za tvoj slučaj upotrebe. Ovo je arhitektonska odluka koju ne možeš poništiti u jednom popodnevu.

Motivacija za samostalno hostiranje

Najčešći razlog je suverenitet podataka: tvoji zahtjevi nikada ne napuštaju tvoju infrastrukturu i nijedan ne prolazi kroz Mistralove poslužitelje ili pružatelja usluga u oblaku treće strane. To je često regulatorni zahtjev u obrani i vladi za povjerljive podatke, u zdravstvu za podatke o pacijentima koji podliježu certifikaciji HDS (francuska certifikacija za hostiranje zdravstvenih podataka) ili HIPAA-u, u financijama za trgovačke podatke i informacije o klijentima te u pravu za povjerljive spise predmeta. U tim scenarijima pitanje nije je li samostalno hostiranje isplativo, već je li alternativa uopće dopuštena.

Sljedeći razlog je kontrola troškova u velikom obujmu. Pri malim obujmima Mistral API je jeftiniji: plaćaš samo ono što trošiš, bez strojeva koji rade u praznom hodu. Iznad određenog praga zahtjeva, trošak po tokeniju za namjensku infrastrukturu pada ispod cijene „plati-po-upotrebi“ jer GPU već radi, a svaki dodatni token košta gotovo ništa. Točka pokrića ovisi o tvojem mjesečnom obujmu tokenija, korištenom modelu (Small ili Large), troškovima GPU-a (bilo da su unajmljeni ili u vlasništvu) i operativnim troškovima, uključujući DevOps osoblje i električnu energiju.

Treća motivacija je potpuna prilagodba. Samostalno hostiranje daje ti pristup sirovim težinama modela, omogućujući kvantizaciju FP8 ili INT4 za smanjenje potrošnje GPU memorije, optimizaciju veličine serije (batch size) i raspoređivanja, implementaciju fino podešenih modela koji nisu dostupni putem API-ja te preciznu konfiguraciju parametara zaključivanja. Konačno, tu je latencija: mreža je ograničena na tvoju internu infrastrukturu. Za chatbota koji cilja vrijeme do prvog bajta (TTFB) kraće od 100 ms, putovanje internetom do udaljenog API-ja već troši značajan dio tvog proračuna; lokalna implementacija isporučuje performanse koje su inače nedostižne.

Izazovi, licem u lice

Operativna složenost prva je prepreka. Postaješ odgovoran za instalaciju i ažuriranje motora za zaključivanje, upravljanje GPU-ovima (NVIDIA upravljački programi, CUDA, memorija), nadzor i upozoravanja, osiguravanje visoke dostupnosti i prekida rada (failover) te rukovanje mrežnom sigurnošću i certifikatima. Svako od ovih područja specijalnost je sama po sebi; njihovo kombiniranje unutar tima od tri backend programera rijetko rezultira pouzdanom uslugom.

Početni trošak nije samo mjesečna stavka; to je ulaganje koje treba amortizirati, a izračun mora biti sveobuhvatan:

GPU Infrastruktura (najam ili kupnja)
+ Pohrana (modeli teže 15–140 GB)
+ Mrežna propusnost
+ Inženjersko vrijeme za postavku i održavanje
= Ukupni trošak vlasništva (TCO)

Potrebne vještine čine treću barijeru, često najtežu za brzo popunjavanje: administracija Linuxa i Dockera, NVIDIA upravljački programi i CUDA, motori za zaključivanje (vLLM, TensorRT-LLM, TGI) te nadzor i opservabilnost. Ako nijedno od ovih područja već nije pokriveno interno, samostalno hostiranje započet će procesom zapošljavanja.

Mistralovi modeli otvorenih težina

Većina Mistralovih modela dostupna je s otvorenim težinama pod licencom Apache 2.0. Mistral 7B temeljni je model s 7 milijardi parametara; Mixtral 8x7B usvaja arhitekturu Mješavine stručnjaka (Mixture-of-Experts) s ukupno 46,7 milijardi parametara; Mistral Nemo svestran je model od 12 milijardi parametara, a Codestral specijaliziran je za kod. Težine možeš preuzeti s Hugging Facea uz račun i token:

# Preuzmi model putem Hugging Face CLI
pip install huggingface_hub
huggingface-cli login  # Zahtijeva HF token

# Preuzimanje se događa automatski pri prvom pokretanju motora

Tri motora za zaključivanje

Mistral preporučuje tri motora za samostalno hostiranje. vLLM je zadani izbor: vrlo aktivan open-source Python motor koji iz kutije izlaže API kompatibilan s OpenAI-jem, koristi PagedAttention za optimalno upravljanje memorijom i izvorno podržava Mistral modele. TensorRT-LLM, NVIDIA-in okvir za optimizaciju, cilja maksimalne performanse na NVIDIA GPU-ovima uz cijenu složenije konfiguracije; dizajniran je za proizvodnju vrlo velikog propusta. TGI (Text Generation Inference), Hugging Faceov alat, donosi integriranu kvantizaciju, tenzorsku paralelizaciju, strujanje (streaming) i izvorno grupiranje (batching). Nadolazeće lekcije detaljno će opisati svaki od ovih motora.

Odlučivanje kroz četiri pitanja

Ova pitanja razmotri redom, jer prvi odgovor s „da“ često rješava raspravu. Podliježu li tvoji podaci strogim regulatornim ograničenjima? Ako da, samostalno hostiranje postaje vjerojatno bez obzira na druge čimbenike. Ako ne, pogledaj obujam: iznad 100 milijuna tokenija mjesečno, ekonomska jednadžba naginje u korist namjenske infrastrukture; ispod toga, API će vjerojatno ostati jeftiniji. Imaš li kompetentan DevOps ili MLOps tim? Bez njega, drži se API-ja ili upravljanog oblaka. Konačno, trebaš li latencije kraće od 100 ms? To je jedini argument kojem nijedan udaljeni API ne može parirati.

MSP koji obrađuje 5 milijuna tokenija mjesečno za internog asistenta odgovorit će „ne“ četiri puta: uštedio bi nekoliko stotina eura na naknadama za API samo da bi potrošio nekoliko tisuća na GPU-ove i inženjersko vrijeme. Bolnica koja analizira medicinska izvješća, međutim, staje već kod prvog pitanja.

Ključne točke

  • Samostalno hostiranje nudi suverenitet, kontrolu troškova i potpunu prilagodbu
  • Operativna složenost i početni trošak glavne su barijere
  • Mistralovi modeli otvorenih težina besplatno su dostupni na Hugging Faceu
  • Tri preporučena motora: vLLM (preporučeno), TensorRT-LLM (performanse), TGI (Hugging Face)
  • Samostalno hostiranje nije uvijek pravi odgovor – procijeni svoja stvarna ograničenja prije početka