Uvod v samostojno gostovanje
Na tej strani
Zakaj samostojno gostovati model Mistral
Samostojno gostovanje pomeni namestitev modelov Mistral na tvojo lastno infrastrukturo, najsi gre za strežnik v prostorih podjetja, zasebno oblak ali najete GPU-je. Ta pristop ti daje popoln nadzor, vendar uvaja veliko zapletenost. Preden se poglobiš v pogone za sklepanje, ki jih bomo obravnavali v naslednjih lekcijah, ugotovi, ali je to res prava poteza za tvoj primer uporabe. To je arhitekturna odločitev, ki je ne moreš spremeniti v enem popoldnevu.
Razlogi za samostojno gostovanje
Najpogostejši razlog je suverenost podatkov: tvoje zahteve nikoli ne zapustijo tvoje infrastrukture in nobena ne potuje prek strežnikov podjetja Mistral ali ponudnika oblaka tretje strani. To je pogosto regulativna zahteva v obrambi in vladi za tajne podatke, v zdravstvu za podatke o pacientih, ki spadajo pod certifikat HDS (francoski certifikat za gostovanje zdravstvenih podatkov) ali HIPAA, v financah za borzne podatke in informacije o strankah ter v pravni stroki za zaupne spiske primerov. V teh scenarijih vprašanje ni, ali je samostojno gostovanje stroškovno učinkovito, temveč ali je alternativa sploh dovoljena.
Naslednji razlog je nadzor stroškov pri velikem obsegu. Pri majhnih količinah je API Mistral cenejši: plačaš le za to, kar porabiš, brez strojev, ki bi delovali v prostem teku. Določen prag števila zahtev pa povzroči, da strošek na žeton za namensko infrastrukturo pade pod ceno plačila po porabi, saj GPU že deluje in vsak dodaten žeton stane skoraj nič. Točka preloma je odvisna od tvoje mesečne količine žetonov, uporabljenega modela (Small ali Large), stroškov GPU-jev (najeti ali v lasti) in operativnih stroškov, vključno z osebjem DevOps in elektriko.
Tretji razlog je popolna prilagodljivost. Samostojno gostovanje ti omogoča dostop do surovih uteži modela, kar omogoča kvantizacijo FP8 ali INT4 za zmanjšanje uporabe pomnilnika GPU, optimizacijo velikosti serije in načrtovanja, namestitev fino uglašenih modelov, ki niso na voljo prek API-ja, in natančno konfiguracijo parametrov sklepanja. Nazadnje, tu je še latenca: omrežje je omejeno na tvojo interno infrastrukturo. Za klepetalnega bota, ki cilja na čas do prvega bajta (TTFB) manj kot 100 ms, potovanje prek interneta do oddaljenega API-ja že porabi velik del tvojega proračuna; lokalna namestitev pa zagotavlja zmogljivost, ki je drugače nedosegljiva.
Izzivi, obraz v obraz
Operativna zapletenost je prva ovira. Postaneš odgovoren za namestitev in posodabljanje pogona za sklepanje, upravljanje GPU-jev (gonilniki NVIDIA, CUDA, pomnilnik), nadzor in opozarjanje, zagotavljanje visoke razpoložljivosti in preklopa ob napakah ter obravnavo omrežne varnosti in certifikatov. Vsako od teh področij je specializacija sama po sebi; njihovo združevanje v ekipi treh razvijalcev zaledja redko rezultira v zanesljivi storitvi.
Začetni strošek ni le mesečna postavka; gre za naložbo, ki jo je treba amortizirati, izračun pa mora biti celovit:
Infrastruktura GPU (najem ali nakup)
+ Shramba (modeli tehtajo 15–140 GB)
+ Omrežna pasovna širina
+ Inženirski čas za nastavitev in vzdrževanje
= Skupni strošek lastništva (TCO)
Zahtevane veščine predstavljajo tretjo oviro, ki jo je pogosto najtežje hitro zapolniti: administracija Linux in Docker, gonilniki NVIDIA in CUDA, pogoni za sklepanje (vLLM, TensorRT-LLM, TGI) ter nadzor in opazovanje. Če nobeno od teh področij v podjetju še ni pokrito, se bo samostojno gostovanje začelo s postopkom zaposlovanja.
Modeli Mistral z odprtimi utežmi
Večina modelov Mistral je na voljo kot odprte uteži pod licenco Apache 2.0. Mistral 7B je temeljni model s 7 milijardami parametrov; Mixtral 8x7B uporablja arhitekturo mešanice strokovnjakov (Mixture-of-Experts) s skupno 46,7 milijarde parametrov; Mistral Nemo je vsestranski model s 12 milijardami parametrov, Codestral pa je specializiran za kodo. Uteži lahko preneseš s Hugging Face s pomočjo računa in žetona:
# Prenos modela prek Hugging Face CLI
pip install huggingface_hub
huggingface-cli login # Zahteva HF žeton
# Prenos se zgodi samodejno ob prvem zagonu pogona
Trije pogoni za sklepanje
Mistral priporoča tri pogone za samostojno gostovanje. vLLM je privzeta izbira: zelo aktiven odprtokodni pogon Python, ki takoj izpostavi API, združljiv z OpenAI, uporablja PagedAttention za optimalno upravljanje pomnilnika in izvorno podpira modele Mistral. TensorRT-LLM, optimizacijski okvir NVIDIA, cilja na največjo zmogljivost na GPU-jih NVIDIA na račun bolj zapletene konfiguracije; zasnovan je za proizvodnjo z zelo visoko prepustnostjo. TGI (Text Generation Inference), orodjarnik Hugging Face, prinaša integrirano kvantizacijo, vzporednost tenzorjev, pretakanje in izvorno združevanje v serije. V prihajajočih lekcijah bomo podrobneje obravnavali vsakega od teh pogonov.
Odločitev v štirih vprašanjih
Vzemi ta vprašanja po vrsti, saj prvi odgovor z “da” pogosto zaključi razpravo. Ali tvoji podatki spadajo pod stroge regulativne omejitve? Če da, postane samostojno gostovanje verjetno ne glede na druge dejavnike. Če ne, poglej obseg: pri več kot 100 milijonih žetonov na mesec se ekonomska enačba nagne v prid namenski infrastrukturi; pod to mejo API verjetno ostane cenejši. Imaš kompetentno ekipo DevOps ali MLOps? Brez nje se drži API-ja ali upravljanega oblaka. Nazadnje, potrebuješ latenco pod 100 ms? To je edini argument, ki ga noben oddaljeni API ne more premagati.
MSP, ki obdeluje 5 milijonov žetonov na mesec za internega asistenta, štirikrat odgovori z “ne”: prihranilo bi nekaj sto evrov pri pristojbinah API, a bi porabilo več tisoč za GPU-je in inženirski čas. Bolnišnica, ki analizira zdravniška poročila, pa se ustavi že pri prvem vprašanju.
Ključne ugotovitve
- Samostojno gostovanje ponuja suverenost, nadzor stroškov in popolno prilagodljivost
- Operativna zapletenost in začetni strošek sta glavni oviri
- Modeli Mistral z odprtimi utežmi so brezplačno na voljo na Hugging Face
- Trije priporočeni pogoni: vLLM (priporočeno), TensorRT-LLM (zmogljivost), TGI (Hugging Face)
- Samostojno gostovanje ni vedno prava odgovor – pred začetkom oceni svoje dejanske omejitve