Lähe põhisisu juurde
Eesti— Vali keel
Menüü

Sissejuhatus isemajutusse

Õppetund 10 / 14 Värskendatud 29. juuli 2026 Edasijõudnutele
Sellel lehel
  1. Miks majutada Mistrali mudelit ise?
  2. Isemajutuse motivatsioonid
  3. Väljakutsed silmast silma
  4. Mistrali avatud kaaludega mudelid
  5. Kolm järeldusmootorit
  6. Otsustamine nelja küsimuse abil
  7. Peamised punktid

Miks majutada Mistrali mudelit ise?

Isemajutus tähendab Mistrali mudelite kasutuselevõttu sinu enda taristus, olgu selleks kohapealne server, privaatne pilv või renditud GPU-d. See lähenemine annab sulle täieliku kontrolli, kuid toob kaasa märkimisväärse keerukuse. Enne kui sukeldud järgmistes tundides käsitletavates järeldusmootoritesse, tee kindlaks, kas see on sinu kasutusjuhu jaoks õige samm. See on arhitektuurne otsus, mida ei saa ühe pärastlõunaga tagasi pöörata.

Isemajutuse motivatsioonid

Kõige levinum põhjus on andmesuveräänsus: sinu päringud ei lahku kunagi sinu taristust ja ükski neist ei liigu läbi Mistrali serverite ega kolmanda osapoole pilveteenuse pakkuja. See on sageli regulatiivne nõue kaitse- ja valitsussektoris salastatud andmete jaoks, tervishoius patsiendiandmete jaoks, mis kuuluvad HDS-i (Prantsusmaa terviseandmete majutamise sertifikaat) või HIPAA regulatsiooni alla, rahanduses kauplemisandmete ja kliendiinfo jaoks ning õigusvaldkonnas konfidentsiaalsete kohtuasjade failide jaoks. Nendes stsenaariumides ei ole küsimus selles, kas isemajutus on kulutõhus, vaid kas alternatiiv on üldse lubatud.

Järgmisena tuleb kulude kontroll suurel skaalal. Väikeste mahtude korral on Mistrali API odavam: maksad ainult selle eest, mida tarbid, ilma et masinad jõude seisaksid. Teatud päringuläve ületamisel langeb pühendatud taristu tokeni hind alla „maksa-kasutuse-järgi“ hinna, kuna GPU juba töötab ja iga täiendava tokeni hind on peaaegu null. Tasuvuspunkt sõltub sinu kuuisest tokenite mahust, kasutatavast mudelist (Small või Large), GPU kuludest (olenemata sellest, kas need on renditud või omatud) ja tegevuskuludest, sealhulgas DevOpsi personali ja elektri arvetest.

Kolmas motivatsioon on täielik kohandamine. Isemajutus annab juurdepääsu mudeli toorkaaludele, võimaldades FP8 või INT4 kvantiseerimist GPU mälu kasutuse vähendamiseks, partii suuruse ja planeerimise optimeerimist, API kaudu kättesaamatute häälestatud mudelite kasutuselevõttu ja järeldusparameetrite täpset konfigureerimist. Lõpuks on olemas latentsus: võrk piirdub sinu sisese taristuga. Vestlusroboti jaoks, mille eesmärk on alla 100 ms esimene bait (TTFB), tarbib interneti kaudu kaugesse API-sse liikumine juba märkimisväärse osa sinu eelarvest; kohalik kasutuselevõtt pakub jõudlust, mida mujal saavutada ei saa.

Väljakutsed silmast silma

Tegevuslik keerukus on esimene takistus. Sa vastutad järeldusmootori installimise ja uuendamise, GPU-de haldamise (NVIDIA draiverid, CUDA, mälu), jälgimise ja häirete, kõrge kättesaadavuse ja tõrkevaru tagamise ning võrguturbega seotud sertifikaatide haldamise eest. Igaüks neist valdkondadest on omaette eriala; nende kombineerimine kolmeliikmelises tagaosa arendajate meeskonnas ei too harva kaasa usaldusväärset teenust.

Esialgne kulu ei ole lihtsalt igakuine kirje; see on amortiseeritav investeering ja arvutus peab olema põhjalik:

GPU taristu (rent või ost)
+ Salvestusruum (mudelid kaaluvad 15–140 GB)
+ Võrgu ribalaius
+ Inseneritöö aeg seadistamiseks ja hoolduseks
= Omamiskogu maksumus (TCO)

Nõutavad oskused moodustavad kolmanda barjääri, mida on sageli kõige raskem kiiresti täita: Linuxi ja Dockeri haldamine, NVIDIA draiverid ja CUDA, järeldusmootorid (vLLM, TensorRT-LLM, TGI) ning jälgimine ja vaadeldavus. Kui ükski neist valdkondadest ei ole juba ettevõttesiseselt kaetud, algab isemajutus värbamisprotsessiga.

Mistrali avatud kaaludega mudelid

Enamik Mistrali mudeleid on saadaval avatud kaaludena Apache 2.0 litsentsi alusel. Mistral 7B on fundamentaalne mudel 7 miljardi parameetriga; Mixtral 8x7B kasutab ekspertide segu (Mixture-of-Experts) arhitektuuri, mille koguparameetrite arv on 46,7 miljardit; Mistral Nemo on mitmekülgne 12 miljardi parameetriga mudel ja Codestral on spetsialiseerunud koodile. Saad kaalud alla laadida Hugging Face’ist, kasutades kontot ja tokenit:

# Laadi mudel alla Hugging Face CLI kaudu
pip install huggingface_hub
huggingface-cli login  # Nõuab HF tokenit

# Allalaadimine toimub automaatselt mootori esimesel käivitamisel

Kolm järeldusmootorit

Mistral soovitab isemajutuseks kolme mootorit. vLLM on vaikimisi valik: väga aktiivne avatud lähtekoodiga Pythoni mootor, mis pakub kohe välja OpenAI-ga ühilduvat API-d, kasutab PagedAttention’i optimaalseks mäluhalduseks ja toetab loomupäraselt Mistrali mudeleid. TensorRT-LLM, NVIDIA optimeerimisraamistik, on suunatud maksimaalsele jõudlusele NVIDIA GPU-del keerukama konfiguratsiooni hinnaga; see on mõeldud väga suure läbilaskevõimega tootmiseks. TGI (Text Generation Inference), Hugging Face’i tööriistakomplekt, toob kaasa integreeritud kvantiseerimise, tensori paralleelsuse, voogedastuse ja loomuliku batch-töötluse. Järgmistes tundides käsitletakse kõiki neid mootoreid üksikasjalikumalt.

Otsustamine nelja küsimuse abil

Võta need küsimused järjekorras, sest esimene „jah“ vastus lahendab sageli vaidluse. Kas sinu andmed kuuluvad rangetele regulatiivsetele piirangutele? Kui jah, muutub isemajutus tõenäoliseks sõltumata teistest teguritest. Kui ei, vaata mahtu: üle 100 miljoni tokeni kuus kallutab majanduslik võrrand pühendatud taristu kasuks; sellest allpool on API tõenäoliselt odavam. Kas sul on pädev DevOpsi või MLOpsi meeskond? Ilma selleta jääda API või hallatud pilve juurde. Lõpuks, kas vajad latentsust alla 100 ms? See on ainus argument, mida ükski kaug-API pakkuda ei saa.

VKE, kes töötleb sisese assistendi jaoks 5 miljonit tokenit kuus, vastab neli korda „ei“: ta säästaks API tasudelt mõnisada eurot, kuid kulutaks tuhandeid eurosid GPU-dele ja inseneritööle. Haigla, mis analüüsib meditsiinilisi aruandeid, peatub aga esimese küsimuse juures.

Peamised punktid

  • Isemajutus pakub suveräänsust, kulude kontrolli ja täielikku kohandamist
  • Tegevuslik keerukus ja esialgne kulu on peamised takistused
  • Mistrali avatud kaaludega mudelid on Hugging Face’is tasuta saadaval
  • Kolm soovitatud mootorit: vLLM (soovitatav), TensorRT-LLM (jõudlus), TGI (Hugging Face)
  • Isemajutus ei ole alati õige vastus – enne alustamist hinda oma tegelikke piiranguid