Pereiti prie pagrindinio turinio
Lietuvių— Pasirinkite kalbą
Meniu

Įvadas į savarankišką diegimą

Paskaita 10 iš 14 Atnaujinta 2026 m. liepos 29 d. Pažengusiems
Šiame puslapyje
  1. Kodėl verta savarankiškai diegti „Mistral“ modelius
  2. Savarankiško diegimo motyvacija
  3. Iššūkiai iš arti
  4. „Mistral“ atvirų svorių modeliai
  5. Trys išvados varikliai
  6. Sprendimo priėmimas pagal keturis klausimus
  7. Svarbiausi punktai

Kodėl verta savarankiškai diegti „Mistral“ modelius

Savarankiškas diegimas reiškia „Mistral“ modelių įdiegimą jūsų pačių infrastruktūroje, nesvarbu, ar tai būtų vietinis serveris, privati debesija, ar nuomoti GPU. Šis požiūris suteikia jums visišką kontrolę, tačiau sukelia didelį sudėtingumą. Prieš gilindamiesi į tolesnėse pamokose nagrinėjamas išvados variklius, nuspręskite, ar tai tikrai tinkamas sprendimas jūsų atveju. Tai architektūrinis sprendimas, kurio negalima pakeisti per vieną popietę.

Savarankiško diegimo motyvacija

Dažniausia priežastis – duomenų suverenumas: jūsų užklausos niekada neišeina iš jūsų infrastruktūros ribų ir jokios jų neperduodamos per „Mistral“ serverius ar trečiosios šalies debesijos tiekėją. Tai dažnai yra reguliavimo reikalavimas gynybos ir vyriausybės sektoriuose dirbant su įslaptintais duomenimis, sveikatos priežiūroje tvarkant pacientų duomenis, kuriems taikoma HDS (Prancūzijos sveikatos duomenų talpinimo sertifikacija) arba HIPAA, finansuose – prekybos duomenims ir klientų informacijai, o teisės srityje – konfidencialioms byloms. Tokiais atvejais klausimas yra ne tai, ar savarankiškas diegimas yra ekonomiškai efektyvus, o tai, ar alternatyva iš viso yra leistina.

Kitas veiksnys – išlaidų kontrolė dideliu mastu. Esant mažiems kiekiams, „Mistral“ API yra pigesnis: mokate tik už tai, ką sunaudojate, ir jokie kompiuteriai neveikia tuščiai. Viršijus tam tikrą užklausų slenkstį, vieno ženklo kaina naudojant skirtą infrastruktūrą tampa mažesnė nei mokant pagal suvartojimą, nes GPU jau veikia, o kiekvienas papildomas ženklas kainuoja beveik nieko. Lūžio taškas priklauso nuo mėnesio ženklių apimties, naudojamo modelio („Small“ arba „Large“), GPU išlaidų (nuomotų ar nuosavų) ir veiklos išlaidų, įskaitant „DevOps“ personalą bei elektros energiją.

Trečioji motyvacija – visiškas pritaikymas. Savarankiškai diegdami gaunate prieigą prie neapdorotų modelio svorių, todėl galite taikyti FP8 arba INT4 kvantavimą GPU atminties naudojimui mažinti, optimizuoti grupių dydį ir planavimą, diegti derintus modelius, neprieinamus per API, ir tiksliai konfigūruoti išvados parametrus. Galiausiai, latencija: tinklas apsiriboja jūsų vidine infrastruktūra. Pokalbių robotui, kurio pirmojo baito gavimo laikas (TTFB) turi būti mažesnis nei 100 ms, kelionė internetu iki nuotolinio API jau suvartoja didelę jūsų biudžeto dalį; vietinis diegimas užtikrina našumą, kurio kitaip pasiekti neįmanoma.

Iššūkiai iš arti

Veiklos sudėtingumas yra pirmoji kliūtis. Jūs tampate atsakingi už išvados variklio diegimą ir atnaujinimą, GPU valdymą („NVIDIA“ tvarkykles, „CUDA“, atmintį), stebėseną ir perspėjimus, aukšto prieinamumo bei avarinio perjungimo užtikrinimą, taip pat tinklo saugumą ir sertifikatus. Kiekviena iš šių sričių yra atskira specializacija; jų derinimas trijų „backend“ kūrėjų komandoje retai duoda patikimą servisą.

Pradinė kaina – tai ne tik mėnesinė eilutė biudžete; tai investicija, kurią reikia amortizuoti, o skaičiavimas turi būti išsamus:

GPU infrastruktūra (nuoma arba pirkimas)
+ Saugykla (modeliai sveria 15–140 GB)
+ Tinklo pralaidumas
+ Inžinerinis laikas sąrankai ir priežiūrai
= Bendra nuosavybės kaina (TCO)

Reikalingi įgūdžiai sudaro trečiąją barjerą, kurį dažniausiai sunkiausia greitai įveikti: „Linux“ ir „Docker“ administravimas, „NVIDIA“ tvarkyklės ir „CUDA“, išvados varikliai („vLLM“, „TensorRT-LLM“, „TGI“), taip pat stebėsena ir stebimumas. Jei nė viena iš šių sričių jau nėra padengta įmonės viduje, savarankiškas diegimas prasidės nuo samdymo proceso.

„Mistral“ atvirų svorių modeliai

Dauguma „Mistral“ modelių yra prieinami kaip atviro kodo (atvirų svorių) pagal „Apache 2.0“ licenciją. „Mistral 7B“ yra bazinis modelis su 7 mlrd. parametrų; „Mixtral 8x7B“ naudoja ekspertų mišinio architektūrą, iš viso turinčią 46,7 mlrd. parametrų; „Mistral Nemo“ yra universalus 12 mlrd. parametrų modelis, o „Codestral“ specializuojasi kode. Svorių galite atsisiųsti iš „Hugging Face“ turėdami paskyrą ir prieigos raktą:

# Download a model via Hugging Face CLI
pip install huggingface_hub
huggingface-cli login  # Requires an HF token

# Download happens automatically on the engine's first launch

Trys išvados varikliai

„Mistral“ rekomenduoja tris savarankiško diegimo variklius. vLLM yra numatytasis pasirinkimas: tai labai aktyvus atviro kodo „Python“ variklis, kuris iškart pateikia „OpenAI“ suderinamą API, naudoja „PagedAttention“ optimaliam atminties valdymui ir natūraliai palaiko „Mistral“ modelius. TensorRT-LLM, „NVIDIA“ optimizavimo sistema, siekia maksimalaus našumo „NVIDIA“ GPU, tačiau reikalauja sudėtingesnės konfigūracijos; ji sukurta labai didelės spartos gamybai. TGI („Text Generation Inference“) – „Hugging Face“ įrankių rinkinys, suteikiantis integruotą kvantavimą, tenzorių lygiagretumą, srautinį perdavimą ir natūralų grupavimą. Artimiausiose pamokose išsamiai aptarsime kiekvieną iš šių variklių.

Sprendimo priėmimas pagal keturis klausimus

Nagrinėkite šiuos klausimus nuosekliai, nes į pirmąjį atsakius „taip“, diskusija dažnai baigiasi. Ar jūsų duomenims taikomi griežti reguliavimo reikalavimai? Jei taip, savarankiškas diegimas tampa tikėtinu pasirinkimu nepaisant kitų veiksnių. Jei ne, žiūrėkite į apimtį: viršijus 100 mln. ženklių per mėnesį, ekonominė lygtis pasisuka skirtos infrastruktūros naudai; žemiau šios ribos API tikriausiai lieka pigesnis. Ar turite kompetentingą „DevOps“ arba „MLOps“ komandą? Jei ne, laikykitės API arba valdomos debesijos. Galiausiai, ar jums reikia mažesnės nei 100 ms latencijos? Tai vienintelis argumentas, kurio joks nuotolinis API negali pranokti.

MVĮ, apdorojanti 5 mln. ženklių per mėnesį vidiniam asistentui, į visus keturis klausimus atsakys „ne“: ji sutaupytų kelis šimtus eurų API mokesčiams, tačiau išleistų kelis tūkstančius GPU ir inžineriniam laikui. Tuo tarpu ligoninė, analizuojanti medicinines ataskaitas, sustoja ties pirmuoju klausimu.

Svarbiausi punktai

  • Savarankiškas diegimas suteikia suverenumą, išlaidų kontrolę ir visišką pritaikymą
  • Veiklos sudėtingumas ir pradinė kaina yra pagrindinės kliūtys
  • „Mistral“ atvirų svorių modeliai nemokamai prieinami „Hugging Face“
  • Trys rekomenduojami varikliai: „vLLM“ (rekomenduojama), „TensorRT-LLM“ (našumas), „TGI“ („Hugging Face“)
  • Savarankiškas diegimas ne visada yra tinkamas sprendimas – prieš pradedant įvertinkite savo realius apribojimus