Infraštruktúra a GPU
Na tejto strane
Dimenzovanie infraštruktúry GPU
Výber správneho GPU, kapacity pamäte a nástroja na orchestráciu je kritickým krokom pri vlastnom hostovaní. Poddimenzovaný model sa nezhoršuje postupne: buď sa nespustí, alebo spadne pod prvým reálnym zaťažením. Preberieme hardvérové požiadavky pre modely Mistral, techniky kvantizácie, ktoré znižujú nároky na pamäť, a dva nástroje na orchestráciu: SkyPilot a Cerebrium.
Požiadavky jednotlivých modelov
Nasledujúca tabuľka uvádza požiadavky pre FP16 bez kvantizácie – čo je východiskový bod pre akýkoľvek výpočet dimenzovania.
| Model | Parametre | Minimálna VRAM | Odporúčané GPU |
|---|---|---|---|
| Mistral 7B | 7B | 16 GB | 1x A10G / L4 |
| Mistral Nemo | 12B | 24 GB | 1x A10G / RTX 4090 |
| Mixtral 8x7B | 46.7B | 100 GB | 2x A100-80GB |
| Mixtral 8x22B | 141B | 300 GB | 4x A100-80GB |
| Mistral Large 2 | 123B | 250 GB | 4x A100-80GB |
| Codestral | 22B | 48 GB | 1x A100-80GB |
Túto tabuľku nepotrebuješ na odhad modelu, ktorý nie je uvedený. Pri FP16 si naplánuj približne 2 GB VRAM na miliardu parametrov: pre model 7B je to 7 × 2 = 14 GB minimum, plus réžia pre KV cache a inferenčný engine – preto tabuľka uvádza 16 GB. Táto rezerva vysvetľuje, prečo karta s 16 GB sotva zvláda Mistral 7B a prečo nebude stačiť, ak budeš obsluhovať dlhé kontexty pre viacerých súbežných používateľov.
Kvantizácia: Výmena presnosti za pamäť
Kvantizácia znižuje presnosť váh modelu, čím šetrí pamäť, často s minimálnym vplyvom na kvalitu. Pri FP8 (osem bitov na váhu) sa spotreba pamäte zníži na polovicu oproti FP16 a aktivácia funguje s jednoduchým argumentom:
# Serve a model in FP8 with vLLM
vllm serve mistralai/Mistral-Nemo-Instruct-2407 \
--tokenizer_mode mistral \
--config_format mistral \
--load_format mistral \
--dtype float8_e4m3fn
| Model | FP16 | FP8 | Zníženie |
|---|---|---|---|
| Mistral 7B | 14 GB | 7 GB | -50 % |
| Mistral Nemo | 24 GB | 12 GB | -50 % |
| Mixtral 8x7B | 100 GB | 50 GB | -50 % |
Praktický dôsledok je jasný: Mixtral 8x7B, ktorý vo FP16 vyžadoval dve karty A100-80GB, sa vo FP8 zmestí na jednu kartu, čím sa tvoja hodinová faktúra zníži na polovicu. INT4 (štyri bity) ide ešte ďalej, ale vplyv na kvalitu je citeľný; v TGI sa aktivuje vyhradeným argumentom:
# AWQ quantization with TGI
docker run --gpus all --shm-size 1g \
-p 8080:80 \
-e HUGGING_FACE_HUB_TOKEN=$HF_TOKEN \
ghcr.io/huggingface/text-generation-inference:2.0.3 \
--model-id mistralai/Mistral-7B-Instruct-v0.3 \
--quantize awq
| Presnosť | Pamäť | Kvalita | Rýchlosť |
|---|---|---|---|
| FP16 | Základ | Základ | Základ |
| FP8 | -50 % | -1 až -2 % | +10 – 20 % |
| INT4 | -75 % | -3 až -5 % | +30 – 50 % |
V praxi odporúčame FP8 pre produkčné nasadenie – strata kvality je zanedbateľná. INT4 funguje pre prototypovanie alebo prostredia s obmedzenou pamäťou, typicky demo na pracovnej stanici s bežnou grafickou kartou.
SkyPilot: Multi-cloud orchestrácia
SkyPilot je open-source framework na nasadzovanie LLM na ľubovoľnom cloude – AWS, GCP, Azure, Lambda Labs a ďalších. Automaticky vyberie najlacnejšie GPU a postará sa o provisionovanie, takže nemusíš pred každým spustením manuálne porovnávať spot ceny u troch poskytovateľov. Mistral poskytuje ready-to-use YAML súbory, ktorých štruktúra opisuje stroj, nastavenie a príkaz na spustenie servisu:
# mistral-7b.yaml
resources:
accelerators: A10G:1
cloud: aws
setup: |
pip install vllm
run: |
vllm serve mistralai/Mistral-7B-Instruct-v0.3 \
--tokenizer_mode mistral \
--config_format mistral \
--load_format mistral
Celý životný cyklus klastra sa potom redukuje na štyri príkazy:
# Install SkyPilot
pip install "skypilot[aws,gcp,azure]"
# Launch the cluster
sky launch -c mistral-7b mistral-7b.yaml --region us-east-1
# Check status
sky status
# Stop (to save money)
sky stop mistral-7b
# Delete
sky down mistral-7b
Posledné dva príkazy ľudia často zabúdajú. Klaster A10G ponechaný bežať cez víkend stojí toľko, čo mesiac používania API pre stredné záťaže. Preto záleží na orientačných číslach:
| Model | Konfigurácia SkyPilot | Odhadované náklady na cloud |
|---|---|---|
| Mistral 7B | A10G:1 | ~1 $/h |
| Mixtral 8x7B | A100-80GB:2 | ~6 $/h |
| Mixtral 8x22B | A100-80GB:4 | ~12 $/h |
Ešte jedna dôležitá poznámka: SkyPilot vytvára VM s predvolene otvorenými portmi. V produkcii obmedz sieťový prístup pomocou Security Groups alebo Firewall Rules, umiestni pred službu load balancer s autentifikáciou a nikdy nenechávaj port 8000 exponovaný internetu. Neautentifikovaný vLLM server verejne dostupný znamená GPU, za ktoré platíš v mene niekoho iného.
Cerebrium: Serverless GPU
Cerebrium pristupuje k veci opačne ako SkyPilot: namiesto správy strojov opisuješ službu a platíš len za skutočne využitý výpočtový čas s automatickým škálovaním. Začiatok ti zaberie tri príkazy:
pip install cerebrium
cerebrium login
cerebrium init mistral-vllm
Celé nasadenie je potom popísané v súbore cerebrium.toml:
[cerebrium.deployment]
name = "mistral-nemo"
python_version = "3.11"
[cerebrium.hardware]
gpu = "AMPERE_A10"
cpu = 4
memory = 16
[cerebrium.scaling]
min_replicas = 0
max_replicas = 5
cooldown = 60
[cerebrium.dependencies.pip]
vllm = "latest"
Nastavenie min_replicas = 0 je kľúčovou výhodou tohto prístupu: keď nikto službu nevolá, nič ťa to nestojí. Kompromisom je, že prvá požiadavka po období nečinnosti musí počkať na štart inštancie. Príkaz cerebrium deploy stačí na publikovanie; platforma sa postará o provisionovanie GPU, automatické škálovanie od nuly po N replík, load balancing a monitoring.
Zvládanie produkčnej záťaže
Na zvýšenie priepustnosti nehľadaj väčšie GPU – znásob inštancie za load balancerom, pričom každá obsluhuje ten istý model na vlastnej karte:
┌─── vLLM instance 1 (GPU A)
Load Balancer ──────┼─── vLLM instance 2 (GPU B)
└─── vLLM instance 3 (GPU C)
Na riadenie celého setupu stačí päť metrík: tokens per second meria priepustnosť generovania; TTFB (Time To First Byte) udáva latenciu pred prvým tokenom, čo používateľ vníma; využitie GPU by malo pod záťažou presahovať 80 %, inak platíš za nečinný hardvér; monitoruj pamäť GPU, aby si predišiel chybám OOM; a hĺbka frontu, teda počet čakajúcich požiadaviek, signalizuje nasýtenie skôr, než sa používatelia začnú sťažovať. Na jednom stroji ti už jednoduchý priebežný refresh poskytne to podstatné:
# Monitor GPU utilization
watch -n 1 nvidia-smi
Kľúčové poznatky
- Naplánuj si ~2 GB VRAM na miliardu parametrov pri FP16
- Kvantizácia FP8 zreže spotrebu pamäte na polovicu so zanedbateľným vplyvom na kvalitu
- SkyPilot zjednodušuje multi-cloud nasadenie vďaka ready-to-use YAML konfiguráciám
- Cerebrium ponúka serverless GPU s automatickým škálovaním (platba za výpočet)
- V produkcii pridaj load balancer a nepretržite monitoruj metriky GPU