Infrastruktura in GPU-ji
Na tej strani
Določanje velikosti vaše GPU infrastrukture
Izbira pravega GPU-ja, zmogljivosti pomnilnika in orodja za orkestracijo je ključni korak pri samostojnem gostovanju. Premajhen model se ne poslabša postopoma: bodisi se zavrne zagnati bodisi se zruši pod prvo realno obremenitvijo. Pokrili bomo strojne zahteve za modele Mistral, tehnike kvantizacije, ki zmanjšajo potrebe po pomnilniku, in dve orodji za orkestracijo: SkyPilot in Cerebrium.
Zahteve za vsak model
Naslednja tabela navaja zahteve FP16 brez kvantizacije – to je izhodišče za vsak izračun velikosti.
| Model | Parametri | Najmanj VRAM | Priporočeni GPU |
|---|---|---|---|
| Mistral 7B | 7B | 16 GB | 1x A10G / L4 |
| Mistral Nemo | 12B | 24 GB | 1x A10G / RTX 4090 |
| Mixtral 8x7B | 46.7B | 100 GB | 2x A100-80GB |
| Mixtral 8x22B | 141B | 300 GB | 4x A100-80GB |
| Mistral Large 2 | 123B | 250 GB | 4x A100-80GB |
| Codestral | 22B | 48 GB | 1x A100-80GB |
Te tabele ne potrebuješ za oceno modela, ki ni na seznamu. Pri FP16 načrtuj približno 2 GB VRAM-a na milijardo parametrov: za model 7B je 7 x 2 = 14 GB minimum, plus režija za predpomnilnik KV in pogon za sklepanje – zato tabela prikazuje 16 GB. Ta varnostni rob pojasnjuje, zakaj kartica s 16 GB komaj obvlada Mistral 7B in zakaj ne bo zadostovala, ko boš servisirala dolge kontekste večim sočasnim uporabnikom.
Kvantizacija: zamenjava natančnosti za pomnilnik
Kvantizacija zmanjša natančnost uteži modela, da se zmanjša poraba pomnilnika, pogosto z minimalnim vplivom na kakovost. Pri FP8 (osem bitov na utež) se poraba pomnilnika prepolovi v primerjavi s FP16, aktivacija pa se prilega z enim samim argumentom:
# Serve a model in FP8 with vLLM
vllm serve mistralai/Mistral-Nemo-Instruct-2407 \
--tokenizer_mode mistral \
--config_format mistral \
--load_format mistral \
--dtype float8_e4m3fn
| Model | FP16 | FP8 | Zmanjšanje |
|---|---|---|---|
| Mistral 7B | 14 GB | 7 GB | -50% |
| Mistral Nemo | 24 GB | 12 GB | -50% |
| Mixtral 8x7B | 100 GB | 50 GB | -50% |
Praktična posledica je jasna: Mixtral 8x7B, ki je pri FP16 zahteval dve kartici A100-80GB, pri FP8 pride na eno kartico, s čimer se tvoj urni račun prepolovi. INT4 (štirje biti) gre še dlje, vendar postane vpliv na kakovost opazen; omogočen je v TGI prek namenskega argumenta:
# AWQ quantization with TGI
docker run --gpus all --shm-size 1g \
-p 8080:80 \
-e HUGGING_FACE_HUB_TOKEN=$HF_TOKEN \
ghcr.io/huggingface/text-generation-inference:2.0.3 \
--model-id mistralai/Mistral-7B-Instruct-v0.3 \
--quantize awq
| Natančnost | Pomnilnik | Kakovost | Hitrost |
|---|---|---|---|
| FP16 | Izhodišče | Izhodišče | Izhodišče |
| FP8 | -50% | -1 do -2% | +10–20% |
| INT4 | -75% | -3 do -5% | +30–50% |
V praksi priporočamo FP8 za proizvodno okolje – izguba kakovosti je zanemarljiva. INT4 deluje za prototipiranje ali okolja z omejenim pomnilnikom, običajno za demo na delovni postaji s potrošniškim GPU-jem.
SkyPilot: orkestracija v več oblakih
SkyPilot je odprtokodni okvir za uvajanje LLM-jev v katerem koli oblaku – AWS, GCP, Azure, Lambda Labs in drugih. Samodejno izbere najcenejši GPU in poskrbi za pripravo, tako da ti ni treba ročno primerjati spot cen pri treh ponudnikih pred vsakim zagonom. Mistral ponuja pripravljene datoteke YAML, katerih struktura opisuje stroj, nastavitev in ukaz za servisiranje:
# mistral-7b.yaml
resources:
accelerators: A10G:1
cloud: aws
setup: |
pip install vllm
run: |
vllm serve mistralai/Mistral-7B-Instruct-v0.3 \
--tokenizer_mode mistral \
--config_format mistral \
--load_format mistral
Celoten življenjski cikel grozda se nato skrči na štiri ukaze:
# Install SkyPilot
pip install "skypilot[aws,gcp,azure]"
# Launch the cluster
sky launch -c mistral-7b mistral-7b.yaml --region us-east-1
# Check status
sky status
# Stop (to save money)
sky stop mistral-7b
# Delete
sky down mistral-7b
Zadnja dva ukaza sta tista, na katera ljudje pozabijo. Grozd A10G, ki teče čez vikend, stane toliko kot mesec uporabe API-ja za zmerne obremenitve, zato je pomembno poznati okvirne številke:
| Model | Konfiguracija SkyPilot | Ocenjeni strošek oblaka |
|---|---|---|
| Mistral 7B | A10G:1 | ~1 $/h |
| Mixtral 8x7B | A100-80GB:2 | ~6 $/h |
| Mixtral 8x22B | A100-80GB:4 | ~12 $/h |
Ena zadnja točka si zasluži tvojo pozornost: SkyPilot ustvari VM-je z odprtimi vrati privzeto. V proizvodnem okolju omeji omrežni dostop z varnostnimi skupinami ali pravili požarnega zidu, pred storitev postavi uravnotežilnik obremenitve z avtentikacijo in nikoli ne puščaj vrat 8000 izpostavljenih internetu. Neavtenticiran strežnik vLLM, dostopen javno, je GPU, za katerega plačuješ v imenu nekoga drugega.
Cerebrium: GPU brez strežnika
Cerebrium ubere nasproten pristop kot SkyPilot: namesto upravljanja strojev opišeš storitev in plačaš samo za računanje, ki ga dejansko uporabiš, z samodejnim skaliranjem. Začetek traja tri ukaze:
pip install cerebrium
cerebrium login
cerebrium init mistral-vllm
Celotna namestitev je nato opisana v datoteki cerebrium.toml:
[cerebrium.deployment]
name = "mistral-nemo"
python_version = "3.11"
[cerebrium.hardware]
gpu = "AMPERE_A10"
cpu = 4
memory = 16
[cerebrium.scaling]
min_replicas = 0
max_replicas = 5
cooldown = 60
[cerebrium.dependencies.pip]
vllm = "latest"
Nastavitev min_replicas = 0 je ključna prednost tega pristopa: ko nihče ne kliče storitve, stroškov ni. Kompromis je, da mora prva zahteva po obdobju nedejavnosti počakati, da se primerek zažene. Ukaz cerebrium deploy je vse, kar potrebuješ za objavo; platforma poskrbi za pripravo GPU-ja, samodejno skaliranje od nič do N primerkov, uravnoteženje obremenitve in nadzor.
Obvladovanje proizvodne obremenitve
Za povečanje prepustnosti ne išči večjega GPU-ja – pomnoži primere za uravnotežilnikom obremenitve, pri čemer vsak servira isti model na svoji kartici:
┌─── vLLM instance 1 (GPU A)
Load Balancer ──────┼─── vLLM instance 2 (GPU B)
└─── vLLM instance 3 (GPU C)
Za upravljanje celotne nastavitve zadostuje pet metrik: tokenov na sekundo meri prepustnost generiranja; TTFB (čas do prvega bajta) poda zakasnitev pred prvim tokenom, kar uporabnik zazna; izkoriščenost GPU-ja naj pod obremenitvijo preseže 80 %, sicer plačuješ nedejavno strojno opremo; spremljaj pomnilnik GPU-ja, da predvidiš napake OOM; in globina čakalne vrste, število čakajočih zahtev, ki signalizira zasičenost, preden se uporabniki začnejo pritoževati. Na enem samem stroju ti že preprosto neprekinjeno osveževanje poda bistveno:
# Monitor GPU utilization
watch -n 1 nvidia-smi
Ključne ugotovitve
- Načrtuj ~2 GB VRAM-a na milijardo parametrov pri FP16
- Kvantizacija FP8 prepolovi porabo pomnilnika z zanemarljivim vplivom na kakovost
- SkyPilot poenostavi uvajanje v več oblakih s pripravljenimi konfiguracijami YAML
- Cerebrium ponuja GPU brez strežnika s samodejnim skaliranjem (plačilo po računanju)
- V proizvodnem okolju dodaj uravnotežilnik obremenitve in neprekinjeno spremljaj metrike GPU-ja