Preskok na glavno vsebino
Slovenščina— Izberite jezik
Meni

Infrastruktura in GPU-ji

Lekcija 13 od 14 Posodobljeno 29. julij 2026 Napredni
Na tej strani
  1. Določanje velikosti vaše GPU infrastrukture
  2. Zahteve za vsak model
  3. Kvantizacija: zamenjava natančnosti za pomnilnik
  4. SkyPilot: orkestracija v več oblakih
  5. Cerebrium: GPU brez strežnika
  6. Obvladovanje proizvodne obremenitve
  7. Ključne ugotovitve

Določanje velikosti vaše GPU infrastrukture

Izbira pravega GPU-ja, zmogljivosti pomnilnika in orodja za orkestracijo je ključni korak pri samostojnem gostovanju. Premajhen model se ne poslabša postopoma: bodisi se zavrne zagnati bodisi se zruši pod prvo realno obremenitvijo. Pokrili bomo strojne zahteve za modele Mistral, tehnike kvantizacije, ki zmanjšajo potrebe po pomnilniku, in dve orodji za orkestracijo: SkyPilot in Cerebrium.

Zahteve za vsak model

Naslednja tabela navaja zahteve FP16 brez kvantizacije – to je izhodišče za vsak izračun velikosti.

ModelParametriNajmanj VRAMPriporočeni GPU
Mistral 7B7B16 GB1x A10G / L4
Mistral Nemo12B24 GB1x A10G / RTX 4090
Mixtral 8x7B46.7B100 GB2x A100-80GB
Mixtral 8x22B141B300 GB4x A100-80GB
Mistral Large 2123B250 GB4x A100-80GB
Codestral22B48 GB1x A100-80GB

Te tabele ne potrebuješ za oceno modela, ki ni na seznamu. Pri FP16 načrtuj približno 2 GB VRAM-a na milijardo parametrov: za model 7B je 7 x 2 = 14 GB minimum, plus režija za predpomnilnik KV in pogon za sklepanje – zato tabela prikazuje 16 GB. Ta varnostni rob pojasnjuje, zakaj kartica s 16 GB komaj obvlada Mistral 7B in zakaj ne bo zadostovala, ko boš servisirala dolge kontekste večim sočasnim uporabnikom.

Kvantizacija: zamenjava natančnosti za pomnilnik

Kvantizacija zmanjša natančnost uteži modela, da se zmanjša poraba pomnilnika, pogosto z minimalnim vplivom na kakovost. Pri FP8 (osem bitov na utež) se poraba pomnilnika prepolovi v primerjavi s FP16, aktivacija pa se prilega z enim samim argumentom:

# Serve a model in FP8 with vLLM
vllm serve mistralai/Mistral-Nemo-Instruct-2407 \
    --tokenizer_mode mistral \
    --config_format mistral \
    --load_format mistral \
    --dtype float8_e4m3fn
ModelFP16FP8Zmanjšanje
Mistral 7B14 GB7 GB-50%
Mistral Nemo24 GB12 GB-50%
Mixtral 8x7B100 GB50 GB-50%

Praktična posledica je jasna: Mixtral 8x7B, ki je pri FP16 zahteval dve kartici A100-80GB, pri FP8 pride na eno kartico, s čimer se tvoj urni račun prepolovi. INT4 (štirje biti) gre še dlje, vendar postane vpliv na kakovost opazen; omogočen je v TGI prek namenskega argumenta:

# AWQ quantization with TGI
docker run --gpus all --shm-size 1g \
    -p 8080:80 \
    -e HUGGING_FACE_HUB_TOKEN=$HF_TOKEN \
    ghcr.io/huggingface/text-generation-inference:2.0.3 \
    --model-id mistralai/Mistral-7B-Instruct-v0.3 \
    --quantize awq
NatančnostPomnilnikKakovostHitrost
FP16IzhodiščeIzhodiščeIzhodišče
FP8-50%-1 do -2%+10–20%
INT4-75%-3 do -5%+30–50%

V praksi priporočamo FP8 za proizvodno okolje – izguba kakovosti je zanemarljiva. INT4 deluje za prototipiranje ali okolja z omejenim pomnilnikom, običajno za demo na delovni postaji s potrošniškim GPU-jem.

SkyPilot: orkestracija v več oblakih

SkyPilot je odprtokodni okvir za uvajanje LLM-jev v katerem koli oblaku – AWS, GCP, Azure, Lambda Labs in drugih. Samodejno izbere najcenejši GPU in poskrbi za pripravo, tako da ti ni treba ročno primerjati spot cen pri treh ponudnikih pred vsakim zagonom. Mistral ponuja pripravljene datoteke YAML, katerih struktura opisuje stroj, nastavitev in ukaz za servisiranje:

# mistral-7b.yaml
resources:
  accelerators: A10G:1
  cloud: aws

setup: |
  pip install vllm

run: |
  vllm serve mistralai/Mistral-7B-Instruct-v0.3 \
      --tokenizer_mode mistral \
      --config_format mistral \
      --load_format mistral

Celoten življenjski cikel grozda se nato skrči na štiri ukaze:

# Install SkyPilot
pip install "skypilot[aws,gcp,azure]"

# Launch the cluster
sky launch -c mistral-7b mistral-7b.yaml --region us-east-1

# Check status
sky status

# Stop (to save money)
sky stop mistral-7b

# Delete
sky down mistral-7b

Zadnja dva ukaza sta tista, na katera ljudje pozabijo. Grozd A10G, ki teče čez vikend, stane toliko kot mesec uporabe API-ja za zmerne obremenitve, zato je pomembno poznati okvirne številke:

ModelKonfiguracija SkyPilotOcenjeni strošek oblaka
Mistral 7BA10G:1~1 $/h
Mixtral 8x7BA100-80GB:2~6 $/h
Mixtral 8x22BA100-80GB:4~12 $/h

Ena zadnja točka si zasluži tvojo pozornost: SkyPilot ustvari VM-je z odprtimi vrati privzeto. V proizvodnem okolju omeji omrežni dostop z varnostnimi skupinami ali pravili požarnega zidu, pred storitev postavi uravnotežilnik obremenitve z avtentikacijo in nikoli ne puščaj vrat 8000 izpostavljenih internetu. Neavtenticiran strežnik vLLM, dostopen javno, je GPU, za katerega plačuješ v imenu nekoga drugega.

Cerebrium: GPU brez strežnika

Cerebrium ubere nasproten pristop kot SkyPilot: namesto upravljanja strojev opišeš storitev in plačaš samo za računanje, ki ga dejansko uporabiš, z samodejnim skaliranjem. Začetek traja tri ukaze:

pip install cerebrium
cerebrium login
cerebrium init mistral-vllm

Celotna namestitev je nato opisana v datoteki cerebrium.toml:

[cerebrium.deployment]
name = "mistral-nemo"
python_version = "3.11"

[cerebrium.hardware]
gpu = "AMPERE_A10"
cpu = 4
memory = 16

[cerebrium.scaling]
min_replicas = 0
max_replicas = 5
cooldown = 60

[cerebrium.dependencies.pip]
vllm = "latest"

Nastavitev min_replicas = 0 je ključna prednost tega pristopa: ko nihče ne kliče storitve, stroškov ni. Kompromis je, da mora prva zahteva po obdobju nedejavnosti počakati, da se primerek zažene. Ukaz cerebrium deploy je vse, kar potrebuješ za objavo; platforma poskrbi za pripravo GPU-ja, samodejno skaliranje od nič do N primerkov, uravnoteženje obremenitve in nadzor.

Obvladovanje proizvodne obremenitve

Za povečanje prepustnosti ne išči večjega GPU-ja – pomnoži primere za uravnotežilnikom obremenitve, pri čemer vsak servira isti model na svoji kartici:

                    ┌─── vLLM instance 1 (GPU A)
Load Balancer ──────┼─── vLLM instance 2 (GPU B)
                    └─── vLLM instance 3 (GPU C)

Za upravljanje celotne nastavitve zadostuje pet metrik: tokenov na sekundo meri prepustnost generiranja; TTFB (čas do prvega bajta) poda zakasnitev pred prvim tokenom, kar uporabnik zazna; izkoriščenost GPU-ja naj pod obremenitvijo preseže 80 %, sicer plačuješ nedejavno strojno opremo; spremljaj pomnilnik GPU-ja, da predvidiš napake OOM; in globina čakalne vrste, število čakajočih zahtev, ki signalizira zasičenost, preden se uporabniki začnejo pritoževati. Na enem samem stroju ti že preprosto neprekinjeno osveževanje poda bistveno:

# Monitor GPU utilization
watch -n 1 nvidia-smi

Ključne ugotovitve

  • Načrtuj ~2 GB VRAM-a na milijardo parametrov pri FP16
  • Kvantizacija FP8 prepolovi porabo pomnilnika z zanemarljivim vplivom na kakovost
  • SkyPilot poenostavi uvajanje v več oblakih s pripravljenimi konfiguracijami YAML
  • Cerebrium ponuja GPU brez strežnika s samodejnim skaliranjem (plačilo po računanju)
  • V proizvodnem okolju dodaj uravnotežilnik obremenitve in neprekinjeno spremljaj metrike GPU-ja