Prejsť na hlavný obsah
Slovenčina— Vyberte jazyk
Menu

Infraštruktúra a GPU

Lekcia 13 z 14 Aktualizované 29. júla 2026 Pokročilý
Na tejto strane
  1. Dimenzovanie infraštruktúry GPU
  2. Požiadavky jednotlivých modelov
  3. Kvantizácia: Výmena presnosti za pamäť
  4. SkyPilot: Multi-cloud orchestrácia
  5. Cerebrium: Serverless GPU
  6. Zvládanie produkčnej záťaže
  7. Kľúčové poznatky

Dimenzovanie infraštruktúry GPU

Výber správneho GPU, kapacity pamäte a nástroja na orchestráciu je kritickým krokom pri vlastnom hostovaní. Poddimenzovaný model sa nezhoršuje postupne: buď sa nespustí, alebo spadne pod prvým reálnym zaťažením. Preberieme hardvérové požiadavky pre modely Mistral, techniky kvantizácie, ktoré znižujú nároky na pamäť, a dva nástroje na orchestráciu: SkyPilot a Cerebrium.

Požiadavky jednotlivých modelov

Nasledujúca tabuľka uvádza požiadavky pre FP16 bez kvantizácie – čo je východiskový bod pre akýkoľvek výpočet dimenzovania.

ModelParametreMinimálna VRAMOdporúčané GPU
Mistral 7B7B16 GB1x A10G / L4
Mistral Nemo12B24 GB1x A10G / RTX 4090
Mixtral 8x7B46.7B100 GB2x A100-80GB
Mixtral 8x22B141B300 GB4x A100-80GB
Mistral Large 2123B250 GB4x A100-80GB
Codestral22B48 GB1x A100-80GB

Túto tabuľku nepotrebuješ na odhad modelu, ktorý nie je uvedený. Pri FP16 si naplánuj približne 2 GB VRAM na miliardu parametrov: pre model 7B je to 7 × 2 = 14 GB minimum, plus réžia pre KV cache a inferenčný engine – preto tabuľka uvádza 16 GB. Táto rezerva vysvetľuje, prečo karta s 16 GB sotva zvláda Mistral 7B a prečo nebude stačiť, ak budeš obsluhovať dlhé kontexty pre viacerých súbežných používateľov.

Kvantizácia: Výmena presnosti za pamäť

Kvantizácia znižuje presnosť váh modelu, čím šetrí pamäť, často s minimálnym vplyvom na kvalitu. Pri FP8 (osem bitov na váhu) sa spotreba pamäte zníži na polovicu oproti FP16 a aktivácia funguje s jednoduchým argumentom:

# Serve a model in FP8 with vLLM
vllm serve mistralai/Mistral-Nemo-Instruct-2407 \
    --tokenizer_mode mistral \
    --config_format mistral \
    --load_format mistral \
    --dtype float8_e4m3fn
ModelFP16FP8Zníženie
Mistral 7B14 GB7 GB-50 %
Mistral Nemo24 GB12 GB-50 %
Mixtral 8x7B100 GB50 GB-50 %

Praktický dôsledok je jasný: Mixtral 8x7B, ktorý vo FP16 vyžadoval dve karty A100-80GB, sa vo FP8 zmestí na jednu kartu, čím sa tvoja hodinová faktúra zníži na polovicu. INT4 (štyri bity) ide ešte ďalej, ale vplyv na kvalitu je citeľný; v TGI sa aktivuje vyhradeným argumentom:

# AWQ quantization with TGI
docker run --gpus all --shm-size 1g \
    -p 8080:80 \
    -e HUGGING_FACE_HUB_TOKEN=$HF_TOKEN \
    ghcr.io/huggingface/text-generation-inference:2.0.3 \
    --model-id mistralai/Mistral-7B-Instruct-v0.3 \
    --quantize awq
PresnosťPamäťKvalitaRýchlosť
FP16ZákladZákladZáklad
FP8-50 %-1 až -2 %+10 – 20 %
INT4-75 %-3 až -5 %+30 – 50 %

V praxi odporúčame FP8 pre produkčné nasadenie – strata kvality je zanedbateľná. INT4 funguje pre prototypovanie alebo prostredia s obmedzenou pamäťou, typicky demo na pracovnej stanici s bežnou grafickou kartou.

SkyPilot: Multi-cloud orchestrácia

SkyPilot je open-source framework na nasadzovanie LLM na ľubovoľnom cloude – AWS, GCP, Azure, Lambda Labs a ďalších. Automaticky vyberie najlacnejšie GPU a postará sa o provisionovanie, takže nemusíš pred každým spustením manuálne porovnávať spot ceny u troch poskytovateľov. Mistral poskytuje ready-to-use YAML súbory, ktorých štruktúra opisuje stroj, nastavenie a príkaz na spustenie servisu:

# mistral-7b.yaml
resources:
  accelerators: A10G:1
  cloud: aws

setup: |
  pip install vllm

run: |
  vllm serve mistralai/Mistral-7B-Instruct-v0.3 \
      --tokenizer_mode mistral \
      --config_format mistral \
      --load_format mistral

Celý životný cyklus klastra sa potom redukuje na štyri príkazy:

# Install SkyPilot
pip install "skypilot[aws,gcp,azure]"

# Launch the cluster
sky launch -c mistral-7b mistral-7b.yaml --region us-east-1

# Check status
sky status

# Stop (to save money)
sky stop mistral-7b

# Delete
sky down mistral-7b

Posledné dva príkazy ľudia často zabúdajú. Klaster A10G ponechaný bežať cez víkend stojí toľko, čo mesiac používania API pre stredné záťaže. Preto záleží na orientačných číslach:

ModelKonfigurácia SkyPilotOdhadované náklady na cloud
Mistral 7BA10G:1~1 $/h
Mixtral 8x7BA100-80GB:2~6 $/h
Mixtral 8x22BA100-80GB:4~12 $/h

Ešte jedna dôležitá poznámka: SkyPilot vytvára VM s predvolene otvorenými portmi. V produkcii obmedz sieťový prístup pomocou Security Groups alebo Firewall Rules, umiestni pred službu load balancer s autentifikáciou a nikdy nenechávaj port 8000 exponovaný internetu. Neautentifikovaný vLLM server verejne dostupný znamená GPU, za ktoré platíš v mene niekoho iného.

Cerebrium: Serverless GPU

Cerebrium pristupuje k veci opačne ako SkyPilot: namiesto správy strojov opisuješ službu a platíš len za skutočne využitý výpočtový čas s automatickým škálovaním. Začiatok ti zaberie tri príkazy:

pip install cerebrium
cerebrium login
cerebrium init mistral-vllm

Celé nasadenie je potom popísané v súbore cerebrium.toml:

[cerebrium.deployment]
name = "mistral-nemo"
python_version = "3.11"

[cerebrium.hardware]
gpu = "AMPERE_A10"
cpu = 4
memory = 16

[cerebrium.scaling]
min_replicas = 0
max_replicas = 5
cooldown = 60

[cerebrium.dependencies.pip]
vllm = "latest"

Nastavenie min_replicas = 0 je kľúčovou výhodou tohto prístupu: keď nikto službu nevolá, nič ťa to nestojí. Kompromisom je, že prvá požiadavka po období nečinnosti musí počkať na štart inštancie. Príkaz cerebrium deploy stačí na publikovanie; platforma sa postará o provisionovanie GPU, automatické škálovanie od nuly po N replík, load balancing a monitoring.

Zvládanie produkčnej záťaže

Na zvýšenie priepustnosti nehľadaj väčšie GPU – znásob inštancie za load balancerom, pričom každá obsluhuje ten istý model na vlastnej karte:

                    ┌─── vLLM instance 1 (GPU A)
Load Balancer ──────┼─── vLLM instance 2 (GPU B)
                    └─── vLLM instance 3 (GPU C)

Na riadenie celého setupu stačí päť metrík: tokens per second meria priepustnosť generovania; TTFB (Time To First Byte) udáva latenciu pred prvým tokenom, čo používateľ vníma; využitie GPU by malo pod záťažou presahovať 80 %, inak platíš za nečinný hardvér; monitoruj pamäť GPU, aby si predišiel chybám OOM; a hĺbka frontu, teda počet čakajúcich požiadaviek, signalizuje nasýtenie skôr, než sa používatelia začnú sťažovať. Na jednom stroji ti už jednoduchý priebežný refresh poskytne to podstatné:

# Monitor GPU utilization
watch -n 1 nvidia-smi

Kľúčové poznatky

  • Naplánuj si ~2 GB VRAM na miliardu parametrov pri FP16
  • Kvantizácia FP8 zreže spotrebu pamäte na polovicu so zanedbateľným vplyvom na kvalitu
  • SkyPilot zjednodušuje multi-cloud nasadenie vďaka ready-to-use YAML konfiguráciám
  • Cerebrium ponúka serverless GPU s automatickým škálovaním (platba za výpočet)
  • V produkcii pridaj load balancer a nepretržite monitoruj metriky GPU