Přejít na hlavní obsah
Čeština— Vyberte jazyk
Menu

Infrastruktura a GPU

Lekce 13 z 14 Aktualizováno 29. července 2026 Pokročilý
Na této stránce
  1. Dimenzování infrastruktury GPU
  2. Požadavky jednotlivých modelů
  3. Kvantizace: Výměna přesnosti za paměť
  4. SkyPilot: Multi-cloud orchestrace
  5. Cerebrium: Serverless GPU
  6. Zvládání produkční zátěže
  7. Klíčové poznatky

Dimenzování infrastruktury GPU

Výběr správného GPU, kapacity paměti a nástroje pro orchestraci je při vlastním hostování klíčovým krokem. Poddimenzovaný model se nezhoršuje postupně: buď se nespustí vůbec, nebo spadne pod první reálnou zátěží. Probereme hardwarové požadavky pro modely Mistral, techniky kvantizace, které snižují nároky na paměť, a dva nástroje pro orchestraci: SkyPilot a Cerebrium.

Požadavky jednotlivých modelů

Následující tabulka uvádí požadavky pro FP16 bez kvantizace – což je výchozí bod pro jakýkoli výpočet kapacity.

ModelParametryMinimální VRAMDoporučené GPU
Mistral 7B7B16 GB1x A10G / L4
Mistral Nemo12B24 GB1x A10G / RTX 4090
Mixtral 8x7B46.7B100 GB2x A100-80GB
Mixtral 8x22B141B300 GB4x A100-80GB
Mistral Large 2123B250 GB4x A100-80GB
Codestral22B48 GB1x A100-80GB

Tuto tabulku nepotřebuješ k odhadu modelu, který zde není uveden. U FP16 počítej zhruba s 2 GB VRAM na miliardu parametrů: pro model 7B je to 7 × 2 = 14 GB minimum, plus režie pro mezipaměť KV a inferenční engine – proto tabulka ukazuje 16 GB. Tato rezerva vysvětluje, proč karta s 16 GB sotva zvládne Mistral 7B a proč nebude stačit, jakmile začneš obsluhovat dlouhé kontexty pro více současných uživatelů.

Kvantizace: Výměna přesnosti za paměť

Kvantizace snižuje přesnost vah modelu, aby se snížila spotřeba paměti, často s minimálním dopadem na kvalitu. U FP8 (osm bitů na váhu) se využití paměti sníží na polovinu oproti FP16 a aktivace se vejde pomocí jednoduchého argumentu:

# Serve a model in FP8 with vLLM
vllm serve mistralai/Mistral-Nemo-Instruct-2407 \
    --tokenizer_mode mistral \
    --config_format mistral \
    --load_format mistral \
    --dtype float8_e4m3fn
ModelFP16FP8Snížení
Mistral 7B14 GB7 GB-50 %
Mistral Nemo24 GB12 GB-50 %
Mixtral 8x7B100 GB50 GB-50 %

Praktický důsledek je jasný: Mixtral 8x7B, který ve FP16 vyžadoval dvě karty A100-80GB, se vejde na jednu kartu ve FP8, čímž snížíš hodinovou fakturaci na polovinu. INT4 (čtyři bity) jde ještě dál, ale dopad na kvalitu je znatelný; v TGI se povoluje pomocí vyhrazeného argumentu:

# AWQ quantization with TGI
docker run --gpus all --shm-size 1g \
    -p 8080:80 \
    -e HUGGING_FACE_HUB_TOKEN=$HF_TOKEN \
    ghcr.io/huggingface/text-generation-inference:2.0.3 \
    --model-id mistralai/Mistral-7B-Instruct-v0.3 \
    --quantize awq
PřesnostPaměťKvalitaRychlost
FP16Výchozí hodnotaVýchozí hodnotaVýchozí hodnota
FP8-50 %-1 až -2 %+10–20 %
INT4-75 %-3 až -5 %+30–50 %

V praxi doporučujeme pro produkci FP8 – ztráta kvality je zanedbatelná. INT4 funguje pro prototypování nebo prostředí s omezenou pamětí, typicky demo na pracovní stanici s GPU určeným pro spotřebitele.

SkyPilot: Multi-cloud orchestrace

SkyPilot je open-source framework pro nasazování LLM na jakýkoli cloud – AWS, GCP, Azure, Lambda Labs a další. Automaticky vybírá nejlevnější GPU a stará se o poskytování zdrojů, takže nemusíš před každým spuštěním ručně porovnávat spotové ceny u tří poskytovatelů. Mistral poskytuje připravené soubory YAML, jejichž struktura popisuje stroj, nastavení a příkaz pro obsluhu:

# mistral-7b.yaml
resources:
  accelerators: A10G:1
  cloud: aws

setup: |
  pip install vllm

run: |
  vllm serve mistralai/Mistral-7B-Instruct-v0.3 \
      --tokenizer_mode mistral \
      --config_format mistral \
      --load_format mistral

Celý životní cyklus clusteru se pak redukuje na čtyři příkazy:

# Install SkyPilot
pip install "skypilot[aws,gcp,azure]"

# Launch the cluster
sky launch -c mistral-7b mistral-7b.yaml --region us-east-1

# Check status
sky status

# Stop (to save money)
sky stop mistral-7b

# Delete
sky down mistral-7b

Poslední dva příkazy jsou ty, na které lidé zapomínají. Cluster A10G ponechaný běžet přes víkend stojí stejně jako měsíc využívání API pro střední zátěž, proto je důležité znát orientační cifry:

ModelKonfigurace SkyPilotOdhadované náklady v cloudu
Mistral 7BA10G:1~1 $/h
Mixtral 8x7BA100-80GB:2~6 $/h
Mixtral 8x22BA100-80GB:4~12 $/h

Ještě jedna věc si zaslouží tvou pozornost: SkyPilot vytváří virtuální stroje s otevřenými porty ve výchozím nastavení. V produkci omez přístup k síti pomocí bezpečnostních skupin nebo pravidel firewallu, umísti před službu zátěžovou vyrovnávač s autentizací a nikdy nenechávej port 8000 vystavený internetu. Neautentizovaný server vLLM veřejně dostupný znamená GPU, za které platíš jménem někoho jiného.

Cerebrium: Serverless GPU

Cerebrium přistupuje k věci opačně než SkyPilot: místo správy strojů popíšeš službu a platíš pouze za výpočetní výkon, který skutečně využiješ, s automatickým škálováním. Začátek zabere tři příkazy:

pip install cerebrium
cerebrium login
cerebrium init mistral-vllm

Celé nasazení je pak popsáno v souboru cerebrium.toml:

[cerebrium.deployment]
name = "mistral-nemo"
python_version = "3.11"

[cerebrium.hardware]
gpu = "AMPERE_A10"
cpu = 4
memory = 16

[cerebrium.scaling]
min_replicas = 0
max_replicas = 5
cooldown = 60

[cerebrium.dependencies.pip]
vllm = "latest"

Nastavení min_replicas = 0 je klíčovou výhodou tohoto přístupu: když nikdo službu nevolá, nic nestojí. Nevýhodou je, že první požadavek po období nečinnosti musí počkat na spuštění instance. Příkaz cerebrium deploy je vše, co potřebuješ k publikování; platforma se postará o poskytování GPU, automatické škálování od nuly do N replik, vyrovnávání zátěže a monitorování.

Zvládání produkční zátěže

Chceš-li zvýšit propustnost, nehledej větší GPU – znásob instance za zátěžovým vyrovnávačem, přičemž každá obsluhuje stejný model na vlastní kartě:

                    ┌─── vLLM instance 1 (GPU A)
Load Balancer ──────┼─── vLLM instance 2 (GPU B)
                    └─── vLLM instance 3 (GPU C)

Ke správě celého setupu stačí pět metrik: tokeny za sekundu měří propustnost generování; TTFB (Time To First Byte) udává latenci před prvním tokenem, což je to, co vnímá uživatel; využití GPU by mělo pod zátěží přesáhnout 80 %, jinak platíš za nečinný hardware; sleduj paměť GPU, abys předešel chybám OOM; a hloubka fronty, tedy počet čekajících požadavků, signalizuje nasycení dříve, než si uživatelé začnou stěžovat. Na jediném stroji ti už jednoduché průběžné obnovování dá to podstatné:

# Monitor GPU utilization
watch -n 1 nvidia-smi

Klíčové poznatky

  • Počítej s ~2 GB VRAM na miliardu parametrů u FP16
  • Kvantizace FP8 sníží využití paměti na polovinu s zanedbatelným dopadem na kvalitu
  • SkyPilot zjednodušuje multi-cloud nasazení pomocí připravených konfigurací YAML
  • Cerebrium nabízí serverless GPU s automatickým škálováním (platba za výpočet)
  • V produkci přidej zátěžový vyrovnávač a nepřetržitě sleduj metriky GPU