Infrastruktura a GPU
Na této stránce
Dimenzování infrastruktury GPU
Výběr správného GPU, kapacity paměti a nástroje pro orchestraci je při vlastním hostování klíčovým krokem. Poddimenzovaný model se nezhoršuje postupně: buď se nespustí vůbec, nebo spadne pod první reálnou zátěží. Probereme hardwarové požadavky pro modely Mistral, techniky kvantizace, které snižují nároky na paměť, a dva nástroje pro orchestraci: SkyPilot a Cerebrium.
Požadavky jednotlivých modelů
Následující tabulka uvádí požadavky pro FP16 bez kvantizace – což je výchozí bod pro jakýkoli výpočet kapacity.
| Model | Parametry | Minimální VRAM | Doporučené GPU |
|---|---|---|---|
| Mistral 7B | 7B | 16 GB | 1x A10G / L4 |
| Mistral Nemo | 12B | 24 GB | 1x A10G / RTX 4090 |
| Mixtral 8x7B | 46.7B | 100 GB | 2x A100-80GB |
| Mixtral 8x22B | 141B | 300 GB | 4x A100-80GB |
| Mistral Large 2 | 123B | 250 GB | 4x A100-80GB |
| Codestral | 22B | 48 GB | 1x A100-80GB |
Tuto tabulku nepotřebuješ k odhadu modelu, který zde není uveden. U FP16 počítej zhruba s 2 GB VRAM na miliardu parametrů: pro model 7B je to 7 × 2 = 14 GB minimum, plus režie pro mezipaměť KV a inferenční engine – proto tabulka ukazuje 16 GB. Tato rezerva vysvětluje, proč karta s 16 GB sotva zvládne Mistral 7B a proč nebude stačit, jakmile začneš obsluhovat dlouhé kontexty pro více současných uživatelů.
Kvantizace: Výměna přesnosti za paměť
Kvantizace snižuje přesnost vah modelu, aby se snížila spotřeba paměti, často s minimálním dopadem na kvalitu. U FP8 (osm bitů na váhu) se využití paměti sníží na polovinu oproti FP16 a aktivace se vejde pomocí jednoduchého argumentu:
# Serve a model in FP8 with vLLM
vllm serve mistralai/Mistral-Nemo-Instruct-2407 \
--tokenizer_mode mistral \
--config_format mistral \
--load_format mistral \
--dtype float8_e4m3fn
| Model | FP16 | FP8 | Snížení |
|---|---|---|---|
| Mistral 7B | 14 GB | 7 GB | -50 % |
| Mistral Nemo | 24 GB | 12 GB | -50 % |
| Mixtral 8x7B | 100 GB | 50 GB | -50 % |
Praktický důsledek je jasný: Mixtral 8x7B, který ve FP16 vyžadoval dvě karty A100-80GB, se vejde na jednu kartu ve FP8, čímž snížíš hodinovou fakturaci na polovinu. INT4 (čtyři bity) jde ještě dál, ale dopad na kvalitu je znatelný; v TGI se povoluje pomocí vyhrazeného argumentu:
# AWQ quantization with TGI
docker run --gpus all --shm-size 1g \
-p 8080:80 \
-e HUGGING_FACE_HUB_TOKEN=$HF_TOKEN \
ghcr.io/huggingface/text-generation-inference:2.0.3 \
--model-id mistralai/Mistral-7B-Instruct-v0.3 \
--quantize awq
| Přesnost | Paměť | Kvalita | Rychlost |
|---|---|---|---|
| FP16 | Výchozí hodnota | Výchozí hodnota | Výchozí hodnota |
| FP8 | -50 % | -1 až -2 % | +10–20 % |
| INT4 | -75 % | -3 až -5 % | +30–50 % |
V praxi doporučujeme pro produkci FP8 – ztráta kvality je zanedbatelná. INT4 funguje pro prototypování nebo prostředí s omezenou pamětí, typicky demo na pracovní stanici s GPU určeným pro spotřebitele.
SkyPilot: Multi-cloud orchestrace
SkyPilot je open-source framework pro nasazování LLM na jakýkoli cloud – AWS, GCP, Azure, Lambda Labs a další. Automaticky vybírá nejlevnější GPU a stará se o poskytování zdrojů, takže nemusíš před každým spuštěním ručně porovnávat spotové ceny u tří poskytovatelů. Mistral poskytuje připravené soubory YAML, jejichž struktura popisuje stroj, nastavení a příkaz pro obsluhu:
# mistral-7b.yaml
resources:
accelerators: A10G:1
cloud: aws
setup: |
pip install vllm
run: |
vllm serve mistralai/Mistral-7B-Instruct-v0.3 \
--tokenizer_mode mistral \
--config_format mistral \
--load_format mistral
Celý životní cyklus clusteru se pak redukuje na čtyři příkazy:
# Install SkyPilot
pip install "skypilot[aws,gcp,azure]"
# Launch the cluster
sky launch -c mistral-7b mistral-7b.yaml --region us-east-1
# Check status
sky status
# Stop (to save money)
sky stop mistral-7b
# Delete
sky down mistral-7b
Poslední dva příkazy jsou ty, na které lidé zapomínají. Cluster A10G ponechaný běžet přes víkend stojí stejně jako měsíc využívání API pro střední zátěž, proto je důležité znát orientační cifry:
| Model | Konfigurace SkyPilot | Odhadované náklady v cloudu |
|---|---|---|
| Mistral 7B | A10G:1 | ~1 $/h |
| Mixtral 8x7B | A100-80GB:2 | ~6 $/h |
| Mixtral 8x22B | A100-80GB:4 | ~12 $/h |
Ještě jedna věc si zaslouží tvou pozornost: SkyPilot vytváří virtuální stroje s otevřenými porty ve výchozím nastavení. V produkci omez přístup k síti pomocí bezpečnostních skupin nebo pravidel firewallu, umísti před službu zátěžovou vyrovnávač s autentizací a nikdy nenechávej port 8000 vystavený internetu. Neautentizovaný server vLLM veřejně dostupný znamená GPU, za které platíš jménem někoho jiného.
Cerebrium: Serverless GPU
Cerebrium přistupuje k věci opačně než SkyPilot: místo správy strojů popíšeš službu a platíš pouze za výpočetní výkon, který skutečně využiješ, s automatickým škálováním. Začátek zabere tři příkazy:
pip install cerebrium
cerebrium login
cerebrium init mistral-vllm
Celé nasazení je pak popsáno v souboru cerebrium.toml:
[cerebrium.deployment]
name = "mistral-nemo"
python_version = "3.11"
[cerebrium.hardware]
gpu = "AMPERE_A10"
cpu = 4
memory = 16
[cerebrium.scaling]
min_replicas = 0
max_replicas = 5
cooldown = 60
[cerebrium.dependencies.pip]
vllm = "latest"
Nastavení min_replicas = 0 je klíčovou výhodou tohoto přístupu: když nikdo službu nevolá, nic nestojí. Nevýhodou je, že první požadavek po období nečinnosti musí počkat na spuštění instance. Příkaz cerebrium deploy je vše, co potřebuješ k publikování; platforma se postará o poskytování GPU, automatické škálování od nuly do N replik, vyrovnávání zátěže a monitorování.
Zvládání produkční zátěže
Chceš-li zvýšit propustnost, nehledej větší GPU – znásob instance za zátěžovým vyrovnávačem, přičemž každá obsluhuje stejný model na vlastní kartě:
┌─── vLLM instance 1 (GPU A)
Load Balancer ──────┼─── vLLM instance 2 (GPU B)
└─── vLLM instance 3 (GPU C)
Ke správě celého setupu stačí pět metrik: tokeny za sekundu měří propustnost generování; TTFB (Time To First Byte) udává latenci před prvním tokenem, což je to, co vnímá uživatel; využití GPU by mělo pod zátěží přesáhnout 80 %, jinak platíš za nečinný hardware; sleduj paměť GPU, abys předešel chybám OOM; a hloubka fronty, tedy počet čekajících požadavků, signalizuje nasycení dříve, než si uživatelé začnou stěžovat. Na jediném stroji ti už jednoduché průběžné obnovování dá to podstatné:
# Monitor GPU utilization
watch -n 1 nvidia-smi
Klíčové poznatky
- Počítej s ~2 GB VRAM na miliardu parametrů u FP16
- Kvantizace FP8 sníží využití paměti na polovinu s zanedbatelným dopadem na kvalitu
- SkyPilot zjednodušuje multi-cloud nasazení pomocí připravených konfigurací YAML
- Cerebrium nabízí serverless GPU s automatickým škálováním (platba za výpočet)
- V produkci přidej zátěžový vyrovnávač a nepřetržitě sleduj metriky GPU