Infrastruktúra és GPU-k
Ezen az oldalon
A GPU-infrastruktúra méretezése
A megfelelő GPU, memóriakapacitás és orchestrációs eszköz kiválasztása kritikus lépés a saját üzemeltetésben. Egy alulméretezett modell nem degradálódik gracefully: el sem indul, vagy az első valós terhelésnél összeomlik. Bemutatjuk a Mistral modellek hardverkövetelményeit, a memóriaszükségletet csökkentő kvantálási technikákat, valamint két orchestrációs eszközt: a SkyPilotot és a Cerebriumot.
Mit igényel az egyes modellek
Az alábbi táblázat a kvantálás nélküli FP16 követelményeket sorolja fel – ez minden méretezési számítás alapja.
| Modell | Paraméterek | Minimális VRAM | Ajánlott GPU |
|---|---|---|---|
| Mistral 7B | 7B | 16 GB | 1x A10G / L4 |
| Mistral Nemo | 12B | 24 GB | 1x A10G / RTX 4090 |
| Mixtral 8x7B | 46,7B | 100 GB | 2x A100-80GB |
| Mixtral 8x22B | 141B | 300 GB | 4x A100-80GB |
| Mistral Large 2 | 123B | 250 GB | 4x A100-80GB |
| Codestral | 22B | 48 GB | 1x A100-80GB |
Nem szükséged erre a táblázatra egy fel nem sorolt modell becsléséhez. FP16 esetén számolj durván 2 GB VRAM-mal milliárd paraméterenként: egy 7B modellnél 7 x 2 = 14 GB minimum, plusz overhead a KV cache és az inference motor számára – ezért mutat a táblázat 16 GB-ot. Ez a tartalék magyarázza, miért bír alig egy Mistral 7B-t egy 16 GB-os kártya, és miért nem elég, ha hosszú kontextusokat szolgálsz ki több egyidejű felhasználónak.
Kvantálás: Pontosság cserébe memóriáért
A kvantálás csökkenti a modell súlyainak pontosságát a memóriaigény mérséklése érdekében, gyakran minimális minőségromlás mellett. FP8-ban (súlyonként nyolc bit) a memóriafelhasználás felére csökken FP16-hoz képest, és az aktiválás egy egyszerű argumentummal illeszthető:
# Modell kiszolgálása FP8-ban vLLM-mel
vllm serve mistralai/Mistral-Nemo-Instruct-2407 \
--tokenizer_mode mistral \
--config_format mistral \
--load_format mistral \
--dtype float8_e4m3fn
| Modell | FP16 | FP8 | Csökkentés |
|---|---|---|---|
| Mistral 7B | 14 GB | 7 GB | -50% |
| Mistral Nemo | 24 GB | 12 GB | -50% |
| Mixtral 8x7B | 100 GB | 50 GB | -50% |
A gyakorlati következmény egyértelmű: egy Mixtral 8x7B, amely FP16-ban két A100-80GB kártyát igényelt, FP8-ban elfér egy kártyán, felére csökkentve az óránkénti számládat. Az INT4 (négy bit) még tovább megy, de a minőségre gyakorolt hatás észrevehetővé válik; ez a TGI-ben egy dedikált argumentummal engedélyezhető:
# AWQ kvantálás TGI-vel
docker run --gpus all --shm-size 1g \
-p 8080:80 \
-e HUGGING_FACE_HUB_TOKEN=$HF_TOKEN \
ghcr.io/huggingface/text-generation-inference:2.0.3 \
--model-id mistralai/Mistral-7B-Instruct-v0.3 \
--quantize awq
| Pontosság | Memória | Minőség | Sebesség |
|---|---|---|---|
| FP16 | Alapértelmezett | Alapértelmezett | Alapértelmezett |
| FP8 | -50% | -1至-2% | +10-20% |
| INT4 | -75% | -3至-5% | +30-50% |
Gyakorlatban az FP8-at ajánljuk éles környezetben – a minőségvesztés elhanyagolható. Az INT4 prototípuskészítésre vagy memória-korlátozott környezetekre működik, tipikusan egy demo-ra egy munkállomáson, fogyasztói kategóriájú GPU-val.
SkyPilot: Többfelhős orchestráció
A SkyPilot egy nyílt forráskódú keretrendszer LLM-ek bármely felhőben történő telepítésére – AWS, GCP, Azure, Lambda Labs és mások. Automatikusan kiválasztja a legolcsóbb GPU-t és kezeli a kiépítést, így nem kell manuálisan összehasonlítanod a spot árakat három szolgáltatónál minden indítás előtt. A Mistral használatra kész YAML fájlokat biztosít, amelyek szerkezete leírja a gépet, a beállítást és a serve parancsot:
# mistral-7b.yaml
resources:
accelerators: A10G:1
cloud: aws
setup: |
pip install vllm
run: |
vllm serve mistralai/Mistral-7B-Instruct-v0.3 \
--tokenizer_mode mistral \
--config_format mistral \
--load_format mistral
Egy klaszter teljes életciklusa ezután négy parancsra redukálódik:
# SkyPilot telepítése
pip install "skypilot[aws,gcp,azure]"
# Klaszter indítása
sky launch -c mistral-7b mistral-7b.yaml --region us-east-1
# Állapot ellenőrzése
sky status
# Leállítás (pénz megtakarítása érdekében)
sky stop mistral-7b
# Törlés
sky down mistral-7b
Az utolsó két parancs az, amit az emberek elfelejtenek. Egy hétvégén futva hagyott A10G klaszter annyiba kerül, mint egy hónapnyi API-használat mérsékelt terhelés mellett, ezért fontos ismerni a hozzávetőleges számokat:
| Modell | SkyPilot Konfiguráció | Becsült Felhőköltség |
|---|---|---|
| Mistral 7B | A10G:1 | ~1 USD/óra |
| Mixtral 8x7B | A100-80GB:2 | ~6 USD/óra |
| Mixtral 8x22B | A100-80GB:4 | ~12 USD/óra |
Egy utolsó pontra érdemes figyelmedet fordítani: a SkyPilot alapértelmezetten nyitott portokkal hoz létre VM-eket. Éles környezetben korlátozd a hálózati hozzáférést Security Groupokkal vagy Tűzfalszabályokkal, helyezz egy hitelesítéssel ellátott load balancert a szolgáltatás elé, és soha ne hagyd a 8000-es portot kitéve az internetnek. Egy nyilvánosan elérhető, hitelesítés nélküli vLLM szerver egy GPU, amit más nevében fizetsz.
Cerebrium: Serverless GPU
A Cerebrium ellentétes megközelítést alkalmaz a SkyPilothoz képest: a gépek kezelése helyett egy szolgáltatást írsz le, és csak a ténylegesen használt számítási kapacitásért fizetsz, automatikus skálázással. A kezdés három parancsot vesz igénybe:
pip install cerebrium
cerebrium login
cerebrium init mistral-vllm
A teljes telepítést ezután egy cerebrium.toml fájl írja le:
[cerebrium.deployment]
name = "mistral-nemo"
python_version = "3.11"
[cerebrium.hardware]
gpu = "AMPERE_A10"
cpu = 4
memory = 16
[cerebrium.scaling]
min_replicas = 0
max_replicas = 5
cooldown = 60
[cerebrium.dependencies.pip]
vllm = "latest"
A min_replicas = 0 beállítás ennek a megközelítésnek a legfőbb előnye: ha senki sem hívja meg a szolgáltatást, az semmibe sem kerül. A hátrány, hogy az első kérésnek egy tétlen időszak után várnia kell egy példány elindulására. A cerebrium deploy parancs az egyetlen, amire a közzétételhez szükséged van; a platform kezeli a GPU kiépítést, a nulláról N példányig történő automatikus skálázást, a load balancinget és a monitorozást.
Éles terhelés kezelése
A throughput növeléséhez ne keress nagyobb GPU-t – szorozd meg a példányokat egy load balancer mögött, ahol mindegyik ugyanazt a modellt szolgálja ki a saját kártyáján:
┌─── vLLM instance 1 (GPU A)
Load Balancer ──────┼─── vLLM instance 2 (GPU B)
└─── vLLM instance 3 (GPU C)
Öt metrika elég a teljes setup kezeléséhez: a másodpercenkénti tokenek száma méri a generálás throughputját; a TTFB (Time To First Byte) adja az első token előtti késleltetést, amit a felhasználó érzékel; a GPU kihasználtságnak terhelés alatt 80% felett kell lennie, különben tétlen hardverért fizetsz; figyeld a GPU memóriát az OOM hibák előrejelzésére; és a sor mélysége, azaz a függőben lévő kérések száma, jelzi a telítettséget, mielőtt a felhasználók panaszkodnának. Egyetlen gépen egy egyszerű folyamatos frissítés már megadja a lényeget:
# GPU kihasználtság monitorozása
watch -n 1 nvidia-smi
Főbb megállapítások
- Számolj ~2 GB VRAM-mal milliárd paraméterenként FP16-ban
- Az FP8 kvantálás felére csökkenti a memóriaigényt elhanyagolható minőségromlás mellett
- A SkyPilot leegyszerűsíti a többfelhős telepítést használatra kész YAML konfigurációkkal
- A Cerebrium serverless GPU-t kínál automatikus skálázással (fizetés a használat után)
- Éles környezetben adj hozzá egy load balancert, és folyamatosan monitorozd a GPU metrikákat