Ugrás a főtartalomra
Magyar— Nyelv kiválasztása
Menü

Infrastruktúra és GPU-k

13. lecke 14 közül Frissítve 2026. július 29. Haladó
Ezen az oldalon
  1. A GPU-infrastruktúra méretezése
  2. Mit igényel az egyes modellek
  3. Kvantálás: Pontosság cserébe memóriáért
  4. SkyPilot: Többfelhős orchestráció
  5. Cerebrium: Serverless GPU
  6. Éles terhelés kezelése
  7. Főbb megállapítások

A GPU-infrastruktúra méretezése

A megfelelő GPU, memóriakapacitás és orchestrációs eszköz kiválasztása kritikus lépés a saját üzemeltetésben. Egy alulméretezett modell nem degradálódik gracefully: el sem indul, vagy az első valós terhelésnél összeomlik. Bemutatjuk a Mistral modellek hardverkövetelményeit, a memóriaszükségletet csökkentő kvantálási technikákat, valamint két orchestrációs eszközt: a SkyPilotot és a Cerebriumot.

Mit igényel az egyes modellek

Az alábbi táblázat a kvantálás nélküli FP16 követelményeket sorolja fel – ez minden méretezési számítás alapja.

ModellParaméterekMinimális VRAMAjánlott GPU
Mistral 7B7B16 GB1x A10G / L4
Mistral Nemo12B24 GB1x A10G / RTX 4090
Mixtral 8x7B46,7B100 GB2x A100-80GB
Mixtral 8x22B141B300 GB4x A100-80GB
Mistral Large 2123B250 GB4x A100-80GB
Codestral22B48 GB1x A100-80GB

Nem szükséged erre a táblázatra egy fel nem sorolt modell becsléséhez. FP16 esetén számolj durván 2 GB VRAM-mal milliárd paraméterenként: egy 7B modellnél 7 x 2 = 14 GB minimum, plusz overhead a KV cache és az inference motor számára – ezért mutat a táblázat 16 GB-ot. Ez a tartalék magyarázza, miért bír alig egy Mistral 7B-t egy 16 GB-os kártya, és miért nem elég, ha hosszú kontextusokat szolgálsz ki több egyidejű felhasználónak.

Kvantálás: Pontosság cserébe memóriáért

A kvantálás csökkenti a modell súlyainak pontosságát a memóriaigény mérséklése érdekében, gyakran minimális minőségromlás mellett. FP8-ban (súlyonként nyolc bit) a memóriafelhasználás felére csökken FP16-hoz képest, és az aktiválás egy egyszerű argumentummal illeszthető:

# Modell kiszolgálása FP8-ban vLLM-mel
vllm serve mistralai/Mistral-Nemo-Instruct-2407 \
    --tokenizer_mode mistral \
    --config_format mistral \
    --load_format mistral \
    --dtype float8_e4m3fn
ModellFP16FP8Csökkentés
Mistral 7B14 GB7 GB-50%
Mistral Nemo24 GB12 GB-50%
Mixtral 8x7B100 GB50 GB-50%

A gyakorlati következmény egyértelmű: egy Mixtral 8x7B, amely FP16-ban két A100-80GB kártyát igényelt, FP8-ban elfér egy kártyán, felére csökkentve az óránkénti számládat. Az INT4 (négy bit) még tovább megy, de a minőségre gyakorolt hatás észrevehetővé válik; ez a TGI-ben egy dedikált argumentummal engedélyezhető:

# AWQ kvantálás TGI-vel
docker run --gpus all --shm-size 1g \
    -p 8080:80 \
    -e HUGGING_FACE_HUB_TOKEN=$HF_TOKEN \
    ghcr.io/huggingface/text-generation-inference:2.0.3 \
    --model-id mistralai/Mistral-7B-Instruct-v0.3 \
    --quantize awq
PontosságMemóriaMinőségSebesség
FP16AlapértelmezettAlapértelmezettAlapértelmezett
FP8-50%-1至-2%+10-20%
INT4-75%-3至-5%+30-50%

Gyakorlatban az FP8-at ajánljuk éles környezetben – a minőségvesztés elhanyagolható. Az INT4 prototípuskészítésre vagy memória-korlátozott környezetekre működik, tipikusan egy demo-ra egy munkállomáson, fogyasztói kategóriájú GPU-val.

SkyPilot: Többfelhős orchestráció

A SkyPilot egy nyílt forráskódú keretrendszer LLM-ek bármely felhőben történő telepítésére – AWS, GCP, Azure, Lambda Labs és mások. Automatikusan kiválasztja a legolcsóbb GPU-t és kezeli a kiépítést, így nem kell manuálisan összehasonlítanod a spot árakat három szolgáltatónál minden indítás előtt. A Mistral használatra kész YAML fájlokat biztosít, amelyek szerkezete leírja a gépet, a beállítást és a serve parancsot:

# mistral-7b.yaml
resources:
  accelerators: A10G:1
  cloud: aws

setup: |
  pip install vllm

run: |
  vllm serve mistralai/Mistral-7B-Instruct-v0.3 \
      --tokenizer_mode mistral \
      --config_format mistral \
      --load_format mistral

Egy klaszter teljes életciklusa ezután négy parancsra redukálódik:

# SkyPilot telepítése
pip install "skypilot[aws,gcp,azure]"

# Klaszter indítása
sky launch -c mistral-7b mistral-7b.yaml --region us-east-1

# Állapot ellenőrzése
sky status

# Leállítás (pénz megtakarítása érdekében)
sky stop mistral-7b

# Törlés
sky down mistral-7b

Az utolsó két parancs az, amit az emberek elfelejtenek. Egy hétvégén futva hagyott A10G klaszter annyiba kerül, mint egy hónapnyi API-használat mérsékelt terhelés mellett, ezért fontos ismerni a hozzávetőleges számokat:

ModellSkyPilot KonfigurációBecsült Felhőköltség
Mistral 7BA10G:1~1 USD/óra
Mixtral 8x7BA100-80GB:2~6 USD/óra
Mixtral 8x22BA100-80GB:4~12 USD/óra

Egy utolsó pontra érdemes figyelmedet fordítani: a SkyPilot alapértelmezetten nyitott portokkal hoz létre VM-eket. Éles környezetben korlátozd a hálózati hozzáférést Security Groupokkal vagy Tűzfalszabályokkal, helyezz egy hitelesítéssel ellátott load balancert a szolgáltatás elé, és soha ne hagyd a 8000-es portot kitéve az internetnek. Egy nyilvánosan elérhető, hitelesítés nélküli vLLM szerver egy GPU, amit más nevében fizetsz.

Cerebrium: Serverless GPU

A Cerebrium ellentétes megközelítést alkalmaz a SkyPilothoz képest: a gépek kezelése helyett egy szolgáltatást írsz le, és csak a ténylegesen használt számítási kapacitásért fizetsz, automatikus skálázással. A kezdés három parancsot vesz igénybe:

pip install cerebrium
cerebrium login
cerebrium init mistral-vllm

A teljes telepítést ezután egy cerebrium.toml fájl írja le:

[cerebrium.deployment]
name = "mistral-nemo"
python_version = "3.11"

[cerebrium.hardware]
gpu = "AMPERE_A10"
cpu = 4
memory = 16

[cerebrium.scaling]
min_replicas = 0
max_replicas = 5
cooldown = 60

[cerebrium.dependencies.pip]
vllm = "latest"

A min_replicas = 0 beállítás ennek a megközelítésnek a legfőbb előnye: ha senki sem hívja meg a szolgáltatást, az semmibe sem kerül. A hátrány, hogy az első kérésnek egy tétlen időszak után várnia kell egy példány elindulására. A cerebrium deploy parancs az egyetlen, amire a közzétételhez szükséged van; a platform kezeli a GPU kiépítést, a nulláról N példányig történő automatikus skálázást, a load balancinget és a monitorozást.

Éles terhelés kezelése

A throughput növeléséhez ne keress nagyobb GPU-t – szorozd meg a példányokat egy load balancer mögött, ahol mindegyik ugyanazt a modellt szolgálja ki a saját kártyáján:

                    ┌─── vLLM instance 1 (GPU A)
Load Balancer ──────┼─── vLLM instance 2 (GPU B)
                    └─── vLLM instance 3 (GPU C)

Öt metrika elég a teljes setup kezeléséhez: a másodpercenkénti tokenek száma méri a generálás throughputját; a TTFB (Time To First Byte) adja az első token előtti késleltetést, amit a felhasználó érzékel; a GPU kihasználtságnak terhelés alatt 80% felett kell lennie, különben tétlen hardverért fizetsz; figyeld a GPU memóriát az OOM hibák előrejelzésére; és a sor mélysége, azaz a függőben lévő kérések száma, jelzi a telítettséget, mielőtt a felhasználók panaszkodnának. Egyetlen gépen egy egyszerű folyamatos frissítés már megadja a lényeget:

# GPU kihasználtság monitorozása
watch -n 1 nvidia-smi

Főbb megállapítások

  • Számolj ~2 GB VRAM-mal milliárd paraméterenként FP16-ban
  • Az FP8 kvantálás felére csökkenti a memóriaigényt elhanyagolható minőségromlás mellett
  • A SkyPilot leegyszerűsíti a többfelhős telepítést használatra kész YAML konfigurációkkal
  • A Cerebrium serverless GPU-t kínál automatikus skálázással (fizetés a használat után)
  • Éles környezetben adj hozzá egy load balancert, és folyamatosan monitorozd a GPU metrikákat