Salt la conținutul principal
Română— Alege o limbă
Meniu

Infrastructură și GPU-uri

Lecția 13 din 14 Actualizată 29 iulie 2026 Avansat
Pe această pagină
  1. Dimensionarea infrastructurii dvs. de GPU
  2. Cerințele fiecărui model
  3. Cuantizarea: schimbul dintre precizie și memorie
  4. SkyPilot: Orchestrare multi-cloud
  5. Cerebrium: GPU serverless
  6. Gestionarea sarcinii de producție
  7. Puncte cheie

Dimensionarea infrastructurii dvs. de GPU

Alegerea GPU-ului potrivit, a capacității de memorie și a instrumentului de orchestrare reprezintă un pas critic în auto-găzduire. Un model subdimensionat nu se degradează elegant: refuză să pornească sau se blochează la prima sarcină reală. Vom acoperi cerințele hardware pentru modelele Mistral, tehnicile de cuantizare care reduc necesarul de memorie și două instrumente de orchestrare: SkyPilot și Cerebrium.

Cerințele fiecărui model

Tabelul următor listează cerințele FP16 fără cuantizare – linia de bază pentru orice calcul de dimensionare.

ModelParametriVRAM MinimGPU Recomandat
Mistral 7B7B16 GB1x A10G / L4
Mistral Nemo12B24 GB1x A10G / RTX 4090
Mixtral 8x7B46.7B100 GB2x A100-80GB
Mixtral 8x22B141B300 GB4x A100-80GB
Mistral Large 2123B250 GB4x A100-80GB
Codestral22B48 GB1x A100-80GB

Nu aveți nevoie de acest tabel pentru a estima un model care nu este listat. În FP16, bugetați aproximativ 2 GB de VRAM per miliard de parametri: pentru un model de 7B, 7 x 2 = 14 GB minim, plus overhead pentru cache-ul KV și motorul de inferență – motiv pentru care tabelul indică 16 GB. Această marjă explică de ce o placă de 16 GB abia gestionează Mistral 7B și de ce nu va fi suficientă atunci când serviți contexte lungi mai multor utilizatori concurenți.

Cuantizarea: schimbul dintre precizie și memorie

Cuantizarea reduce precizia ponderilor modelului pentru a scădea consumul de memorie, adesea cu un impact minim asupra calității. În FP8 (opt biți per pondere), utilizarea memoriei este înjumătățită față de FP16, iar activarea se face cu un argument simplu:

# Serve a model in FP8 with vLLM
vllm serve mistralai/Mistral-Nemo-Instruct-2407 \
    --tokenizer_mode mistral \
    --config_format mistral \
    --load_format mistral \
    --dtype float8_e4m3fn
ModelFP16FP8Reducere
Mistral 7B14 GB7 GB-50%
Mistral Nemo24 GB12 GB-50%
Mixtral 8x7B100 GB50 GB-50%

Consecința practică este clară: un Mixtral 8x7B care necesita două plăci A100-80GB în FP16 încap pe o singură placă în FP8, înjumătățind factura orară. INT4 (patru biți) merge și mai departe, dar impactul asupra calității devine vizibil; este activat în TGI printr-un argument dedicat:

# AWQ quantization with TGI
docker run --gpus all --shm-size 1g \
    -p 8080:80 \
    -e HUGGING_FACE_HUB_TOKEN=$HF_TOKEN \
    ghcr.io/huggingface/text-generation-inference:2.0.3 \
    --model-id mistralai/Mistral-7B-Instruct-v0.3 \
    --quantize awq
PrecizieMemorieCalitateViteză
FP16Linia de bazăLinia de bazăLinia de bază
FP8-50%-1 până la -2%+10-20%
INT4-75%-3 până la -5%+30-50%

În practică, recomandăm FP8 pentru producție – pierderea de calitate este neglijabilă. INT4 funcționează pentru prototipare sau medii cu memorie limitată, tipic o demonstrație pe o stație de lucru cu un GPU de consum.

SkyPilot: Orchestrare multi-cloud

SkyPilot este un framework open-source pentru implementarea LLM-urilor pe orice cloud – AWS, GCP, Azure, Lambda Labs și altele. Selectează automat cel mai ieftin GPU și gestionează provizionarea, astfel încât să nu trebuiască să comparați manual prețurile spot la trei furnizori înainte de fiecare lansare. Mistral oferă fișiere YAML gata de utilizare, a căror structură descrie mașina, configurarea și comanda de servire:

# mistral-7b.yaml
resources:
  accelerators: A10G:1
  cloud: aws

setup: |
  pip install vllm

run: |
  vllm serve mistralai/Mistral-7B-Instruct-v0.3 \
      --tokenizer_mode mistral \
      --config_format mistral \
      --load_format mistral

Întregul ciclu de viață al unui cluster se reduce apoi la patru comenzi:

# Install SkyPilot
pip install "skypilot[aws,gcp,azure]"

# Launch the cluster
sky launch -c mistral-7b mistral-7b.yaml --region us-east-1

# Check status
sky status

# Stop (to save money)
sky stop mistral-7b

# Delete
sky down mistral-7b

Aceste ultime două comenzi sunt cele pe care oamenii le uită. Un cluster A10G lăsat să ruleze peste weekend costă cât o lună de utilizare API pentru sarcini moderate, motiv pentru care contează să cunoașteți ordinele de mărime:

ModelConfigurație SkyPilotCost Cloud Estimat
Mistral 7BA10G:1~1$/oră
Mixtral 8x7BA100-80GB:2~6$/oră
Mixtral 8x22BA100-80GB:4~12$/oră

Un ultim punct merită atenția dumneavoastră: SkyPilot creează VM-uri cu porturi deschise implicit. În producție, restricționați accesul la rețea cu Security Groups sau reguli de firewall, plasați un load balancer cu autentificare în fața serviciului și nu lăsați niciodată portul 8000 expus internetului. Un server vLLM neautentificat accesibil public este un GPU pe care îl plătiți în numele altcuiva.

Cerebrium: GPU serverless

Cerebrium adoptă abordarea opusă față de SkyPilot: în loc să gestionați mașini, descrieți un serviciu și plătiți doar pentru computația pe care o utilizați efectiv, cu auto-scaling. Începerea necesită trei comenzi:

pip install cerebrium
cerebrium login
cerebrium init mistral-vllm

Întreaga implementare este apoi descrisă într-un fișier cerebrium.toml:

[cerebrium.deployment]
name = "mistral-nemo"
python_version = "3.11"

[cerebrium.hardware]
gpu = "AMPERE_A10"
cpu = 4
memory = 16

[cerebrium.scaling]
min_replicas = 0
max_replicas = 5
cooldown = 60

[cerebrium.dependencies.pip]
vllm = "latest"

Setarea min_replicas = 0 este avantajul cheie al acestei abordări: când nimeni nu apelează serviciul, nu costă nimic. Compromisul este că prima cerere după o perioadă de inactivitate trebuie să aștepte pornirea unei instanțe. Comanda cerebrium deploy este tot ce aveți nevoie pentru a publica; platforma gestionează provizionarea GPU, auto-scaling de la zero la N replici, echilibrarea sarcinii și monitorizarea.

Gestionarea sarcinii de producție

Pentru a crește throughput-ul, nu căutați un GPU mai mare – înmulțiți instanțele din spatele unui load balancer, fiecare servind același model pe propria sa placă:

                    ┌─── vLLM instance 1 (GPU A)
Load Balancer ──────┼─── vLLM instance 2 (GPU B)
                    └─── vLLM instance 3 (GPU C)

Cinci metrici sunt suficiente pentru a gestiona întreaga configurare: tokeni pe secundă măsoară throughput-ul de generare; TTFB (Time To First Byte) oferă latența înainte de primul token, ceea ce percepe utilizatorul; utilizarea GPU ar trebui să depășească 80% sub sarcină, altfel plătiți pentru hardware inactiv; monitorizați memoria GPU pentru a anticipa erorile OOM; și adâncimea cozii, numărul de cereri în așteptare, semnalează saturația înainte ca utilizatorii să se plângă. Pe o singură mașină, o simplă reîmprospătare continuă vă oferă deja elementele esențiale:

# Monitor GPU utilization
watch -n 1 nvidia-smi

Puncte cheie

  • Bugetați ~2 GB VRAM per miliard de parametri în FP16
  • Cuantizarea FP8 înjumătățește utilizarea memoriei cu un impact neglijabil asupra calității
  • SkyPilot simplifică implementarea multi-cloud cu configurații YAML gata de utilizare
  • Cerebrium oferă GPU serverless cu auto-scaling (plată per computație)
  • În producție, adăugați un load balancer și monitorizați continuu metricile GPU