Lähe põhisisu juurde
Eesti— Vali keel
Menüü

Taristu ja GPU-d

Õppetund 13 / 14 Värskendatud 29. juuli 2026 Edasijõudnutele
Sellel lehel
  1. GPU-taristu suuruse määramine
  2. Mida iga mudel nõuab
  3. Kvantimine: täpsuse vahetamine mälu vastu
  4. SkyPilot: mitme pilve orkestratsioon
  5. Cerebrium: serverita GPU
  6. Tootmiskoormuse haldamine
  7. Peamised punktid

GPU-taristu suuruse määramine

Õige GPU, mälumahtuvuse ja orkestratsioonitööriista valimine on enese majutamisel kriitiline samm. Alamõõdus mudel ei halvene sujuvalt: see keeldub käivitumast või kukub esimese reaalse koormuse all kokku. Käsitleme Mistrali mudelite riistvaranõudeid, kvantimistehnikaid, mis vähendavad mäluvajadust, ning kahte orkestratsioonitööriista: SkyPilotti ja Cerebriumi.

Mida iga mudel nõuab

Järgnev tabel loetleb FP16 nõuded ilma kvantimiseta – see on iga suuruse arvutuse baasjoon.

MudelParameetridMinimaalne VRAMSoovitatav GPU
Mistral 7B7B16 GB1x A10G / L4
Mistral Nemo12B24 GB1x A10G / RTX 4090
Mixtral 8x7B46.7B100 GB2x A100-80GB
Mixtral 8x22B141B300 GB4x A100-80GB
Mistral Large 2123B250 GB4x A100-80GB
Codestral22B48 GB1x A100-80GB

Seda tabelit pole vaja mudeli hindamiseks, mida nimekirjas pole. FP16-formaadis arvesta ligikaudu 2 GB VRAM-i miljardi parameetri kohta: 7B mudeli puhul 7 x 2 = 14 GB miinimum, pluss üldkulu KV-vahemälu ja järeldusmootori jaoks – seetõttu näitab tabel 16 GB. See varu selgitab, miks 16 GB kaart vaevalt suudab Mistral 7B-d hallata ja miks sellest ei piisa, kui teenindad pikki kontekste mitmele samaaegsele kasutajale.

Kvantimine: täpsuse vahetamine mälu vastu

Kvantimine vähendab mudeli kaalude täpsust, et langetada mälutarbimist, sageli minimaalse mõjuga kvaliteedile. FP8-s (kaheksa bitti kaalu kohta) lõigatakse mälukasutus FP16-ga võrreldes pooleks ja aktivatsioon mahub lihtsa argumendiga:

# Serve a model in FP8 with vLLM
vllm serve mistralai/Mistral-Nemo-Instruct-2407 \
    --tokenizer_mode mistral \
    --config_format mistral \
    --load_format mistral \
    --dtype float8_e4m3fn
MudelFP16FP8Vähendus
Mistral 7B14 GB7 GB-50%
Mistral Nemo24 GB12 GB-50%
Mixtral 8x7B100 GB50 GB-50%

Praktiline tagajärg on selge: Mixtral 8x7B, mis vajas FP16-s kahte A100-80GB kaarti, mahub FP8-s ühele kaardile, lõigates sinu tunnihinna pooleks. INT4 (neli bitti) läheb veelgi kaugemale, kuid mõju kvaliteedile muutub märgatavaks; see on TGI-s lubatud spetsiaalse argumendiga:

# AWQ quantization with TGI
docker run --gpus all --shm-size 1g \
    -p 8080:80 \
    -e HUGGING_FACE_HUB_TOKEN=$HF_TOKEN \
    ghcr.io/huggingface/text-generation-inference:2.0.3 \
    --model-id mistralai/Mistral-7B-Instruct-v0.3 \
    --quantize awq
TäpsusMäluKvaliteetKiirus
FP16BaasjoonBaasjoonBaasjoon
FP8-50%-1 kuni -2%+10–20%
INT4-75%-3 kuni -5%+30–50%

Praktikas soovitame tootmises FP8-d – kvaliteedikadu on tühine. INT4 sobib prototüüpimiseks või mälupiirangutega keskkondades, tüüpiliselt demo jaoks tööjaamas tarbijaklassi GPU-ga.

SkyPilot: mitme pilve orkestratsioon

SkyPilot on avatud lähtekoodiga raamistik LLM-ide kasutuselevõtuks mis tahes pilves – AWS, GCP, Azure, Lambda Labs ja teised. See valib automaatselt odavaima GPU ja haldab varustamist, nii et sul ei pea enne iga käivitamist käsitsi võrdlema spot-hindu kolme teenusepakkuja vahel. Mistral pakub valmis YAML-faile, mille struktuur kirjeldab masinat, seadistust ja serveerimiskäsku:

# mistral-7b.yaml
resources:
  accelerators: A10G:1
  cloud: aws

setup: |
  pip install vllm

run: |
  vllm serve mistralai/Mistral-7B-Instruct-v0.3 \
      --tokenizer_mode mistral \
      --config_format mistral \
      --load_format mistral

Klastri kogu elutsükkel taandub seejärel neljale käsule:

# Install SkyPilot
pip install "skypilot[aws,gcp,azure]"

# Launch the cluster
sky launch -c mistral-7b mistral-7b.yaml --region us-east-1

# Check status
sky status

# Stop (to save money)
sky stop mistral-7b

# Delete
sky down mistral-7b

Need kaks viimast käsku on need, mida inimesed unustavad. Nädalavahetuseks tööle jäetud A10G klaster maksab sama palju kui kuu API-kasutus mõõdukate töökoormuste korral, mistõttu on oluline teada ligikaudseid numbreid:

MudelSkyPiloti konfiguratsioonHinnanguline pilve hind
Mistral 7BA10G:1~1 $/h
Mixtral 8x7BA100-80GB:2~6 $/h
Mixtral 8x22BA100-80GB:4~12 $/h

Üks viimane punkt väärib tähelepanu: SkyPilot loob VM-id vaikimisi avatud portidega. Tootmises piira võrgujuurdepääsu turvarühmade või tulemüüri reeglitega, paiguta teenuse ette autentimisega koormusjaotur ja ära jäta kunagi porti 8000 internetti avalikuks. Autentimata vLLM-server, mis on avalikult kättesaadav, on GPU, mille eest sa maksad kellegi teise eest.

Cerebrium: serverita GPU

Cerebrium võtab SkyPilotti vastupidise lähenemise: masinate haldamise asemel kirjeldad teenust ja maksad ainult tegelikult kasutatud arvutusvõimsuse eest koos automaatse skaleerimisega. Alustamiseks kulub kolm käsku:

pip install cerebrium
cerebrium login
cerebrium init mistral-vllm

Kogu kasutuselevõtt kirjeldatakse seejärel failis cerebrium.toml:

[cerebrium.deployment]
name = "mistral-nemo"
python_version = "3.11"

[cerebrium.hardware]
gpu = "AMPERE_A10"
cpu = 4
memory = 16

[cerebrium.scaling]
min_replicas = 0
max_replicas = 5
cooldown = 60

[cerebrium.dependencies.pip]
vllm = "latest"

Sätted min_replicas = 0 on selle lähenemise peamine eelis: kui keegi teenust ei kutsu, ei maksa see midagi. Kompromissiks on see, et esimene päring pärast jõudeolekut peab ootama, kuni instants käivitub. Käsk cerebrium deploy on kõik, mida avaldamiseks vajad; platvorm haldab GPU varustamist, automaatset skaleerimist nullist N replikani, koormusjaotust ja jälgimist.

Tootmiskoormuse haldamine

Läbilaskevõime suurendamiseks ära otsi suuremat GPU-d – korrusta instantse koormusjaoturi taga, kus üks teenindab sama mudelit oma kaardil:

                    ┌─── vLLM instance 1 (GPU A)
Load Balancer ──────┼─── vLLM instance 2 (GPU B)
                    └─── vLLM instance 3 (GPU C)

Kogu seadistuse haldamiseks piisab viiest mõõdikust: tokenid sekundis mõõdab genereerimise läbilaskevõimet; TTFB (Time To First Byte) annab latentsuse enne esimest tokenit, mida kasutaja tajub; GPU kasutus peaks koormuse all ületama 80%, vastasel juhul maksad jõudeoleku riistvara eest; jälgi GPU mälu, et ennustada OOM-vigu; ja järjekorra sügavus, ootel päringute arv, annab märku küllastumisest enne, kui kasutajad kaebavad. Ühel masinal annab lihtne pidev värskendus juba põhiosa:

# Monitor GPU utilization
watch -n 1 nvidia-smi

Peamised punktid

  • Arvesta FP16-s ~2 GB VRAM-i miljardi parameetri kohta
  • FP8 kvantimine poolitab mälukasutuse tühise kvaliteedikaduga
  • SkyPilot lihtsustab mitme pilve kasutuselevõttu valmis YAML-konfiguratsioonidega
  • Cerebrium pakub serverita GPU-d automaatse skaleerimisega (maksa arvutuse eest)
  • Tootmises lisa koormusjaotur ja jälgi pidevalt GPU mõõdikuid