Pāriet uz galveno saturu
Latviešu— Izvēlēties valodu
Izvēlne

Infrastruktūra un GPU

Nodarbība 13 no 14 Atjaunota 2026. gada 29. jūlijs Augstākais
Šajā lapā
  1. GPU infrastruktūras jaudas plānošana
  2. Ko prasa katrs modelis
  3. Kvantēšana: precizitātes maiņa pret atmiņu
  4. SkyPilot: vairāku mākoņu orķestrācija
  5. Cerebrium: serverless GPU
  6. Ražošanas slodzes apstrāde
  7. Galvenās atziņas

GPU infrastruktūras jaudas plānošana

Pareiza GPU, atmiņas ietilpības un orķestrācijas rīka izvēle ir kritisks solis, mitinot modeļus pašam. Nepietiekamas jaudas modelis nedarbojas pakāpeniski pasliktinoties: tas vai nu atsakās startēt, vai arī sabrūk pie pirmās reālās slodzes. Apskatīsim Mistral modeļu aparatūras prasības, kvantēšanas metodes, kas samazina atmiņas nepieciešamību, un divus orķestrācijas rīkus: SkyPilot un Cerebrium.

Ko prasa katrs modelis

Zemāk esošajā tabulā uzskaitītas FP16 prasības bez kvantēšanas – tas ir bāzes līmenis jebkuriem jaudas aprēķiniem.

ModelisParametriMinimālā VRAMIeteicamais GPU
Mistral 7B7B16 GB1x A10G / L4
Mistral Nemo12B24 GB1x A10G / RTX 4090
Mixtral 8x7B46.7B100 GB2x A100-80GB
Mixtral 8x22B141B300 GB4x A100-80GB
Mistral Large 2123B250 GB4x A100-80GB
Codestral22B48 GB1x A100-80GB

Šī tabula nav nepieciešama, lai novērtētu modeli, kas tajā nav uzskaitīts. FP16 formātā rēķini aptuveni 2 GB VRAM uz katru miljardu parametru: 7B modelim 7 x 2 = 14 GB minimums, plus rezerve KV kešatmiņai un secinājumu dzinējam – tieši tāpēc tabulā redzami 16 GB. Šī rezerve izskaidro, kāpēc 16 GB karte ar grūtībām apkalpo Mistral 7B un kāpēc tā nepietiks, kad vienlaikus vairākiem lietotājiem nodrošināsi garu kontekstu.

Kvantēšana: precizitātes maiņa pret atmiņu

Kvantēšana samazina modeļa svaru precizitāti, lai mazinātu atmiņas patēriņu, bieži vien ar minimālu ietekmi uz kvalitāti. FP8 (astoņi biti uz svaru) formātā atmiņas izmantošana tiek samazināta uz pusi salīdzinājumā ar FP16, un aktivizācija iederas, izmanojot vienkāršu argumentu:

# Serve a model in FP8 with vLLM
vllm serve mistralai/Mistral-Nemo-Instruct-2407 \
    --tokenizer_mode mistral \
    --config_format mistral \
    --load_format mistral \
    --dtype float8_e4m3fn
ModelisFP16FP8Samazinājums
Mistral 7B14 GB7 GB-50%
Mistral Nemo24 GB12 GB-50%
Mixtral 8x7B100 GB50 GB-50%

Praktiskās sekas ir acīmredzamas: Mixtral 8x7B, kam FP16 formātā bija vajadzīgas divas A100-80GB kartes, FP8 formātā ietilpst vienā kartē, samazinot stundas maksu uz pusi. INT4 (četri biti) iet vēl tālāk, taču ietekme uz kvalitāti kļūst manāma; TGI vidē tas tiek aktivizēts ar īpašu argumentu:

# AWQ quantization with TGI
docker run --gpus all --shm-size 1g \
    -p 8080:80 \
    -e HUGGING_FACE_HUB_TOKEN=$HF_TOKEN \
    ghcr.io/huggingface/text-generation-inference:2.0.3 \
    --model-id mistralai/Mistral-7B-Instruct-v0.3 \
    --quantize awq
PrecizitāteAtmiņaKvalitāteĀtrums
FP16BāzeBāzeBāze
FP8-50%-1 līdz -2%+10-20%
INT4-75%-3 līdz -5%+30-50%

Praksē ražošanas videi iesakām FP8 – kvalitātes zudums ir niecīgs. INT4 der prototipēšanai vai videi ar ierobežotu atmiņu, parasti demonstrācijām darbstacijā ar patērētāja klases GPU.

SkyPilot: vairāku mākoņu orķestrācija

SkyPilot ir atvērta pirmkoda ietvars LLM izvietošanai jebkurā mākonī – AWS, GCP, Azure, Lambda Labs un citos. Tas automātiski izvēlas lētāko GPU un nodrošina nodrošināšanu, lai tev nebūtu manuāli jāsalīdzina spot cenas starp trim pakalpojumu sniedzējiem pirms katras palaišanas. Mistral piedāvā gatavus YAML failus, kuru struktūra apraksta mašīnu, iestatīšanu un servisa komandu:

# mistral-7b.yaml
resources:
  accelerators: A10G:1
  cloud: aws

setup: |
  pip install vllm

run: |
  vllm serve mistralai/Mistral-7B-Instruct-v0.3 \
      --tokenizer_mode mistral \
      --config_format mistral \
      --load_format mistral

Viss klastera dzīves cikls tad reducējas uz četrām komandām:

# Install SkyPilot
pip install "skypilot[aws,gcp,azure]"

# Launch the cluster
sky launch -c mistral-7b mistral-7b.yaml --region us-east-1

# Check status
sky status

# Stop (to save money)
sky stop mistral-7b

# Delete
sky down mistral-7b

Tieši pēdējās divas komandas ir tās, ko cilvēki aizmirst. A10G klasteris, kas atstāts ieslēgts nedēļas nogalē, izmaksā tikpat, cik mēnesi ilga API lietošana mērenām slodzēm, tāpēc ir svarīgi zināt aptuvenos skaitļus:

ModelisSkyPilot konfigurācijaParedzamās mākoņa izmaksas
Mistral 7BA10G:1~$1/h
Mixtral 8x7BA100-80GB:2~$6/h
Mixtral 8x22BA100-80GB:4~$12/h

Vēl viens punkts pelna tavu uzmanību: SkyPilot pēc noklusējuma izveido VM ar atvērtiem portiem. Ražošanas vidē ierobežo tīkla piekļuvi, izmantojot drošības grupas vai ugunsmūra noteikumus, novieto slodzes līdzsvarotāju ar autentifikāciju servisa priekšā un nekad neatstāj 8000. portu pieejamu internetam. Neautentificēts vLLM serveris, kas publiski pieejams, ir GPU, par kuru tu maksā kāda cita vārdā.

Cerebrium: serverless GPU

Cerebrium pieņem pretēju pieeju SkyPilot: tā vietā, lai pārvaldītu mašīnas, tu apraksti servisu un maksā tikai par faktiski izmantoto skaitļošanas jaudu ar automātisko mērogošanu. Sākšana prasa tikai trīs komandas:

pip install cerebrium
cerebrium login
cerebrium init mistral-vllm

Viss izvietošanas process tad tiek aprakstīts cerebrium.toml failā:

[cerebrium.deployment]
name = "mistral-nemo"
python_version = "3.11"

[cerebrium.hardware]
gpu = "AMPERE_A10"
cpu = 4
memory = 16

[cerebrium.scaling]
min_replicas = 0
max_replicas = 5
cooldown = 60

[cerebrium.dependencies.pip]
vllm = "latest"

Iestatījums min_replicas = 0 ir šīs pieejas galvenā priekšrocība: kad neviens neizsauc servisu, tas neko nemaksā. Kompromiss ir tāds, ka pirmajam pieprasījumam pēc dīkstāves perioda jāgaida, kamēr instances startējas. Komanda cerebrium deploy ir viss, kas nepieciešams publikācijai; platforma nodrošina GPU nodrošināšanu, automātisko mērogošanu no nulles līdz N replikām, slodzes līdzsvarošanu un uzraudzību.

Ražošanas slodzes apstrāde

Lai palielinātu caurlaidspēju, nemeklē lielāku GPU – vairot instances aiz slodzes līdzsvarotāja, kur katra apkalpo to pašu modeli uz savas kartes:

                    ┌─── vLLM instance 1 (GPU A)
Load Balancer ──────┼─── vLLM instance 2 (GPU B)
                    └─── vLLM instance 3 (GPU C)

Visas iestatījumu pārvaldībai pietiek ar pieciem rādītājiem: tokeni sekundē mēra ģenerēšanas caurlaidspēju; TTFB (Time To First Byte) norāda latentumu pirms pirmā tokena, ko lietotājs uztver; GPU izmantojumam slodzes laikā jābūt virs 80%, pretējā gadījumā maksā par dīkstāves aparatūru; uzraugi GPU atmiņu, lai paredzētu OOM kļūdas; un rindas dziļums – gaidošo pieprasījumu skaits – signalizē par piesātinājumu pirms lietotāji sāk sūdzēties. Vienā mašīnā vienkārša nepārtraukta atsvaidzināšana jau nodrošina būtiskāko:

# Monitor GPU utilization
watch -n 1 nvidia-smi

Galvenās atziņas

  • Plāno aptuveni 2 GB VRAM uz katru miljardu parametru FP16 formātā
  • FP8 kvantēšana uz pusi samazina atmiņas izmantošanu ar niecīgu ietekmi uz kvalitāti
  • SkyPilot vienkāršo vairāku mākoņu izvietošanu ar gataviem YAML konfigurācijas failiem
  • Cerebrium piedāvā serverless GPU ar automātisko mērogošanu (maksā par izmantoto skaitļošanas jaudu)
  • Ražošanas vidē pievieno slodzes līdzsvarotāju un nepārtraukti uzraugi GPU rādītājus