Infrastruktūra un GPU
Šajā lapā
GPU infrastruktūras jaudas plānošana
Pareiza GPU, atmiņas ietilpības un orķestrācijas rīka izvēle ir kritisks solis, mitinot modeļus pašam. Nepietiekamas jaudas modelis nedarbojas pakāpeniski pasliktinoties: tas vai nu atsakās startēt, vai arī sabrūk pie pirmās reālās slodzes. Apskatīsim Mistral modeļu aparatūras prasības, kvantēšanas metodes, kas samazina atmiņas nepieciešamību, un divus orķestrācijas rīkus: SkyPilot un Cerebrium.
Ko prasa katrs modelis
Zemāk esošajā tabulā uzskaitītas FP16 prasības bez kvantēšanas – tas ir bāzes līmenis jebkuriem jaudas aprēķiniem.
| Modelis | Parametri | Minimālā VRAM | Ieteicamais GPU |
|---|---|---|---|
| Mistral 7B | 7B | 16 GB | 1x A10G / L4 |
| Mistral Nemo | 12B | 24 GB | 1x A10G / RTX 4090 |
| Mixtral 8x7B | 46.7B | 100 GB | 2x A100-80GB |
| Mixtral 8x22B | 141B | 300 GB | 4x A100-80GB |
| Mistral Large 2 | 123B | 250 GB | 4x A100-80GB |
| Codestral | 22B | 48 GB | 1x A100-80GB |
Šī tabula nav nepieciešama, lai novērtētu modeli, kas tajā nav uzskaitīts. FP16 formātā rēķini aptuveni 2 GB VRAM uz katru miljardu parametru: 7B modelim 7 x 2 = 14 GB minimums, plus rezerve KV kešatmiņai un secinājumu dzinējam – tieši tāpēc tabulā redzami 16 GB. Šī rezerve izskaidro, kāpēc 16 GB karte ar grūtībām apkalpo Mistral 7B un kāpēc tā nepietiks, kad vienlaikus vairākiem lietotājiem nodrošināsi garu kontekstu.
Kvantēšana: precizitātes maiņa pret atmiņu
Kvantēšana samazina modeļa svaru precizitāti, lai mazinātu atmiņas patēriņu, bieži vien ar minimālu ietekmi uz kvalitāti. FP8 (astoņi biti uz svaru) formātā atmiņas izmantošana tiek samazināta uz pusi salīdzinājumā ar FP16, un aktivizācija iederas, izmanojot vienkāršu argumentu:
# Serve a model in FP8 with vLLM
vllm serve mistralai/Mistral-Nemo-Instruct-2407 \
--tokenizer_mode mistral \
--config_format mistral \
--load_format mistral \
--dtype float8_e4m3fn
| Modelis | FP16 | FP8 | Samazinājums |
|---|---|---|---|
| Mistral 7B | 14 GB | 7 GB | -50% |
| Mistral Nemo | 24 GB | 12 GB | -50% |
| Mixtral 8x7B | 100 GB | 50 GB | -50% |
Praktiskās sekas ir acīmredzamas: Mixtral 8x7B, kam FP16 formātā bija vajadzīgas divas A100-80GB kartes, FP8 formātā ietilpst vienā kartē, samazinot stundas maksu uz pusi. INT4 (četri biti) iet vēl tālāk, taču ietekme uz kvalitāti kļūst manāma; TGI vidē tas tiek aktivizēts ar īpašu argumentu:
# AWQ quantization with TGI
docker run --gpus all --shm-size 1g \
-p 8080:80 \
-e HUGGING_FACE_HUB_TOKEN=$HF_TOKEN \
ghcr.io/huggingface/text-generation-inference:2.0.3 \
--model-id mistralai/Mistral-7B-Instruct-v0.3 \
--quantize awq
| Precizitāte | Atmiņa | Kvalitāte | Ātrums |
|---|---|---|---|
| FP16 | Bāze | Bāze | Bāze |
| FP8 | -50% | -1 līdz -2% | +10-20% |
| INT4 | -75% | -3 līdz -5% | +30-50% |
Praksē ražošanas videi iesakām FP8 – kvalitātes zudums ir niecīgs. INT4 der prototipēšanai vai videi ar ierobežotu atmiņu, parasti demonstrācijām darbstacijā ar patērētāja klases GPU.
SkyPilot: vairāku mākoņu orķestrācija
SkyPilot ir atvērta pirmkoda ietvars LLM izvietošanai jebkurā mākonī – AWS, GCP, Azure, Lambda Labs un citos. Tas automātiski izvēlas lētāko GPU un nodrošina nodrošināšanu, lai tev nebūtu manuāli jāsalīdzina spot cenas starp trim pakalpojumu sniedzējiem pirms katras palaišanas. Mistral piedāvā gatavus YAML failus, kuru struktūra apraksta mašīnu, iestatīšanu un servisa komandu:
# mistral-7b.yaml
resources:
accelerators: A10G:1
cloud: aws
setup: |
pip install vllm
run: |
vllm serve mistralai/Mistral-7B-Instruct-v0.3 \
--tokenizer_mode mistral \
--config_format mistral \
--load_format mistral
Viss klastera dzīves cikls tad reducējas uz četrām komandām:
# Install SkyPilot
pip install "skypilot[aws,gcp,azure]"
# Launch the cluster
sky launch -c mistral-7b mistral-7b.yaml --region us-east-1
# Check status
sky status
# Stop (to save money)
sky stop mistral-7b
# Delete
sky down mistral-7b
Tieši pēdējās divas komandas ir tās, ko cilvēki aizmirst. A10G klasteris, kas atstāts ieslēgts nedēļas nogalē, izmaksā tikpat, cik mēnesi ilga API lietošana mērenām slodzēm, tāpēc ir svarīgi zināt aptuvenos skaitļus:
| Modelis | SkyPilot konfigurācija | Paredzamās mākoņa izmaksas |
|---|---|---|
| Mistral 7B | A10G:1 | ~$1/h |
| Mixtral 8x7B | A100-80GB:2 | ~$6/h |
| Mixtral 8x22B | A100-80GB:4 | ~$12/h |
Vēl viens punkts pelna tavu uzmanību: SkyPilot pēc noklusējuma izveido VM ar atvērtiem portiem. Ražošanas vidē ierobežo tīkla piekļuvi, izmantojot drošības grupas vai ugunsmūra noteikumus, novieto slodzes līdzsvarotāju ar autentifikāciju servisa priekšā un nekad neatstāj 8000. portu pieejamu internetam. Neautentificēts vLLM serveris, kas publiski pieejams, ir GPU, par kuru tu maksā kāda cita vārdā.
Cerebrium: serverless GPU
Cerebrium pieņem pretēju pieeju SkyPilot: tā vietā, lai pārvaldītu mašīnas, tu apraksti servisu un maksā tikai par faktiski izmantoto skaitļošanas jaudu ar automātisko mērogošanu. Sākšana prasa tikai trīs komandas:
pip install cerebrium
cerebrium login
cerebrium init mistral-vllm
Viss izvietošanas process tad tiek aprakstīts cerebrium.toml failā:
[cerebrium.deployment]
name = "mistral-nemo"
python_version = "3.11"
[cerebrium.hardware]
gpu = "AMPERE_A10"
cpu = 4
memory = 16
[cerebrium.scaling]
min_replicas = 0
max_replicas = 5
cooldown = 60
[cerebrium.dependencies.pip]
vllm = "latest"
Iestatījums min_replicas = 0 ir šīs pieejas galvenā priekšrocība: kad neviens neizsauc servisu, tas neko nemaksā. Kompromiss ir tāds, ka pirmajam pieprasījumam pēc dīkstāves perioda jāgaida, kamēr instances startējas. Komanda cerebrium deploy ir viss, kas nepieciešams publikācijai; platforma nodrošina GPU nodrošināšanu, automātisko mērogošanu no nulles līdz N replikām, slodzes līdzsvarošanu un uzraudzību.
Ražošanas slodzes apstrāde
Lai palielinātu caurlaidspēju, nemeklē lielāku GPU – vairot instances aiz slodzes līdzsvarotāja, kur katra apkalpo to pašu modeli uz savas kartes:
┌─── vLLM instance 1 (GPU A)
Load Balancer ──────┼─── vLLM instance 2 (GPU B)
└─── vLLM instance 3 (GPU C)
Visas iestatījumu pārvaldībai pietiek ar pieciem rādītājiem: tokeni sekundē mēra ģenerēšanas caurlaidspēju; TTFB (Time To First Byte) norāda latentumu pirms pirmā tokena, ko lietotājs uztver; GPU izmantojumam slodzes laikā jābūt virs 80%, pretējā gadījumā maksā par dīkstāves aparatūru; uzraugi GPU atmiņu, lai paredzētu OOM kļūdas; un rindas dziļums – gaidošo pieprasījumu skaits – signalizē par piesātinājumu pirms lietotāji sāk sūdzēties. Vienā mašīnā vienkārša nepārtraukta atsvaidzināšana jau nodrošina būtiskāko:
# Monitor GPU utilization
watch -n 1 nvidia-smi
Galvenās atziņas
- Plāno aptuveni 2 GB VRAM uz katru miljardu parametru FP16 formātā
- FP8 kvantēšana uz pusi samazina atmiņas izmantošanu ar niecīgu ietekmi uz kvalitāti
- SkyPilot vienkāršo vairāku mākoņu izvietošanu ar gataviem YAML konfigurācijas failiem
- Cerebrium piedāvā serverless GPU ar automātisko mērogošanu (maksā par izmantoto skaitļošanas jaudu)
- Ražošanas vidē pievieno slodzes līdzsvarotāju un nepārtraukti uzraugi GPU rādītājus