Infrastruttura u GPUs
F'din il-paġna
Id-Dimensjonament tal-Infrastruttura tal-GPU tiegħek
L-għażla tal-GPU t-tajba, il-kapaċità tal-memorja, u l-għodda ta’ orkestrazzjoni hija pass kritiku fl-hosting awtonomu. Mudell ta’ daqs żgħir ma jiddigradax b’mod gradwali: jirrifjuta li jibda, jew jaqa’ taħt l-ewwel tagħbija reali. Se nkopru r-rekwiżiti tal-ħardwer għall-mudelli ta’ Mistral, it-tekniki ta’ kwantizzazzjoni li jnaqqsu l-ħtieġa tal-memorja, u żewġ għodod ta’ orkestrazzjoni: SkyPilot u Cerebrium.
X’Jirrikjedi Kull Mudell
It-tabella li ġejja telenka r-rekwiżiti FP16 mingħajr kwantizzazzjoni—il-linja bażi għal kwalunkwe kalkolu tad-daqs.
| Mudell | Parametri | VRAM Minima | GPU Rakkomandata |
|---|---|---|---|
| Mistral 7B | 7B | 16 GB | 1x A10G / L4 |
| Mistral Nemo | 12B | 24 GB | 1x A10G / RTX 4090 |
| Mixtral 8x7B | 46.7B | 100 GB | 2x A100-80GB |
| Mixtral 8x22B | 141B | 300 GB | 4x A100-80GB |
| Mistral Large 2 | 123B | 250 GB | 4x A100-80GB |
| Codestral | 22B | 48 GB | 1x A100-80GB |
M’għandekx bżonn din it-tabella biex tistma mudell li mhuwiex elenkat. F’FP16, ibbaġitja madwar 2 GB ta’ VRAM għal kull biljun parametru: għal mudell 7B, 7 x 2 = 14 GB minimu, flimkien ma’ overhead għall-KV cache u l-magna ta’ inferenza—għalhekk it-tabella turi 16 GB. Dan il-marġni jispjega għaliex karta ta’ 16 GB tibbenefika bil-kemm lil Mistral 7B, u għaliex mhix biżżejjed ladarba sservi kuntesti twal lil utenti multipli konkorrenti.
Kwantizzazzjoni: Skambju tal-Preċiżjoni għall-Memorja
Il-kwantizzazzjoni tnaqqas il-preċiżjoni tal-piżijiet tal-mudell biex tnaqqas il-konsum tal-memorja, spiss b’impatt minimu fuq il-kwalità. F’FP8 (tmien bits għal kull piż), l-użu tal-memorja jinqasam bin-nofs meta mqabbel ma’ FP16, u l-attivazzjoni tidħol b’argument sempliċi:
# Serve a model in FP8 with vLLM
vllm serve mistralai/Mistral-Nemo-Instruct-2407 \
--tokenizer_mode mistral \
--config_format mistral \
--load_format mistral \
--dtype float8_e4m3fn
| Mudell | FP16 | FP8 | Tnaqqis |
|---|---|---|---|
| Mistral 7B | 14 GB | 7 GB | -50% |
| Mistral Nemo | 24 GB | 12 GB | -50% |
| Mixtral 8x7B | 100 GB | 50 GB | -50% |
Il-konsegwenza prattika hija ċara: Mixtral 8x7B li kien jeħtieġ żewġ karti A100-80GB f’FP16 jidħol fuq karta waħda f’FP8, u jaqta’ l-kont kull siegħa tiegħek bin-nofs. INT4 (erba’ bits) imur saħansitra aktar ‘il quddiem, iżda l-impatt fuq il-kwalità jsir notevoli; huwa attivat f’TGI permezz ta’ argument dedikat:
# AWQ quantization with TGI
docker run --gpus all --shm-size 1g \
-p 8080:80 \
-e HUGGING_FACE_HUB_TOKEN=$HF_TOKEN \
ghcr.io/huggingface/text-generation-inference:2.0.3 \
--model-id mistralai/Mistral-7B-Instruct-v0.3 \
--quantize awq
| Preċiżjoni | Memorja | Kwalità | Velocità |
|---|---|---|---|
| FP16 | Linja Bażi | Linja Bażi | Linja Bażi |
| FP8 | -50% | -1 sa -2% | +10-20% |
| INT4 | -75% | -3 sa -5% | +30-50% |
Fil-prattika, nirrakkomandaw FP8 għall-produzzjoni—it-telf fil-kwalità huwa negliġibbli. INT4 jaħdem għall-prototipar jew ambjenti b’memorja limitata, tipikament demo fuq workstation b’GPU tal-konsumatur.
SkyPilot: Orkestrazzjoni Multi-Cloud
SkyPilot huwa qafas open-source għad-dispjegament ta’ LLMs fuq kwalunkwe cloud—AWS, GCP, Azure, Lambda Labs, u oħrajn. Jagħżel awtomatikament l-aktar GPU irħisa u jimmaniġġja l-provvista, sabiex ma jkollokx tqabbel manwalment il-prezzijiet spot fost tliet fornituri qabel kull tnedija. Mistral jipprovdi fajls YAML lesti għall-użu li l-istruttura tagħhom tiddeskrivi l-magna, it-twaqqif, u l-kmand tas-servizz:
# mistral-7b.yaml
resources:
accelerators: A10G:1
cloud: aws
setup: |
pip install vllm
run: |
vllm serve mistralai/Mistral-7B-Instruct-v0.3 \
--tokenizer_mode mistral \
--config_format mistral \
--load_format mistral
Iċ-ċiklu tal-ħajja sħiħ ta’ kluster imbagħad jinżel għal erba’ kmandi:
# Install SkyPilot
pip install "skypilot[aws,gcp,azure]"
# Launch the cluster
sky launch -c mistral-7b mistral-7b.yaml --region us-east-1
# Check status
sky status
# Stop (to save money)
sky stop mistral-7b
# Delete
sky down mistral-7b
Dawk l-aħħar żewġ kmandi huma dawk li n-nies jinsu. Kluster A10G li jitħalla jopera matul tmiem il-ġimgħa jiswieda daqs xahar ta’ użu tal-API għal tagħbijiet moderati, għalhekk huwa importanti li tkun taf iċ-ċifri approssimattivi:
| Mudell | Konfigurazzjoni SkyPilot | Stima tal-Ispejjeż tal-Cloud |
|---|---|---|
| Mistral 7B | A10G:1 | ~$1/h |
| Mixtral 8x7B | A100-80GB:2 | ~$6/h |
| Mixtral 8x22B | A100-80GB:4 | ~$12/h |
Punt finali li jistħoqqilhom attenzjoni: SkyPilot joħloq VMs b’portijiet miftuħa b’mod predefinit. Fil-produzzjoni, irrestrinġi l-aċċess tan-netwerk b’Gruppi ta’ Sigurtà jew Regoli tal-Firewall, poġġi load balancer b’awtentikazzjoni quddiem is-servizz, u qatt ma tħalli l-port 8000 espost għall-internet. Server vLLM mingħajr awtentikazzjoni aċċessibbli pubblikament huwa GPU li qed tħallas għalih f’isem xi ħadd ieħor.
Cerebrium: GPU Serverless
Cerebrium jieħu l-approċċ oppost għal SkyPilot: minflok ma timmaniġġja magni, tiddeskrivi servizz u tħallas biss għall-kompju li tuża attwalment, b’awto-skalar. Il-bidu jieħu tliet kmandi:
pip install cerebrium
cerebrium login
cerebrium init mistral-vllm
Id-dispjegament kollu huwa mbagħad deskritt f’fajl cerebrium.toml:
[cerebrium.deployment]
name = "mistral-nemo"
python_version = "3.11"
[cerebrium.hardware]
gpu = "AMPERE_A10"
cpu = 4
memory = 16
[cerebrium.scaling]
min_replicas = 0
max_replicas = 5
cooldown = 60
[cerebrium.dependencies.pip]
vllm = "latest"
L-issettjar min_replicas = 0 huwa l-vantaġġ ewlieni ta’ dan l-approċċ: meta l-ebda ħadd ma jsejjaħ is-servizz, ma jiswix xejn. Il-kompromess huwa li l-ewwel talba wara perjodu ta’ mistrieħ trid tistenna biex istanza tibda. Il-kmand cerebrium deploy huwa kollu kemm hu meħtieġ biex tippubblika; il-pjattaforma timmaniġġja l-provvista tal-GPU, l-awto-skalar minn żero għal N repliki, il-load balancing, u l-monitoraġġ.
Immaniġġjar tat-Tagħbija tal-Produzzjoni
Biex tiżdied il-produzzjoni, tfittixx GPU akbar—immultiplika l-istanzi wara load balancer, kull wieħed iservi l-istess mudell fuq il-karta tiegħu stess:
┌─── vLLM instance 1 (GPU A)
Load Balancer ──────┼─── vLLM instance 2 (GPU B)
└─── vLLM instance 3 (GPU C)
Ħames metriki huma biżżejjed biex timmaniġġja s-setup kollu: tokens kull sekonda jkejlu l-produzzjoni tal-ġenerazzjoni; TTFB (Time To First Byte) jagħti l-latency qabel l-ewwel token, li huwa dak li jħoss l-utent; l-użu tal-GPU għandu jaqbeż it-80% taħt tagħbija, inkella qed tħallas għal ħardwer idle; immonitorja l-memorja tal-GPU biex tbassar żbalji OOM; u l-fond tal-queue, in-numru ta’ talbiet pendenti, jissinjala s-saturazzjoni qabel ma jilmentaw l-utenti. Fuq magna waħda, aġġornament kontinwu sempliċi diġà jagħtik l-essenzjali:
# Monitor GPU utilization
watch -n 1 nvidia-smi
Punti Ewlenin
- Ibbaġitja ~2 GB VRAM għal kull biljun parametru f’FP16
- Il-kwantizzazzjoni FP8 tnaqqas l-użu tal-memorja bin-nofs b’impatt negliġibbli fuq il-kwalità
- SkyPilot jissimplifika d-dispjegament multi-cloud b’konfigurazzjonijiet YAML lesti għall-użu
- Cerebrium joffri GPU serverless b’awto-skalar (ħlas skont il-kompju)
- Fil-produzzjoni, żid load balancer u immonitorja l-metriki tal-GPU kontinwament