Taristu ja GPU-d
Sellel lehel
GPU-taristu suuruse määramine
Õige GPU, mälumahtuvuse ja orkestratsioonitööriista valimine on enese majutamisel kriitiline samm. Alamõõdus mudel ei halvene sujuvalt: see keeldub käivitumast või kukub esimese reaalse koormuse all kokku. Käsitleme Mistrali mudelite riistvaranõudeid, kvantimistehnikaid, mis vähendavad mäluvajadust, ning kahte orkestratsioonitööriista: SkyPilotti ja Cerebriumi.
Mida iga mudel nõuab
Järgnev tabel loetleb FP16 nõuded ilma kvantimiseta – see on iga suuruse arvutuse baasjoon.
| Mudel | Parameetrid | Minimaalne VRAM | Soovitatav GPU |
|---|---|---|---|
| Mistral 7B | 7B | 16 GB | 1x A10G / L4 |
| Mistral Nemo | 12B | 24 GB | 1x A10G / RTX 4090 |
| Mixtral 8x7B | 46.7B | 100 GB | 2x A100-80GB |
| Mixtral 8x22B | 141B | 300 GB | 4x A100-80GB |
| Mistral Large 2 | 123B | 250 GB | 4x A100-80GB |
| Codestral | 22B | 48 GB | 1x A100-80GB |
Seda tabelit pole vaja mudeli hindamiseks, mida nimekirjas pole. FP16-formaadis arvesta ligikaudu 2 GB VRAM-i miljardi parameetri kohta: 7B mudeli puhul 7 x 2 = 14 GB miinimum, pluss üldkulu KV-vahemälu ja järeldusmootori jaoks – seetõttu näitab tabel 16 GB. See varu selgitab, miks 16 GB kaart vaevalt suudab Mistral 7B-d hallata ja miks sellest ei piisa, kui teenindad pikki kontekste mitmele samaaegsele kasutajale.
Kvantimine: täpsuse vahetamine mälu vastu
Kvantimine vähendab mudeli kaalude täpsust, et langetada mälutarbimist, sageli minimaalse mõjuga kvaliteedile. FP8-s (kaheksa bitti kaalu kohta) lõigatakse mälukasutus FP16-ga võrreldes pooleks ja aktivatsioon mahub lihtsa argumendiga:
# Serve a model in FP8 with vLLM
vllm serve mistralai/Mistral-Nemo-Instruct-2407 \
--tokenizer_mode mistral \
--config_format mistral \
--load_format mistral \
--dtype float8_e4m3fn
| Mudel | FP16 | FP8 | Vähendus |
|---|---|---|---|
| Mistral 7B | 14 GB | 7 GB | -50% |
| Mistral Nemo | 24 GB | 12 GB | -50% |
| Mixtral 8x7B | 100 GB | 50 GB | -50% |
Praktiline tagajärg on selge: Mixtral 8x7B, mis vajas FP16-s kahte A100-80GB kaarti, mahub FP8-s ühele kaardile, lõigates sinu tunnihinna pooleks. INT4 (neli bitti) läheb veelgi kaugemale, kuid mõju kvaliteedile muutub märgatavaks; see on TGI-s lubatud spetsiaalse argumendiga:
# AWQ quantization with TGI
docker run --gpus all --shm-size 1g \
-p 8080:80 \
-e HUGGING_FACE_HUB_TOKEN=$HF_TOKEN \
ghcr.io/huggingface/text-generation-inference:2.0.3 \
--model-id mistralai/Mistral-7B-Instruct-v0.3 \
--quantize awq
| Täpsus | Mälu | Kvaliteet | Kiirus |
|---|---|---|---|
| FP16 | Baasjoon | Baasjoon | Baasjoon |
| FP8 | -50% | -1 kuni -2% | +10–20% |
| INT4 | -75% | -3 kuni -5% | +30–50% |
Praktikas soovitame tootmises FP8-d – kvaliteedikadu on tühine. INT4 sobib prototüüpimiseks või mälupiirangutega keskkondades, tüüpiliselt demo jaoks tööjaamas tarbijaklassi GPU-ga.
SkyPilot: mitme pilve orkestratsioon
SkyPilot on avatud lähtekoodiga raamistik LLM-ide kasutuselevõtuks mis tahes pilves – AWS, GCP, Azure, Lambda Labs ja teised. See valib automaatselt odavaima GPU ja haldab varustamist, nii et sul ei pea enne iga käivitamist käsitsi võrdlema spot-hindu kolme teenusepakkuja vahel. Mistral pakub valmis YAML-faile, mille struktuur kirjeldab masinat, seadistust ja serveerimiskäsku:
# mistral-7b.yaml
resources:
accelerators: A10G:1
cloud: aws
setup: |
pip install vllm
run: |
vllm serve mistralai/Mistral-7B-Instruct-v0.3 \
--tokenizer_mode mistral \
--config_format mistral \
--load_format mistral
Klastri kogu elutsükkel taandub seejärel neljale käsule:
# Install SkyPilot
pip install "skypilot[aws,gcp,azure]"
# Launch the cluster
sky launch -c mistral-7b mistral-7b.yaml --region us-east-1
# Check status
sky status
# Stop (to save money)
sky stop mistral-7b
# Delete
sky down mistral-7b
Need kaks viimast käsku on need, mida inimesed unustavad. Nädalavahetuseks tööle jäetud A10G klaster maksab sama palju kui kuu API-kasutus mõõdukate töökoormuste korral, mistõttu on oluline teada ligikaudseid numbreid:
| Mudel | SkyPiloti konfiguratsioon | Hinnanguline pilve hind |
|---|---|---|
| Mistral 7B | A10G:1 | ~1 $/h |
| Mixtral 8x7B | A100-80GB:2 | ~6 $/h |
| Mixtral 8x22B | A100-80GB:4 | ~12 $/h |
Üks viimane punkt väärib tähelepanu: SkyPilot loob VM-id vaikimisi avatud portidega. Tootmises piira võrgujuurdepääsu turvarühmade või tulemüüri reeglitega, paiguta teenuse ette autentimisega koormusjaotur ja ära jäta kunagi porti 8000 internetti avalikuks. Autentimata vLLM-server, mis on avalikult kättesaadav, on GPU, mille eest sa maksad kellegi teise eest.
Cerebrium: serverita GPU
Cerebrium võtab SkyPilotti vastupidise lähenemise: masinate haldamise asemel kirjeldad teenust ja maksad ainult tegelikult kasutatud arvutusvõimsuse eest koos automaatse skaleerimisega. Alustamiseks kulub kolm käsku:
pip install cerebrium
cerebrium login
cerebrium init mistral-vllm
Kogu kasutuselevõtt kirjeldatakse seejärel failis cerebrium.toml:
[cerebrium.deployment]
name = "mistral-nemo"
python_version = "3.11"
[cerebrium.hardware]
gpu = "AMPERE_A10"
cpu = 4
memory = 16
[cerebrium.scaling]
min_replicas = 0
max_replicas = 5
cooldown = 60
[cerebrium.dependencies.pip]
vllm = "latest"
Sätted min_replicas = 0 on selle lähenemise peamine eelis: kui keegi teenust ei kutsu, ei maksa see midagi. Kompromissiks on see, et esimene päring pärast jõudeolekut peab ootama, kuni instants käivitub. Käsk cerebrium deploy on kõik, mida avaldamiseks vajad; platvorm haldab GPU varustamist, automaatset skaleerimist nullist N replikani, koormusjaotust ja jälgimist.
Tootmiskoormuse haldamine
Läbilaskevõime suurendamiseks ära otsi suuremat GPU-d – korrusta instantse koormusjaoturi taga, kus üks teenindab sama mudelit oma kaardil:
┌─── vLLM instance 1 (GPU A)
Load Balancer ──────┼─── vLLM instance 2 (GPU B)
└─── vLLM instance 3 (GPU C)
Kogu seadistuse haldamiseks piisab viiest mõõdikust: tokenid sekundis mõõdab genereerimise läbilaskevõimet; TTFB (Time To First Byte) annab latentsuse enne esimest tokenit, mida kasutaja tajub; GPU kasutus peaks koormuse all ületama 80%, vastasel juhul maksad jõudeoleku riistvara eest; jälgi GPU mälu, et ennustada OOM-vigu; ja järjekorra sügavus, ootel päringute arv, annab märku küllastumisest enne, kui kasutajad kaebavad. Ühel masinal annab lihtne pidev värskendus juba põhiosa:
# Monitor GPU utilization
watch -n 1 nvidia-smi
Peamised punktid
- Arvesta FP16-s ~2 GB VRAM-i miljardi parameetri kohta
- FP8 kvantimine poolitab mälukasutuse tühise kvaliteedikaduga
- SkyPilot lihtsustab mitme pilve kasutuselevõttu valmis YAML-konfiguratsioonidega
- Cerebrium pakub serverita GPU-d automaatse skaleerimisega (maksa arvutuse eest)
- Tootmises lisa koormusjaotur ja jälgi pidevalt GPU mõõdikuid