Infrastruktūra ir GPU
Šiame puslapyje
GPU infrastruktūros dydžio parinkimas
Tinkamo GPU, atminties talpos ir orkestracijos įrankio pasirinkimas yra kritinis žingsnis diegiant savąją talpą. Per mažo pajėgumo modelis neveikia sklandžiai mažėjant apkrovai: jis tiesiog nepaleidžiamas arba stringa jau esant pirmajai realiai apkrovai. Čia aptarsime „Mistral“ modelių aparatinės įrangos reikalavimus, kvantavimo technikas, mažinančias atminties poreikį, bei du orkestracijos įrankius: „SkyPilot“ ir „Cerebrium“.
Ką reikalauja kiekvienas modelis
Šioje lentelėje pateikti FP16 reikalavimai netaikant kvantavimo – tai bazė bet kokiam dydžio skaičiavimui.
| Modelis | Parametrai | Min. VRAM | Rekomenduojamas GPU |
|---|---|---|---|
| Mistral 7B | 7B | 16 GB | 1x A10G / L4 |
| Mistral Nemo | 12B | 24 GB | 1x A10G / RTX 4090 |
| Mixtral 8x7B | 46.7B | 100 GB | 2x A100-80GB |
| Mixtral 8x22B | 141B | 300 GB | 4x A100-80GB |
| Mistral Large 2 | 123B | 250 GB | 4x A100-80GB |
| Codestral | 22B | 48 GB | 1x A100-80GB |
Ši lentelė nėra būtina norint įvertinti joje nepaminėtą modelį. Naudojant FP16, planuokite maždaug 2 GB VRAM vienam milijardui parametrų: 7B modeliui 7 x 2 = 14 GB minimumas, plius papildoma talpa KV podėliui ir išvedimo varikliui – štai kodėl lentelėje nurodyta 16 GB. Ši atsarga paaiškina, kodėl 16 GB vaizdo plokštė vargiai tvarkosi su „Mistral 7B“ ir kodėl jos nepakaks, kai teiksi ilgus kontekstus keliems vienu metu prisijungusiems naudotojams.
Kvantavimas: tikslumo mainai į atmintį
Kvantavimas sumažina modelio svorių tikslumą, taip mažindamas atminties suvartojimą, dažnai darant minimalią įtaką kokybei. Naudojant FP8 (aštuoni bitai vienam svoriui), atminties naudojimas sumažėja perpus, lyginant su FP16, o aktyvacija telpa naudojant paprastą argumentą:
# Serve a model in FP8 with vLLM
vllm serve mistralai/Mistral-Nemo-Instruct-2407 \
--tokenizer_mode mistral \
--config_format mistral \
--load_format mistral \
--dtype float8_e4m3fn
| Modelis | FP16 | FP8 | Sumažėjimas |
|---|---|---|---|
| Mistral 7B | 14 GB | 7 GB | -50% |
| Mistral Nemo | 24 GB | 12 GB | -50% |
| Mixtral 8x7B | 100 GB | 50 GB | -50% |
Praktinė išvada aiški: „Mixtral 8x7B“, kuriam FP16 režimu reikėjo dviejų „A100-80GB“ plokščių, FP8 režimu telpa į vieną plokštę, taip perpus sumažinant jūsų valandinę sąskaitą. INT4 (keturi bitai) eina dar toliau, tačiau kokybės poveikis tampa pastebimas; TGI jis įjungiamas naudojant specialų argumentą:
# AWQ quantization with TGI
docker run --gpus all --shm-size 1g \
-p 8080:80 \
-e HUGGING_FACE_HUB_TOKEN=$HF_TOKEN \
ghcr.io/huggingface/text-generation-inference:2.0.3 \
--model-id mistralai/Mistral-7B-Instruct-v0.3 \
--quantize awq
| Tikslumas | Atmintis | Kokybė | Greitis |
|---|---|---|---|
| FP16 | Bazinis | Bazinis | Bazinis |
| FP8 | -50% | -1 iki -2% | +10–20% |
| INT4 | -75% | -3 iki -5% | +30–50% |
Praktiškai gamybai rekomenduojame FP8 – kokybės nuostoliai yra nereikšmingi. INT4 tinka prototipams arba aplinkoms, kuriose trūksta atminties, paprastai demonstracijoms darbo stotyje su vartotojiška GPU.
SkyPilot: debesijos tarp platformų orkestracija
„SkyPilot“ yra atviro kodo sistema, skirta didžiųjų kalbos modelių (LLM) diegimui bet kurioje debesijoje – „AWS“, „GCP“, „Azure“, „Lambda Labs“ ir kitose. Ji automatiškai pasirenka pigiausią GPU ir tvarko tiekimo procesą, todėl prieš kiekvieną paleidimą nereikia rankiniu būdu lyginti spot kainų trijuose tiekėjuose. „Mistral“ pateikia paruoštus naudoti YAML failus, kurių struktūra apibūdina mašiną, sąranką ir paleidimo komandą:
# mistral-7b.yaml
resources:
accelerators: A10G:1
cloud: aws
setup: |
pip install vllm
run: |
vllm serve mistralai/Mistral-7B-Instruct-v0.3 \
--tokenizer_mode mistral \
--config_format mistral \
--load_format mistral
Visas klasterio gyvavimo ciklas tada susiveda į keturias komandas:
# Install SkyPilot
pip install "skypilot[aws,gcp,azure]"
# Launch the cluster
sky launch -c mistral-7b mistral-7b.yaml --region us-east-1
# Check status
sky status
# Stop (to save money)
sky stop mistral-7b
# Delete
sky down mistral-7b
Paskutinės dvi komandos yra tos, kurias žmonės pamiršta. „A10G“ klasteris, paliktas veikti per savaitgalį, kainuoja tiek pat, kiek mėnesio API naudojimas vidutinėms apkrovoms, todėl svarbu žinoti apytiksles figūras:
| Modelis | SkyPilot konfigūracija | Apytikslė debesijos kaina |
|---|---|---|
| Mistral 7B | A10G:1 | ~1 USD/val. |
| Mixtral 8x7B | A100-80GB:2 | ~6 USD/val. |
| Mixtral 8x22B | A100-80GB:4 | ~12 USD/val. |
Dar vienas punktas nusipelno jūsų dėmesio: „SkyPilot“ pagal nutylėjimą sukuria VM su atviromis prievadomis. Gamyboje apribokite tinklo prieigą naudodami saugos grupes arba užkardos taisykles, priešais servisą pastatykite apkrovos balansuoklį su autentifikavimu ir niekada nepalikite 8000 prievado atviro internetui. Neautentifikuotas „vLLM“ serveris, pasiekiamas viešai, yra GPU, už kurą mokate kažkieno kito vardu.
Cerebrium: serverinė GPU
„Cerebrium“ taiko priešingą „SkyPilot“ požiūrį: vietoj mašinų valdymo jūs aprašote servisą ir mokate tik už faktiškai sunaudotus skaičiavimo išteklius, naudojant automatinį mastelio keitimą. Pradėti dirbti užtenka trijų komandų:
pip install cerebrium
cerebrium login
cerebrium init mistral-vllm
Visas diegimas tada aprašomas cerebrium.toml faile:
[cerebrium.deployment]
name = "mistral-nemo"
python_version = "3.11"
[cerebrium.hardware]
gpu = "AMPERE_A10"
cpu = 4
memory = 16
[cerebrium.scaling]
min_replicas = 0
max_replicas = 5
cooldown = 60
[cerebrium.dependencies.pip]
vllm = "latest"
Nustatymas min_replicas = 0 yra pagrindinis šio požiūrio privalumas: kai niekas nesikreipia į servisą, jis nieko nekainuoja. Kompromisas tas, kad pirmasis užklausimas po neveiklos periodo turi palaukti, kol bus paleistas egzempliorius. Komanda cerebrium deploy yra viskas, ko reikia publikavimui; platforma pati tvarko GPU tiekimą, automatinį mastelio keitimą nuo nulio iki N egzempliorių, apkrovos balansavimą ir stebėseną.
Gamybinės apkrovos valdymas
Norėdami padidinti pralaidumą, neieškokite didesnio GPU – padauginkite egzempliorių už apkrovos balansuoklio, kurių kiekvienas aptarnauja tą patį modelį savo plokštėje:
┌─── vLLM instance 1 (GPU A)
Load Balancer ──────┼─── vLLM instance 2 (GPU B)
└─── vLLM instance 3 (GPU C)
Visai sąrankai valdyti pakanka penkių metrikų: tokenų per sekundę skaičius matuoja generavimo pralaidumą; TTFB (laikas iki pirmojo baito) nurodo delsą prieš pirmąjį tokeną, kurią jaučia naudotojas; GPU naudojimas esant apkrovai turėtų viršyti 80 %, kitaip mokate už neveikiančią aparatinę įrangą; stebėkite GPU atmintį, kad numatytumėte OOM klaidas; ir eilės gylis – laukiančių užklausų skaičius – signalizuoja apie sotį dar prieš naudotojams pradėjus skųstis. Vienoje mašinoje paprastas nuolatinis atnaujinimas jau suteikia esminę informaciją:
# Monitor GPU utilization
watch -n 1 nvidia-smi
Svarbiausi punktai
- Planuokite ~2 GB VRAM vienam milijardui parametrų naudojant FP16
- FP8 kvantavimas perpus sumažina atminties naudojimą darant nereikšmingą įtaką kokybei
- „SkyPilot“ supaprastina debesijos tarp platformų diegimą naudodamas paruoštus YAML konfigūracijos failus
- „Cerebrium“ siūlo serverinę GPU su automatinio mastelio keitimo funkcija (mokama už skaičiavimą)
- Gamyboje pridėkite apkrovos balansuoklį ir nuolat stebėkite GPU metrikas