Pereiti prie pagrindinio turinio
Lietuvių— Pasirinkite kalbą
Meniu

Infrastruktūra ir GPU

Paskaita 13 iš 14 Atnaujinta 2026 m. liepos 29 d. Pažengusiems
Šiame puslapyje
  1. GPU infrastruktūros dydžio parinkimas
  2. Ką reikalauja kiekvienas modelis
  3. Kvantavimas: tikslumo mainai į atmintį
  4. SkyPilot: debesijos tarp platformų orkestracija
  5. Cerebrium: serverinė GPU
  6. Gamybinės apkrovos valdymas
  7. Svarbiausi punktai

GPU infrastruktūros dydžio parinkimas

Tinkamo GPU, atminties talpos ir orkestracijos įrankio pasirinkimas yra kritinis žingsnis diegiant savąją talpą. Per mažo pajėgumo modelis neveikia sklandžiai mažėjant apkrovai: jis tiesiog nepaleidžiamas arba stringa jau esant pirmajai realiai apkrovai. Čia aptarsime „Mistral“ modelių aparatinės įrangos reikalavimus, kvantavimo technikas, mažinančias atminties poreikį, bei du orkestracijos įrankius: „SkyPilot“ ir „Cerebrium“.

Ką reikalauja kiekvienas modelis

Šioje lentelėje pateikti FP16 reikalavimai netaikant kvantavimo – tai bazė bet kokiam dydžio skaičiavimui.

ModelisParametraiMin. VRAMRekomenduojamas GPU
Mistral 7B7B16 GB1x A10G / L4
Mistral Nemo12B24 GB1x A10G / RTX 4090
Mixtral 8x7B46.7B100 GB2x A100-80GB
Mixtral 8x22B141B300 GB4x A100-80GB
Mistral Large 2123B250 GB4x A100-80GB
Codestral22B48 GB1x A100-80GB

Ši lentelė nėra būtina norint įvertinti joje nepaminėtą modelį. Naudojant FP16, planuokite maždaug 2 GB VRAM vienam milijardui parametrų: 7B modeliui 7 x 2 = 14 GB minimumas, plius papildoma talpa KV podėliui ir išvedimo varikliui – štai kodėl lentelėje nurodyta 16 GB. Ši atsarga paaiškina, kodėl 16 GB vaizdo plokštė vargiai tvarkosi su „Mistral 7B“ ir kodėl jos nepakaks, kai teiksi ilgus kontekstus keliems vienu metu prisijungusiems naudotojams.

Kvantavimas: tikslumo mainai į atmintį

Kvantavimas sumažina modelio svorių tikslumą, taip mažindamas atminties suvartojimą, dažnai darant minimalią įtaką kokybei. Naudojant FP8 (aštuoni bitai vienam svoriui), atminties naudojimas sumažėja perpus, lyginant su FP16, o aktyvacija telpa naudojant paprastą argumentą:

# Serve a model in FP8 with vLLM
vllm serve mistralai/Mistral-Nemo-Instruct-2407 \
    --tokenizer_mode mistral \
    --config_format mistral \
    --load_format mistral \
    --dtype float8_e4m3fn
ModelisFP16FP8Sumažėjimas
Mistral 7B14 GB7 GB-50%
Mistral Nemo24 GB12 GB-50%
Mixtral 8x7B100 GB50 GB-50%

Praktinė išvada aiški: „Mixtral 8x7B“, kuriam FP16 režimu reikėjo dviejų „A100-80GB“ plokščių, FP8 režimu telpa į vieną plokštę, taip perpus sumažinant jūsų valandinę sąskaitą. INT4 (keturi bitai) eina dar toliau, tačiau kokybės poveikis tampa pastebimas; TGI jis įjungiamas naudojant specialų argumentą:

# AWQ quantization with TGI
docker run --gpus all --shm-size 1g \
    -p 8080:80 \
    -e HUGGING_FACE_HUB_TOKEN=$HF_TOKEN \
    ghcr.io/huggingface/text-generation-inference:2.0.3 \
    --model-id mistralai/Mistral-7B-Instruct-v0.3 \
    --quantize awq
TikslumasAtmintisKokybėGreitis
FP16BazinisBazinisBazinis
FP8-50%-1 iki -2%+10–20%
INT4-75%-3 iki -5%+30–50%

Praktiškai gamybai rekomenduojame FP8 – kokybės nuostoliai yra nereikšmingi. INT4 tinka prototipams arba aplinkoms, kuriose trūksta atminties, paprastai demonstracijoms darbo stotyje su vartotojiška GPU.

SkyPilot: debesijos tarp platformų orkestracija

„SkyPilot“ yra atviro kodo sistema, skirta didžiųjų kalbos modelių (LLM) diegimui bet kurioje debesijoje – „AWS“, „GCP“, „Azure“, „Lambda Labs“ ir kitose. Ji automatiškai pasirenka pigiausią GPU ir tvarko tiekimo procesą, todėl prieš kiekvieną paleidimą nereikia rankiniu būdu lyginti spot kainų trijuose tiekėjuose. „Mistral“ pateikia paruoštus naudoti YAML failus, kurių struktūra apibūdina mašiną, sąranką ir paleidimo komandą:

# mistral-7b.yaml
resources:
  accelerators: A10G:1
  cloud: aws

setup: |
  pip install vllm

run: |
  vllm serve mistralai/Mistral-7B-Instruct-v0.3 \
      --tokenizer_mode mistral \
      --config_format mistral \
      --load_format mistral

Visas klasterio gyvavimo ciklas tada susiveda į keturias komandas:

# Install SkyPilot
pip install "skypilot[aws,gcp,azure]"

# Launch the cluster
sky launch -c mistral-7b mistral-7b.yaml --region us-east-1

# Check status
sky status

# Stop (to save money)
sky stop mistral-7b

# Delete
sky down mistral-7b

Paskutinės dvi komandos yra tos, kurias žmonės pamiršta. „A10G“ klasteris, paliktas veikti per savaitgalį, kainuoja tiek pat, kiek mėnesio API naudojimas vidutinėms apkrovoms, todėl svarbu žinoti apytiksles figūras:

ModelisSkyPilot konfigūracijaApytikslė debesijos kaina
Mistral 7BA10G:1~1 USD/val.
Mixtral 8x7BA100-80GB:2~6 USD/val.
Mixtral 8x22BA100-80GB:4~12 USD/val.

Dar vienas punktas nusipelno jūsų dėmesio: „SkyPilot“ pagal nutylėjimą sukuria VM su atviromis prievadomis. Gamyboje apribokite tinklo prieigą naudodami saugos grupes arba užkardos taisykles, priešais servisą pastatykite apkrovos balansuoklį su autentifikavimu ir niekada nepalikite 8000 prievado atviro internetui. Neautentifikuotas „vLLM“ serveris, pasiekiamas viešai, yra GPU, už kurą mokate kažkieno kito vardu.

Cerebrium: serverinė GPU

„Cerebrium“ taiko priešingą „SkyPilot“ požiūrį: vietoj mašinų valdymo jūs aprašote servisą ir mokate tik už faktiškai sunaudotus skaičiavimo išteklius, naudojant automatinį mastelio keitimą. Pradėti dirbti užtenka trijų komandų:

pip install cerebrium
cerebrium login
cerebrium init mistral-vllm

Visas diegimas tada aprašomas cerebrium.toml faile:

[cerebrium.deployment]
name = "mistral-nemo"
python_version = "3.11"

[cerebrium.hardware]
gpu = "AMPERE_A10"
cpu = 4
memory = 16

[cerebrium.scaling]
min_replicas = 0
max_replicas = 5
cooldown = 60

[cerebrium.dependencies.pip]
vllm = "latest"

Nustatymas min_replicas = 0 yra pagrindinis šio požiūrio privalumas: kai niekas nesikreipia į servisą, jis nieko nekainuoja. Kompromisas tas, kad pirmasis užklausimas po neveiklos periodo turi palaukti, kol bus paleistas egzempliorius. Komanda cerebrium deploy yra viskas, ko reikia publikavimui; platforma pati tvarko GPU tiekimą, automatinį mastelio keitimą nuo nulio iki N egzempliorių, apkrovos balansavimą ir stebėseną.

Gamybinės apkrovos valdymas

Norėdami padidinti pralaidumą, neieškokite didesnio GPU – padauginkite egzempliorių už apkrovos balansuoklio, kurių kiekvienas aptarnauja tą patį modelį savo plokštėje:

                    ┌─── vLLM instance 1 (GPU A)
Load Balancer ──────┼─── vLLM instance 2 (GPU B)
                    └─── vLLM instance 3 (GPU C)

Visai sąrankai valdyti pakanka penkių metrikų: tokenų per sekundę skaičius matuoja generavimo pralaidumą; TTFB (laikas iki pirmojo baito) nurodo delsą prieš pirmąjį tokeną, kurią jaučia naudotojas; GPU naudojimas esant apkrovai turėtų viršyti 80 %, kitaip mokate už neveikiančią aparatinę įrangą; stebėkite GPU atmintį, kad numatytumėte OOM klaidas; ir eilės gylis – laukiančių užklausų skaičius – signalizuoja apie sotį dar prieš naudotojams pradėjus skųstis. Vienoje mašinoje paprastas nuolatinis atnaujinimas jau suteikia esminę informaciją:

# Monitor GPU utilization
watch -n 1 nvidia-smi

Svarbiausi punktai

  • Planuokite ~2 GB VRAM vienam milijardui parametrų naudojant FP16
  • FP8 kvantavimas perpus sumažina atminties naudojimą darant nereikšmingą įtaką kokybei
  • „SkyPilot“ supaprastina debesijos tarp platformų diegimą naudodamas paruoštus YAML konfigūracijos failus
  • „Cerebrium“ siūlo serverinę GPU su automatinio mastelio keitimo funkcija (mokama už skaičiavimą)
  • Gamyboje pridėkite apkrovos balansuoklį ir nuolat stebėkite GPU metrikas