Aqbeż għall-kontenut ewlieni
Malti— Agħżel lingwa
Menu

Infrastruttura u GPUs

Lezzjoni 13 / 14 Aġġornat 29 ta’ Lulju 2026 Avvanzat
F'din il-paġna
  1. Id-Dimensjonament tal-Infrastruttura tal-GPU tiegħek
  2. X’Jirrikjedi Kull Mudell
  3. Kwantizzazzjoni: Skambju tal-Preċiżjoni għall-Memorja
  4. SkyPilot: Orkestrazzjoni Multi-Cloud
  5. Cerebrium: GPU Serverless
  6. Immaniġġjar tat-Tagħbija tal-Produzzjoni
  7. Punti Ewlenin

Id-Dimensjonament tal-Infrastruttura tal-GPU tiegħek

L-għażla tal-GPU t-tajba, il-kapaċità tal-memorja, u l-għodda ta’ orkestrazzjoni hija pass kritiku fl-hosting awtonomu. Mudell ta’ daqs żgħir ma jiddigradax b’mod gradwali: jirrifjuta li jibda, jew jaqa’ taħt l-ewwel tagħbija reali. Se nkopru r-rekwiżiti tal-ħardwer għall-mudelli ta’ Mistral, it-tekniki ta’ kwantizzazzjoni li jnaqqsu l-ħtieġa tal-memorja, u żewġ għodod ta’ orkestrazzjoni: SkyPilot u Cerebrium.

X’Jirrikjedi Kull Mudell

It-tabella li ġejja telenka r-rekwiżiti FP16 mingħajr kwantizzazzjoni—il-linja bażi għal kwalunkwe kalkolu tad-daqs.

MudellParametriVRAM MinimaGPU Rakkomandata
Mistral 7B7B16 GB1x A10G / L4
Mistral Nemo12B24 GB1x A10G / RTX 4090
Mixtral 8x7B46.7B100 GB2x A100-80GB
Mixtral 8x22B141B300 GB4x A100-80GB
Mistral Large 2123B250 GB4x A100-80GB
Codestral22B48 GB1x A100-80GB

M’għandekx bżonn din it-tabella biex tistma mudell li mhuwiex elenkat. F’FP16, ibbaġitja madwar 2 GB ta’ VRAM għal kull biljun parametru: għal mudell 7B, 7 x 2 = 14 GB minimu, flimkien ma’ overhead għall-KV cache u l-magna ta’ inferenza—għalhekk it-tabella turi 16 GB. Dan il-marġni jispjega għaliex karta ta’ 16 GB tibbenefika bil-kemm lil Mistral 7B, u għaliex mhix biżżejjed ladarba sservi kuntesti twal lil utenti multipli konkorrenti.

Kwantizzazzjoni: Skambju tal-Preċiżjoni għall-Memorja

Il-kwantizzazzjoni tnaqqas il-preċiżjoni tal-piżijiet tal-mudell biex tnaqqas il-konsum tal-memorja, spiss b’impatt minimu fuq il-kwalità. F’FP8 (tmien bits għal kull piż), l-użu tal-memorja jinqasam bin-nofs meta mqabbel ma’ FP16, u l-attivazzjoni tidħol b’argument sempliċi:

# Serve a model in FP8 with vLLM
vllm serve mistralai/Mistral-Nemo-Instruct-2407 \
    --tokenizer_mode mistral \
    --config_format mistral \
    --load_format mistral \
    --dtype float8_e4m3fn
MudellFP16FP8Tnaqqis
Mistral 7B14 GB7 GB-50%
Mistral Nemo24 GB12 GB-50%
Mixtral 8x7B100 GB50 GB-50%

Il-konsegwenza prattika hija ċara: Mixtral 8x7B li kien jeħtieġ żewġ karti A100-80GB f’FP16 jidħol fuq karta waħda f’FP8, u jaqta’ l-kont kull siegħa tiegħek bin-nofs. INT4 (erba’ bits) imur saħansitra aktar ‘il quddiem, iżda l-impatt fuq il-kwalità jsir notevoli; huwa attivat f’TGI permezz ta’ argument dedikat:

# AWQ quantization with TGI
docker run --gpus all --shm-size 1g \
    -p 8080:80 \
    -e HUGGING_FACE_HUB_TOKEN=$HF_TOKEN \
    ghcr.io/huggingface/text-generation-inference:2.0.3 \
    --model-id mistralai/Mistral-7B-Instruct-v0.3 \
    --quantize awq
PreċiżjoniMemorjaKwalitàVelocità
FP16Linja BażiLinja BażiLinja Bażi
FP8-50%-1 sa -2%+10-20%
INT4-75%-3 sa -5%+30-50%

Fil-prattika, nirrakkomandaw FP8 għall-produzzjoni—it-telf fil-kwalità huwa negliġibbli. INT4 jaħdem għall-prototipar jew ambjenti b’memorja limitata, tipikament demo fuq workstation b’GPU tal-konsumatur.

SkyPilot: Orkestrazzjoni Multi-Cloud

SkyPilot huwa qafas open-source għad-dispjegament ta’ LLMs fuq kwalunkwe cloud—AWS, GCP, Azure, Lambda Labs, u oħrajn. Jagħżel awtomatikament l-aktar GPU irħisa u jimmaniġġja l-provvista, sabiex ma jkollokx tqabbel manwalment il-prezzijiet spot fost tliet fornituri qabel kull tnedija. Mistral jipprovdi fajls YAML lesti għall-użu li l-istruttura tagħhom tiddeskrivi l-magna, it-twaqqif, u l-kmand tas-servizz:

# mistral-7b.yaml
resources:
  accelerators: A10G:1
  cloud: aws

setup: |
  pip install vllm

run: |
  vllm serve mistralai/Mistral-7B-Instruct-v0.3 \
      --tokenizer_mode mistral \
      --config_format mistral \
      --load_format mistral

Iċ-ċiklu tal-ħajja sħiħ ta’ kluster imbagħad jinżel għal erba’ kmandi:

# Install SkyPilot
pip install "skypilot[aws,gcp,azure]"

# Launch the cluster
sky launch -c mistral-7b mistral-7b.yaml --region us-east-1

# Check status
sky status

# Stop (to save money)
sky stop mistral-7b

# Delete
sky down mistral-7b

Dawk l-aħħar żewġ kmandi huma dawk li n-nies jinsu. Kluster A10G li jitħalla jopera matul tmiem il-ġimgħa jiswieda daqs xahar ta’ użu tal-API għal tagħbijiet moderati, għalhekk huwa importanti li tkun taf iċ-ċifri approssimattivi:

MudellKonfigurazzjoni SkyPilotStima tal-Ispejjeż tal-Cloud
Mistral 7BA10G:1~$1/h
Mixtral 8x7BA100-80GB:2~$6/h
Mixtral 8x22BA100-80GB:4~$12/h

Punt finali li jistħoqqilhom attenzjoni: SkyPilot joħloq VMs b’portijiet miftuħa b’mod predefinit. Fil-produzzjoni, irrestrinġi l-aċċess tan-netwerk b’Gruppi ta’ Sigurtà jew Regoli tal-Firewall, poġġi load balancer b’awtentikazzjoni quddiem is-servizz, u qatt ma tħalli l-port 8000 espost għall-internet. Server vLLM mingħajr awtentikazzjoni aċċessibbli pubblikament huwa GPU li qed tħallas għalih f’isem xi ħadd ieħor.

Cerebrium: GPU Serverless

Cerebrium jieħu l-approċċ oppost għal SkyPilot: minflok ma timmaniġġja magni, tiddeskrivi servizz u tħallas biss għall-kompju li tuża attwalment, b’awto-skalar. Il-bidu jieħu tliet kmandi:

pip install cerebrium
cerebrium login
cerebrium init mistral-vllm

Id-dispjegament kollu huwa mbagħad deskritt f’fajl cerebrium.toml:

[cerebrium.deployment]
name = "mistral-nemo"
python_version = "3.11"

[cerebrium.hardware]
gpu = "AMPERE_A10"
cpu = 4
memory = 16

[cerebrium.scaling]
min_replicas = 0
max_replicas = 5
cooldown = 60

[cerebrium.dependencies.pip]
vllm = "latest"

L-issettjar min_replicas = 0 huwa l-vantaġġ ewlieni ta’ dan l-approċċ: meta l-ebda ħadd ma jsejjaħ is-servizz, ma jiswix xejn. Il-kompromess huwa li l-ewwel talba wara perjodu ta’ mistrieħ trid tistenna biex istanza tibda. Il-kmand cerebrium deploy huwa kollu kemm hu meħtieġ biex tippubblika; il-pjattaforma timmaniġġja l-provvista tal-GPU, l-awto-skalar minn żero għal N repliki, il-load balancing, u l-monitoraġġ.

Immaniġġjar tat-Tagħbija tal-Produzzjoni

Biex tiżdied il-produzzjoni, tfittixx GPU akbar—immultiplika l-istanzi wara load balancer, kull wieħed iservi l-istess mudell fuq il-karta tiegħu stess:

                    ┌─── vLLM instance 1 (GPU A)
Load Balancer ──────┼─── vLLM instance 2 (GPU B)
                    └─── vLLM instance 3 (GPU C)

Ħames metriki huma biżżejjed biex timmaniġġja s-setup kollu: tokens kull sekonda jkejlu l-produzzjoni tal-ġenerazzjoni; TTFB (Time To First Byte) jagħti l-latency qabel l-ewwel token, li huwa dak li jħoss l-utent; l-użu tal-GPU għandu jaqbeż it-80% taħt tagħbija, inkella qed tħallas għal ħardwer idle; immonitorja l-memorja tal-GPU biex tbassar żbalji OOM; u l-fond tal-queue, in-numru ta’ talbiet pendenti, jissinjala s-saturazzjoni qabel ma jilmentaw l-utenti. Fuq magna waħda, aġġornament kontinwu sempliċi diġà jagħtik l-essenzjali:

# Monitor GPU utilization
watch -n 1 nvidia-smi

Punti Ewlenin

  • Ibbaġitja ~2 GB VRAM għal kull biljun parametru f’FP16
  • Il-kwantizzazzjoni FP8 tnaqqas l-użu tal-memorja bin-nofs b’impatt negliġibbli fuq il-kwalità
  • SkyPilot jissimplifika d-dispjegament multi-cloud b’konfigurazzjonijiet YAML lesti għall-użu
  • Cerebrium joffri GPU serverless b’awto-skalar (ħlas skont il-kompju)
  • Fil-produzzjoni, żid load balancer u immonitorja l-metriki tal-GPU kontinwament