Siirry pääsisältöön
Suomi— Valitse kieli
Valikko

Infrastruktuuri ja näytönohjaimet

Oppitunti 13 / 14 Päivitetty 29. heinäkuuta 2026 Edistynyt
Tällä sivulla
  1. Näytönohjaininfrastruktuurin mitoitus
  2. Mitä kukin malli vaatii
  3. Kvantisointi: tarkkuuden vaihtaminen muistiin
  4. SkyPilot: Monipilviorkestrointi
  5. Cerebrium: palvelimetön näytönohjain
  6. Tuotantokuormituksen käsittely
  7. Keskeiset asiat

Näytönohjaininfrastruktuurin mitoitus

Oikean näytönohjaimen, muistikapasiteetin ja orkestrointityökalun valinta on kriittinen vaihe itseisännöinnissä. Liian pieneksi mitoitettu malli ei heikkene sulavasti: se kieltäytyy käynnistymästä tai kaatuu ensimmäisen todellisen kuormituksen alla. Käymme läpi Mistral-mallien laitteistovaatimukset, muistitarvetta vähentävät kvantisointitekniikat sekä kaksi orkestrointityökalua: SkyPilotin ja Cerebriumin.

Mitä kukin malli vaatii

Seuraava taulukko listaa FP16-vaatimukset ilman kvantisointia – tämä on minkä tahansa mitoituslaskelman perusta.

MalliParametritVähimmäis-VRAMSuositeltu näytönohjain
Mistral 7B7B16 GB1x A10G / L4
Mistral Nemo12B24 GB1x A10G / RTX 4090
Mixtral 8x7B46.7B100 GB2x A100-80GB
Mixtral 8x22B141B300 GB4x A100-80GB
Mistral Large 2123B250 GB4x A100-80GB
Codestral22B48 GB1x A100-80GB

Et tarvitse tätä taulukkoa arvioidaksesi mallia, jota ei ole listattu. FP16-muodossa varaa karkeasti 2 GB VRAM-muistia miljardia parametria kohden: 7B-mallille 7 x 2 = 14 GB vähintään, plus ylikapasiteetti KV-välimuistille ja päättelymoottorille – siksi taulukko näyttää 16 GB:tta. Tämä marginaali selittää, miksi 16 GB:n kortti tuskin pystyy käsittelemään Mistral 7B:tä, ja miksi se ei riitä, kun palvelet pitkiä konteksteja useille samanaikaisille käyttäjille.

Kvantisointi: tarkkuuden vaihtaminen muistiin

Kvantisointi vähentää mallin painoarvojen tarkkuutta muistinkulutuksen pienentämiseksi, usein ilman merkittävää vaikutusta laatuun. FP8-muodossa (kahdeksan bittiä painoarvoa kohden) muistinkulutus puolittuu verrattuna FP16:een, ja aktivointi mahtuu muistiin yksinkertaisella argumentilla:

# Serve a model in FP8 with vLLM
vllm serve mistralai/Mistral-Nemo-Instruct-2407 \
    --tokenizer_mode mistral \
    --config_format mistral \
    --load_format mistral \
    --dtype float8_e4m3fn
MalliFP16FP8Vähennys
Mistral 7B14 GB7 GB-50 %
Mistral Nemo24 GB12 GB-50 %
Mixtral 8x7B100 GB50 GB-50 %

Käytännön seuraus on selvä: Mixtral 8x7B, joka vaati FP16-muodossa kaksi A100-80GB-korttia, mahtuu yhdelle kortille FP8-muodossa, mikä puolittaa tuntikohtaisen laskusi. INT4 (neljä bittiä) menee vielä pidemmälle, mutta vaikutus laatuun tulee havaittavaksi; se otetaan käyttöön TGI:ssä erillisellä argumentilla:

# AWQ quantization with TGI
docker run --gpus all --shm-size 1g \
    -p 8080:80 \
    -e HUGGING_FACE_HUB_TOKEN=$HF_TOKEN \
    ghcr.io/huggingface/text-generation-inference:2.0.3 \
    --model-id mistralai/Mistral-7B-Instruct-v0.3 \
    --quantize awq
TarkkuusMuistiLaatuNopeus
FP16PerustasoPerustasoPerustaso
FP8-50 %-1…-2 %+10…20 %
INT4-75 %-3…-5 %+30…50 %

Käytännössä suosittelemme FP8:aa tuotantokäyttöön – laadun menetys on merkityksetön. INT4 toimii prototyyppaukseen tai muistirajoitteisiin ympäristöihin, tyypillisesti demoille työasemalla, jossa on kuluttajatason näytönohjain.

SkyPilot: Monipilviorkestrointi

SkyPilot on avoimen lähdekoodin kehys LLM-mallien käyttöönottoon missä tahansa pilvessä – AWS, GCP, Azure, Lambda Labs ja muut. Se valitsee automaattisesti edullisimman näytönohjaimen ja hoitaa resurssien varaamisen, joten sinun ei tarvitse manuaalisesti vertailla spot-hintoja kolmen tarjoajan välillä ennen jokaista käynnistystä. Mistral tarjoaa valmiita YAML-tiedostoja, joiden rakenne kuvaa koneen, asennuksen ja serve-komennon:

# mistral-7b.yaml
resources:
  accelerators: A10G:1
  cloud: aws

setup: |
  pip install vllm

run: |
  vllm serve mistralai/Mistral-7B-Instruct-v0.3 \
      --tokenizer_mode mistral \
      --config_format mistral \
      --load_format mistral

Koko klusterin elinkaari tiivistyy sitten neljään komentoon:

# Install SkyPilot
pip install "skypilot[aws,gcp,azure]"

# Launch the cluster
sky launch -c mistral-7b mistral-7b.yaml --region us-east-1

# Check status
sky status

# Stop (to save money)
sky stop mistral-7b

# Delete
sky down mistral-7b

Nuo kaksi viimeistä komentoa ovat niitä, jotka ihmiset unohtavat. A10G-klusteri, joka jätetään käymään viikonlopun yli, maksaa yhtä paljon kuin kuukauden API-käyttö kohtuullisilla kuormituksilla, minkä vuoksi karkeiden lukujen tunteminen on tärkeää:

MalliSkyPilot-konfiguraatioArvioitu pilvikustannus
Mistral 7BA10G:1~1 $/h
Mixtral 8x7BA100-80GB:2~6 $/h
Mixtral 8x22BA100-80GB:4~12 $/h

Yksi viimeinen seikka ansaitsee huomiosi: SkyPilot luo virtuaalikoneita, joissa portit ovat oletusarvoisesti auki. Tuotannossa rajoita verkkoyhteyksiä turvallisuusryhmillä tai palomuurisäännöillä, sijoita palvelun eteen kuormantasauspalvelin todennuksella, äkä jätä porttia 8000 alttiiksi internetille. Julkisesti tavoitettava, todentamaton vLLM-palvelin on näytönohjain, josta maksat jonkun muun puolesta.

Cerebrium: palvelimetön näytönohjain

Cerebrium käyttää SkyPilottiin nähden päinvastaista lähestymistapaa: koneiden hallinnan sijaan kuvailet palvelun ja maksat vain siitä laskentatehosta, jota todella käytät, automaattisen skaalautuvuuden kera. Aloittaminen vie vain kolme komentoa:

pip install cerebrium
cerebrium login
cerebrium init mistral-vllm

Koko käyttöönotto kuvataan sitten cerebrium.toml-tiedostossa:

[cerebrium.deployment]
name = "mistral-nemo"
python_version = "3.11"

[cerebrium.hardware]
gpu = "AMPERE_A10"
cpu = 4
memory = 16

[cerebrium.scaling]
min_replicas = 0
max_replicas = 5
cooldown = 60

[cerebrium.dependencies.pip]
vllm = "latest"

Asetus min_replicas = 0 on tämän lähestymistavan keskeinen etu: kun kukaan ei kutsu palvelua, se ei maksa mitään. Kaupankäyntikohteena on, että ensimmäisen pyynnön on odotettava instanssin käynnistymistä joutoajan jälkeen. cerebrium deploy -komento on kaikki, mitä tarvitset julkaisemiseen; alusta hoitaa näytönohjainten varaamisen, automaattisen skaalautuvuuden nollasta N:ään replikaan, kuormantasauksen ja valvonnan.

Tuotantokuormituksen käsittely

Läpivirtauksen lisäämiseksi älä etsi suurempaa näytönohjainta – kerro instansseja kuormantasaimen takana, joista kukin palvelee samaa mallia omalla kortillaan:

                    ┌─── vLLM instance 1 (GPU A)
Load Balancer ──────┼─── vLLM instance 2 (GPU B)
                    └─── vLLM instance 3 (GPU C)

Viisi mittaria riittää koko setupin hallintaan: tokenia sekunnissa mittaa generoinnin läpivirtausta; TTFB (Time To First Byte) antaa viiveen ennen ensimmäistä tokenia, mikä on se, mitä käyttäjä havaitsee; näytönohjaimen käyttöasteen tulisi olla kuormituksen alla yli 80 %, muuten maksat joutilaasta laitteistosta; valvo näytönohjaimen muistia ennakoidaksesi OOM-virheitä; ja jonon syvyys, eli odottavien pyyntöjen määrä, signaloi kyllästymistä ennen kuin käyttäjät valittavat. Yhdellä koneella yksinkertainen jatkuva päivitys antaa jo oleelliset tiedot:

# Monitor GPU utilization
watch -n 1 nvidia-smi

Keskeiset asiat

  • Varaa noin 2 GB VRAM-muistia miljardia parametria kohden FP16-muodossa
  • FP8-kvantisointi puolittaa muistinkulutuksen merkityksettömällä laatuvaikutuksella
  • SkyPilot yksinkertaistaa monipilvikäyttöönottoa valmiilla YAML-konfiguraatioilla
  • Cerebrium tarjoaa palvelimettoman näytönohjaimen automaattisella skaalautuvuudella (maksu käytön mukaan)
  • Lisää tuotannossa kuormantasain ja valvo näytönohjaimen mittareita jatkuvasti