Infrastruktuuri ja näytönohjaimet
Tällä sivulla
Näytönohjaininfrastruktuurin mitoitus
Oikean näytönohjaimen, muistikapasiteetin ja orkestrointityökalun valinta on kriittinen vaihe itseisännöinnissä. Liian pieneksi mitoitettu malli ei heikkene sulavasti: se kieltäytyy käynnistymästä tai kaatuu ensimmäisen todellisen kuormituksen alla. Käymme läpi Mistral-mallien laitteistovaatimukset, muistitarvetta vähentävät kvantisointitekniikat sekä kaksi orkestrointityökalua: SkyPilotin ja Cerebriumin.
Mitä kukin malli vaatii
Seuraava taulukko listaa FP16-vaatimukset ilman kvantisointia – tämä on minkä tahansa mitoituslaskelman perusta.
| Malli | Parametrit | Vähimmäis-VRAM | Suositeltu näytönohjain |
|---|---|---|---|
| Mistral 7B | 7B | 16 GB | 1x A10G / L4 |
| Mistral Nemo | 12B | 24 GB | 1x A10G / RTX 4090 |
| Mixtral 8x7B | 46.7B | 100 GB | 2x A100-80GB |
| Mixtral 8x22B | 141B | 300 GB | 4x A100-80GB |
| Mistral Large 2 | 123B | 250 GB | 4x A100-80GB |
| Codestral | 22B | 48 GB | 1x A100-80GB |
Et tarvitse tätä taulukkoa arvioidaksesi mallia, jota ei ole listattu. FP16-muodossa varaa karkeasti 2 GB VRAM-muistia miljardia parametria kohden: 7B-mallille 7 x 2 = 14 GB vähintään, plus ylikapasiteetti KV-välimuistille ja päättelymoottorille – siksi taulukko näyttää 16 GB:tta. Tämä marginaali selittää, miksi 16 GB:n kortti tuskin pystyy käsittelemään Mistral 7B:tä, ja miksi se ei riitä, kun palvelet pitkiä konteksteja useille samanaikaisille käyttäjille.
Kvantisointi: tarkkuuden vaihtaminen muistiin
Kvantisointi vähentää mallin painoarvojen tarkkuutta muistinkulutuksen pienentämiseksi, usein ilman merkittävää vaikutusta laatuun. FP8-muodossa (kahdeksan bittiä painoarvoa kohden) muistinkulutus puolittuu verrattuna FP16:een, ja aktivointi mahtuu muistiin yksinkertaisella argumentilla:
# Serve a model in FP8 with vLLM
vllm serve mistralai/Mistral-Nemo-Instruct-2407 \
--tokenizer_mode mistral \
--config_format mistral \
--load_format mistral \
--dtype float8_e4m3fn
| Malli | FP16 | FP8 | Vähennys |
|---|---|---|---|
| Mistral 7B | 14 GB | 7 GB | -50 % |
| Mistral Nemo | 24 GB | 12 GB | -50 % |
| Mixtral 8x7B | 100 GB | 50 GB | -50 % |
Käytännön seuraus on selvä: Mixtral 8x7B, joka vaati FP16-muodossa kaksi A100-80GB-korttia, mahtuu yhdelle kortille FP8-muodossa, mikä puolittaa tuntikohtaisen laskusi. INT4 (neljä bittiä) menee vielä pidemmälle, mutta vaikutus laatuun tulee havaittavaksi; se otetaan käyttöön TGI:ssä erillisellä argumentilla:
# AWQ quantization with TGI
docker run --gpus all --shm-size 1g \
-p 8080:80 \
-e HUGGING_FACE_HUB_TOKEN=$HF_TOKEN \
ghcr.io/huggingface/text-generation-inference:2.0.3 \
--model-id mistralai/Mistral-7B-Instruct-v0.3 \
--quantize awq
| Tarkkuus | Muisti | Laatu | Nopeus |
|---|---|---|---|
| FP16 | Perustaso | Perustaso | Perustaso |
| FP8 | -50 % | -1…-2 % | +10…20 % |
| INT4 | -75 % | -3…-5 % | +30…50 % |
Käytännössä suosittelemme FP8:aa tuotantokäyttöön – laadun menetys on merkityksetön. INT4 toimii prototyyppaukseen tai muistirajoitteisiin ympäristöihin, tyypillisesti demoille työasemalla, jossa on kuluttajatason näytönohjain.
SkyPilot: Monipilviorkestrointi
SkyPilot on avoimen lähdekoodin kehys LLM-mallien käyttöönottoon missä tahansa pilvessä – AWS, GCP, Azure, Lambda Labs ja muut. Se valitsee automaattisesti edullisimman näytönohjaimen ja hoitaa resurssien varaamisen, joten sinun ei tarvitse manuaalisesti vertailla spot-hintoja kolmen tarjoajan välillä ennen jokaista käynnistystä. Mistral tarjoaa valmiita YAML-tiedostoja, joiden rakenne kuvaa koneen, asennuksen ja serve-komennon:
# mistral-7b.yaml
resources:
accelerators: A10G:1
cloud: aws
setup: |
pip install vllm
run: |
vllm serve mistralai/Mistral-7B-Instruct-v0.3 \
--tokenizer_mode mistral \
--config_format mistral \
--load_format mistral
Koko klusterin elinkaari tiivistyy sitten neljään komentoon:
# Install SkyPilot
pip install "skypilot[aws,gcp,azure]"
# Launch the cluster
sky launch -c mistral-7b mistral-7b.yaml --region us-east-1
# Check status
sky status
# Stop (to save money)
sky stop mistral-7b
# Delete
sky down mistral-7b
Nuo kaksi viimeistä komentoa ovat niitä, jotka ihmiset unohtavat. A10G-klusteri, joka jätetään käymään viikonlopun yli, maksaa yhtä paljon kuin kuukauden API-käyttö kohtuullisilla kuormituksilla, minkä vuoksi karkeiden lukujen tunteminen on tärkeää:
| Malli | SkyPilot-konfiguraatio | Arvioitu pilvikustannus |
|---|---|---|
| Mistral 7B | A10G:1 | ~1 $/h |
| Mixtral 8x7B | A100-80GB:2 | ~6 $/h |
| Mixtral 8x22B | A100-80GB:4 | ~12 $/h |
Yksi viimeinen seikka ansaitsee huomiosi: SkyPilot luo virtuaalikoneita, joissa portit ovat oletusarvoisesti auki. Tuotannossa rajoita verkkoyhteyksiä turvallisuusryhmillä tai palomuurisäännöillä, sijoita palvelun eteen kuormantasauspalvelin todennuksella, äkä jätä porttia 8000 alttiiksi internetille. Julkisesti tavoitettava, todentamaton vLLM-palvelin on näytönohjain, josta maksat jonkun muun puolesta.
Cerebrium: palvelimetön näytönohjain
Cerebrium käyttää SkyPilottiin nähden päinvastaista lähestymistapaa: koneiden hallinnan sijaan kuvailet palvelun ja maksat vain siitä laskentatehosta, jota todella käytät, automaattisen skaalautuvuuden kera. Aloittaminen vie vain kolme komentoa:
pip install cerebrium
cerebrium login
cerebrium init mistral-vllm
Koko käyttöönotto kuvataan sitten cerebrium.toml-tiedostossa:
[cerebrium.deployment]
name = "mistral-nemo"
python_version = "3.11"
[cerebrium.hardware]
gpu = "AMPERE_A10"
cpu = 4
memory = 16
[cerebrium.scaling]
min_replicas = 0
max_replicas = 5
cooldown = 60
[cerebrium.dependencies.pip]
vllm = "latest"
Asetus min_replicas = 0 on tämän lähestymistavan keskeinen etu: kun kukaan ei kutsu palvelua, se ei maksa mitään. Kaupankäyntikohteena on, että ensimmäisen pyynnön on odotettava instanssin käynnistymistä joutoajan jälkeen. cerebrium deploy -komento on kaikki, mitä tarvitset julkaisemiseen; alusta hoitaa näytönohjainten varaamisen, automaattisen skaalautuvuuden nollasta N:ään replikaan, kuormantasauksen ja valvonnan.
Tuotantokuormituksen käsittely
Läpivirtauksen lisäämiseksi älä etsi suurempaa näytönohjainta – kerro instansseja kuormantasaimen takana, joista kukin palvelee samaa mallia omalla kortillaan:
┌─── vLLM instance 1 (GPU A)
Load Balancer ──────┼─── vLLM instance 2 (GPU B)
└─── vLLM instance 3 (GPU C)
Viisi mittaria riittää koko setupin hallintaan: tokenia sekunnissa mittaa generoinnin läpivirtausta; TTFB (Time To First Byte) antaa viiveen ennen ensimmäistä tokenia, mikä on se, mitä käyttäjä havaitsee; näytönohjaimen käyttöasteen tulisi olla kuormituksen alla yli 80 %, muuten maksat joutilaasta laitteistosta; valvo näytönohjaimen muistia ennakoidaksesi OOM-virheitä; ja jonon syvyys, eli odottavien pyyntöjen määrä, signaloi kyllästymistä ennen kuin käyttäjät valittavat. Yhdellä koneella yksinkertainen jatkuva päivitys antaa jo oleelliset tiedot:
# Monitor GPU utilization
watch -n 1 nvidia-smi
Keskeiset asiat
- Varaa noin 2 GB VRAM-muistia miljardia parametria kohden FP16-muodossa
- FP8-kvantisointi puolittaa muistinkulutuksen merkityksettömällä laatuvaikutuksella
- SkyPilot yksinkertaistaa monipilvikäyttöönottoa valmiilla YAML-konfiguraatioilla
- Cerebrium tarjoaa palvelimettoman näytönohjaimen automaattisella skaalautuvuudella (maksu käytön mukaan)
- Lisää tuotannossa kuormantasain ja valvo näytönohjaimen mittareita jatkuvasti