Infrastruktura i GPU-ovi
Na ovoj stranici
Odabir veličine GPU infrastrukture
Odabir pravog GPU-a, kapaciteta memorije i alata za orkestraciju ključan je korak kod samostalnog hostiranja. Premalen model se ne degradira postupno: odbija se pokrenuti ili se ruši pod prvim stvarnim opterećenjem. Obuhvatit ćemo hardverske zahtjeve za Mistral modele, tehnike kvantizacije koje smanjuju potrebe za memorijom te dva alata za orkestraciju: SkyPilot i Cerebrium.
Što svaki model zahtijeva
Sljedeća tablica navodi zahtjeve za FP16 bez kvantizacije – polaznu točku za svaki izračun veličine.
| Model | Parametri | Minimalna VRAM | Preporučeni GPU |
|---|---|---|---|
| Mistral 7B | 7B | 16 GB | 1x A10G / L4 |
| Mistral Nemo | 12B | 24 GB | 1x A10G / RTX 4090 |
| Mixtral 8x7B | 46.7B | 100 GB | 2x A100-80GB |
| Mixtral 8x22B | 141B | 300 GB | 4x A100-80GB |
| Mistral Large 2 | 123B | 250 GB | 4x A100-80GB |
| Codestral | 22B | 48 GB | 1x A100-80GB |
Ne treba ti ova tablica da bi procijenio model koji nije naveden. U FP16 formatu, računaj otprilike 2 GB VRAM-a po milijardi parametara: za model od 7B, 7 x 2 = 14 GB minimuma, plus režija za KV cache i inference engine – zato tablica prikazuje 16 GB. Ta margina objašnjava zašto kartica od 16 GB jedva podnosi Mistral 7B i zašto neće biti dovoljna jednom kada poslužuješ duge kontekste više istovremenih korisnika.
Kvantizacija: Razmjena preciznosti za memoriju
Kvantizacija smanjuje preciznost težina modela kako bi se smanjila potrošnja memorije, često uz minimalan utjecaj na kvalitetu. U FP8 formatu (osam bitova po težini), potrošnja memorije prepolovljena je u usporedbi s FP16, a aktivacija staje uz jednostavan argument:
# Serve a model in FP8 with vLLM
vllm serve mistralai/Mistral-Nemo-Instruct-2407 \
--tokenizer_mode mistral \
--config_format mistral \
--load_format mistral \
--dtype float8_e4m3fn
| Model | FP16 | FP8 | Smanjenje |
|---|---|---|---|
| Mistral 7B | 14 GB | 7 GB | -50% |
| Mistral Nemo | 24 GB | 12 GB | -50% |
| Mixtral 8x7B | 100 GB | 50 GB | -50% |
Praktična posljedica je jasna: Mixtral 8x7B koji je u FP16 zahtijevao dvije A100-80GB kartice, staje na jednu karticu u FP8 formatu, čime se tvoj satni račun prepolavlja. INT4 (četiri bita) ide još dalje, ali utjecaj na kvalitetu postaje primjetan; omogućen je u TGI-ju putem posebnog argumenta:
# AWQ quantization with TGI
docker run --gpus all --shm-size 1g \
-p 8080:80 \
-e HUGGING_FACE_HUB_TOKEN=$HF_TOKEN \
ghcr.io/huggingface/text-generation-inference:2.0.3 \
--model-id mistralai/Mistral-7B-Instruct-v0.3 \
--quantize awq
| Preciznost | Memorija | Kvaliteta | Brzina |
|---|---|---|---|
| FP16 | Polazna vrijednost | Polazna vrijednost | Polazna vrijednost |
| FP8 | -50% | -1 do -2% | +10-20% |
| INT4 | -75% | -3 do -5% | +30-50% |
U praksi preporučujemo FP8 za produkciju – gubitak kvalitete je zanemariv. INT4 funkcionira za izradu prototipova ili okruženja s ograničenom memorijom, tipično demo na radnoj stanici s GPU-om potrošačke klase.
SkyPilot: Orkestracija na više oblaka
SkyPilot je open-source okvir za implementaciju LLM-ova na bilo kojem oblaku – AWS, GCP, Azure, Lambda Labs i drugima. Automatski odabire najjeftiniji GPU i upravlja provizijom, tako da ne moraš ručno uspoređivati spot cijene kod triju pružatelja prije svakog pokretanja. Mistral nudi YAML datoteke spremne za uporabu čija struktura opisuje stroj, postavke i naredbu za posluživanje:
# mistral-7b.yaml
resources:
accelerators: A10G:1
cloud: aws
setup: |
pip install vllm
run: |
vllm serve mistralai/Mistral-7B-Instruct-v0.3 \
--tokenizer_mode mistral \
--config_format mistral \
--load_format mistral
Cijeli životni ciklus klastera svodi se na četiri naredbe:
# Install SkyPilot
pip install "skypilot[aws,gcp,azure]"
# Launch the cluster
sky launch -c mistral-7b mistral-7b.yaml --region us-east-1
# Check status
sky status
# Stop (to save money)
sky stop mistral-7b
# Delete
sky down mistral-7b
Posljednje dvije naredbe su one koje ljudi zaborave. A10G klaster ostavljen uključenim preko vikenda košta koliko i mjesec korištenja API-ja za umjerena opterećenja, zbog čega je važno znati okvirne brojke:
| Model | SkyPilot konfiguracija | Procijenjeni trošak oblaka |
|---|---|---|
| Mistral 7B | A10G:1 | ~1 $/h |
| Mixtral 8x7B | A100-80GB:2 | ~6 $/h |
| Mixtral 8x22B | A100-80GB:4 | ~12 $/h |
Još jedna točka zaslužuje tvoju pozornost: SkyPilot stvara VM-ove s otvorenim portovima prema zadanim postavkama. U produkciji ograniči mrežni pristup pomoću sigurnosnih grupa (Security Groups) ili pravila vatrozida, postavi balanser opterećenja s autentifikacijom ispred usluge i nikada ne ostavljaj port 8000 izloženim internetu. Neautentificirani vLLM poslužitelj dostupan javno je GPU za koji ti plaćaš u nečije ime.
Cerebrium: Serverless GPU
Cerebrium koristi suprotan pristup od SkyPilota: umjesto upravljanja strojevima, opisuješ uslugu i plaćaš samo za računalne resurse koje stvarno koristiš, uz automatsko skaliranje. Početak rada zahtijeva tri naredbe:
pip install cerebrium
cerebrium login
cerebrium init mistral-vllm
Cijela implementacija zatim je opisana u cerebrium.toml datoteci:
[cerebrium.deployment]
name = "mistral-nemo"
python_version = "3.11"
[cerebrium.hardware]
gpu = "AMPERE_A10"
cpu = 4
memory = 16
[cerebrium.scaling]
min_replicas = 0
max_replicas = 5
cooldown = 60
[cerebrium.dependencies.pip]
vllm = "latest"
Postavka min_replicas = 0 ključna je prednost ovog pristupa: kada nitko ne poziva uslugu, ona ništa ne košta. Kompromis je da prvi zahtjev nakon razdoblja neaktivnosti mora pričekati pokretanje instance. Naredba cerebrium deploy sve je što ti treba za objavu; platforma upravlja provizijom GPU-a, automatskim skaliranjem od nula do N replika, balansiranjem opterećenja i nadzorom.
Rukovanje produkcijskim opterećenjem
Da bi povećao propusnost, ne traži veći GPU – umnoži instance iza balanser opterećenja, pri čemu svaka poslužuje isti model na svojoj kartici:
┌─── vLLM instance 1 (GPU A)
Load Balancer ──────┼─── vLLM instance 2 (GPU B)
└─── vLLM instance 3 (GPU C)
Pet metrika dovoljno je za upravljanje cijelim postavom: tokena u sekundi mjeri propusnost generiranja; TTFB (Time To First Byte) daje latenciju prije prvog tokena, što je ono što korisnik percipira; iskorištenost GPU-a trebala bi prelaziti 80% pod opterećenjem, inače plaćaš neiskorišteni hardver; prati memoriju GPU-a kako bi anticipirao OOM pogreške; i dubina reda čekanja, broj pending zahtjeva, signalizira zasićenje prije nego što se korisnici požale. Na jednom stroju, jednostavno kontinuirano osvježavanje već ti daje bitno:
# Monitor GPU utilization
watch -n 1 nvidia-smi
Ključne točke
- Računaj ~2 GB VRAM-a po milijardi parametara u FP16 formatu
- Kvantizacija FP8 prepolovljuje upotrebu memorije uz zanemariv utjecaj na kvalitetu
- SkyPilot pojednostavljuje implementaciju na više oblaka s gotovim YAML konfiguracijama
- Cerebrium nudi serverless GPU s automatskim skaliranjem (plaćanje po računanju)
- U produkciji dodaj balanser opterećenja i kontinuirano prati metrike GPU-a