Preskoči na glavni sadržaj
Hrvatski— Odaberite jezik
Izbornik

Infrastruktura i GPU-ovi

Lekcija 13 od 14 Ažurirano 29. srpnja 2026. Napredno
Na ovoj stranici
  1. Odabir veličine GPU infrastrukture
  2. Što svaki model zahtijeva
  3. Kvantizacija: Razmjena preciznosti za memoriju
  4. SkyPilot: Orkestracija na više oblaka
  5. Cerebrium: Serverless GPU
  6. Rukovanje produkcijskim opterećenjem
  7. Ključne točke

Odabir veličine GPU infrastrukture

Odabir pravog GPU-a, kapaciteta memorije i alata za orkestraciju ključan je korak kod samostalnog hostiranja. Premalen model se ne degradira postupno: odbija se pokrenuti ili se ruši pod prvim stvarnim opterećenjem. Obuhvatit ćemo hardverske zahtjeve za Mistral modele, tehnike kvantizacije koje smanjuju potrebe za memorijom te dva alata za orkestraciju: SkyPilot i Cerebrium.

Što svaki model zahtijeva

Sljedeća tablica navodi zahtjeve za FP16 bez kvantizacije – polaznu točku za svaki izračun veličine.

ModelParametriMinimalna VRAMPreporučeni GPU
Mistral 7B7B16 GB1x A10G / L4
Mistral Nemo12B24 GB1x A10G / RTX 4090
Mixtral 8x7B46.7B100 GB2x A100-80GB
Mixtral 8x22B141B300 GB4x A100-80GB
Mistral Large 2123B250 GB4x A100-80GB
Codestral22B48 GB1x A100-80GB

Ne treba ti ova tablica da bi procijenio model koji nije naveden. U FP16 formatu, računaj otprilike 2 GB VRAM-a po milijardi parametara: za model od 7B, 7 x 2 = 14 GB minimuma, plus režija za KV cache i inference engine – zato tablica prikazuje 16 GB. Ta margina objašnjava zašto kartica od 16 GB jedva podnosi Mistral 7B i zašto neće biti dovoljna jednom kada poslužuješ duge kontekste više istovremenih korisnika.

Kvantizacija: Razmjena preciznosti za memoriju

Kvantizacija smanjuje preciznost težina modela kako bi se smanjila potrošnja memorije, često uz minimalan utjecaj na kvalitetu. U FP8 formatu (osam bitova po težini), potrošnja memorije prepolovljena je u usporedbi s FP16, a aktivacija staje uz jednostavan argument:

# Serve a model in FP8 with vLLM
vllm serve mistralai/Mistral-Nemo-Instruct-2407 \
    --tokenizer_mode mistral \
    --config_format mistral \
    --load_format mistral \
    --dtype float8_e4m3fn
ModelFP16FP8Smanjenje
Mistral 7B14 GB7 GB-50%
Mistral Nemo24 GB12 GB-50%
Mixtral 8x7B100 GB50 GB-50%

Praktična posljedica je jasna: Mixtral 8x7B koji je u FP16 zahtijevao dvije A100-80GB kartice, staje na jednu karticu u FP8 formatu, čime se tvoj satni račun prepolavlja. INT4 (četiri bita) ide još dalje, ali utjecaj na kvalitetu postaje primjetan; omogućen je u TGI-ju putem posebnog argumenta:

# AWQ quantization with TGI
docker run --gpus all --shm-size 1g \
    -p 8080:80 \
    -e HUGGING_FACE_HUB_TOKEN=$HF_TOKEN \
    ghcr.io/huggingface/text-generation-inference:2.0.3 \
    --model-id mistralai/Mistral-7B-Instruct-v0.3 \
    --quantize awq
PreciznostMemorijaKvalitetaBrzina
FP16Polazna vrijednostPolazna vrijednostPolazna vrijednost
FP8-50%-1 do -2%+10-20%
INT4-75%-3 do -5%+30-50%

U praksi preporučujemo FP8 za produkciju – gubitak kvalitete je zanemariv. INT4 funkcionira za izradu prototipova ili okruženja s ograničenom memorijom, tipično demo na radnoj stanici s GPU-om potrošačke klase.

SkyPilot: Orkestracija na više oblaka

SkyPilot je open-source okvir za implementaciju LLM-ova na bilo kojem oblaku – AWS, GCP, Azure, Lambda Labs i drugima. Automatski odabire najjeftiniji GPU i upravlja provizijom, tako da ne moraš ručno uspoređivati spot cijene kod triju pružatelja prije svakog pokretanja. Mistral nudi YAML datoteke spremne za uporabu čija struktura opisuje stroj, postavke i naredbu za posluživanje:

# mistral-7b.yaml
resources:
  accelerators: A10G:1
  cloud: aws

setup: |
  pip install vllm

run: |
  vllm serve mistralai/Mistral-7B-Instruct-v0.3 \
      --tokenizer_mode mistral \
      --config_format mistral \
      --load_format mistral

Cijeli životni ciklus klastera svodi se na četiri naredbe:

# Install SkyPilot
pip install "skypilot[aws,gcp,azure]"

# Launch the cluster
sky launch -c mistral-7b mistral-7b.yaml --region us-east-1

# Check status
sky status

# Stop (to save money)
sky stop mistral-7b

# Delete
sky down mistral-7b

Posljednje dvije naredbe su one koje ljudi zaborave. A10G klaster ostavljen uključenim preko vikenda košta koliko i mjesec korištenja API-ja za umjerena opterećenja, zbog čega je važno znati okvirne brojke:

ModelSkyPilot konfiguracijaProcijenjeni trošak oblaka
Mistral 7BA10G:1~1 $/h
Mixtral 8x7BA100-80GB:2~6 $/h
Mixtral 8x22BA100-80GB:4~12 $/h

Još jedna točka zaslužuje tvoju pozornost: SkyPilot stvara VM-ove s otvorenim portovima prema zadanim postavkama. U produkciji ograniči mrežni pristup pomoću sigurnosnih grupa (Security Groups) ili pravila vatrozida, postavi balanser opterećenja s autentifikacijom ispred usluge i nikada ne ostavljaj port 8000 izloženim internetu. Neautentificirani vLLM poslužitelj dostupan javno je GPU za koji ti plaćaš u nečije ime.

Cerebrium: Serverless GPU

Cerebrium koristi suprotan pristup od SkyPilota: umjesto upravljanja strojevima, opisuješ uslugu i plaćaš samo za računalne resurse koje stvarno koristiš, uz automatsko skaliranje. Početak rada zahtijeva tri naredbe:

pip install cerebrium
cerebrium login
cerebrium init mistral-vllm

Cijela implementacija zatim je opisana u cerebrium.toml datoteci:

[cerebrium.deployment]
name = "mistral-nemo"
python_version = "3.11"

[cerebrium.hardware]
gpu = "AMPERE_A10"
cpu = 4
memory = 16

[cerebrium.scaling]
min_replicas = 0
max_replicas = 5
cooldown = 60

[cerebrium.dependencies.pip]
vllm = "latest"

Postavka min_replicas = 0 ključna je prednost ovog pristupa: kada nitko ne poziva uslugu, ona ništa ne košta. Kompromis je da prvi zahtjev nakon razdoblja neaktivnosti mora pričekati pokretanje instance. Naredba cerebrium deploy sve je što ti treba za objavu; platforma upravlja provizijom GPU-a, automatskim skaliranjem od nula do N replika, balansiranjem opterećenja i nadzorom.

Rukovanje produkcijskim opterećenjem

Da bi povećao propusnost, ne traži veći GPU – umnoži instance iza balanser opterećenja, pri čemu svaka poslužuje isti model na svojoj kartici:

                    ┌─── vLLM instance 1 (GPU A)
Load Balancer ──────┼─── vLLM instance 2 (GPU B)
                    └─── vLLM instance 3 (GPU C)

Pet metrika dovoljno je za upravljanje cijelim postavom: tokena u sekundi mjeri propusnost generiranja; TTFB (Time To First Byte) daje latenciju prije prvog tokena, što je ono što korisnik percipira; iskorištenost GPU-a trebala bi prelaziti 80% pod opterećenjem, inače plaćaš neiskorišteni hardver; prati memoriju GPU-a kako bi anticipirao OOM pogreške; i dubina reda čekanja, broj pending zahtjeva, signalizira zasićenje prije nego što se korisnici požale. Na jednom stroju, jednostavno kontinuirano osvježavanje već ti daje bitno:

# Monitor GPU utilization
watch -n 1 nvidia-smi

Ključne točke

  • Računaj ~2 GB VRAM-a po milijardi parametara u FP16 formatu
  • Kvantizacija FP8 prepolovljuje upotrebu memorije uz zanemariv utjecaj na kvalitetu
  • SkyPilot pojednostavljuje implementaciju na više oblaka s gotovim YAML konfiguracijama
  • Cerebrium nudi serverless GPU s automatskim skaliranjem (plaćanje po računanju)
  • U produkciji dodaj balanser opterećenja i kontinuirano prati metrike GPU-a