Infrastruttura e GPU
In questa pagina
Dimensionamento della tua infrastruttura GPU
Scegliere la GPU giusta, la capacità di memoria e lo strumento di orchestrazione è un passo critico per il self-hosting. Un modello sottodimensionato non degrada con grazia: si rifiuta di avviarsi o va in crash sotto il primo carico reale. Analizzeremo i requisiti hardware per i modelli Mistral, le tecniche di quantizzazione che riducono il fabbisogno di memoria e due strumenti di orchestrazione: SkyPilot e Cerebrium.
Requisiti di ciascun modello
La tabella seguente elenca i requisiti in FP16 senza quantizzazione: la base di partenza per qualsiasi calcolo di dimensionamento.
| Modello | Parametri | VRAM minima | GPU consigliata |
|---|---|---|---|
| Mistral 7B | 7B | 16 GB | 1x A10G / L4 |
| Mistral Nemo | 12B | 24 GB | 1x A10G / RTX 4090 |
| Mixtral 8x7B | 46.7B | 100 GB | 2x A100-80GB |
| Mixtral 8x22B | 141B | 300 GB | 4x A100-80GB |
| Mistral Large 2 | 123B | 250 GB | 4x A100-80GB |
| Codestral | 22B | 48 GB | 1x A100-80GB |
Non hai bisogno di questa tabella per stimare un modello non elencato. In FP16, calcola circa 2 GB di VRAM per miliardo di parametri: per un modello da 7B, 7 x 2 = 14 GB minimi, più l’overhead per la cache KV e il motore di inferenza, ecco perché la tabella indica 16 GB. Questo margine spiega perché una scheda da 16 GB gestisce a malapena Mistral 7B e perché non sarà sufficiente quando servirai contesti lunghi a più utenti concorrenti.
Quantizzazione: scambiare precisione per memoria
La quantizzazione riduce la precisione dei pesi del modello per abbassare il consumo di memoria, spesso con un impatto minimo sulla qualità. In FP8 (otto bit per peso), l’uso della memoria si dimezza rispetto all’FP16 e l’attivazione funziona con un semplice argomento:
# Serve a model in FP8 with vLLM
vllm serve mistralai/Mistral-Nemo-Instruct-2407 \
--tokenizer_mode mistral \
--config_format mistral \
--load_format mistral \
--dtype float8_e4m3fn
| Modello | FP16 | FP8 | Riduzione |
|---|---|---|---|
| Mistral 7B | 14 GB | 7 GB | -50% |
| Mistral Nemo | 24 GB | 12 GB | -50% |
| Mixtral 8x7B | 100 GB | 50 GB | -50% |
La conseguenza pratica è chiara: un Mixtral 8x7B che richiedeva due schede A100-80GB in FP16 entra in una singola scheda in FP8, dimezzando la tua fattura oraria. L’INT4 (quattro bit) spinge ancora oltre, ma l’impatto sulla qualità diventa percettibile; è abilitato in TGI tramite un argomento dedicato:
# AWQ quantization with TGI
docker run --gpus all --shm-size 1g \
-p 8080:80 \
-e HUGGING_FACE_HUB_TOKEN=$HF_TOKEN \
ghcr.io/huggingface/text-generation-inference:2.0.3 \
--model-id mistralai/Mistral-7B-Instruct-v0.3 \
--quantize awq
| Precisione | Memoria | Qualità | Velocità |
|---|---|---|---|
| FP16 | Base | Base | Base |
| FP8 | -50% | -1 a -2% | +10-20% |
| INT4 | -75% | -3 a -5% | +30-50% |
In pratica, consigliamo FP8 per la produzione: la perdita di qualità è trascurabile. INT4 funziona per il prototyping o ambienti con memoria limitata, tipicamente una demo su workstation con GPU consumer.
SkyPilot: orchestrazione multi-cloud
SkyPilot è un framework open-source per distribuire LLM su qualsiasi cloud: AWS, GCP, Azure, Lambda Labs e altri. Seleziona automaticamente la GPU più economica e gestisce il provisioning, così non devi confrontare manualmente i prezzi spot tra tre provider prima di ogni avvio. Mistral fornisce file YAML pronti all’uso la cui struttura descrive la macchina, la configurazione e il comando di servizio:
# mistral-7b.yaml
resources:
accelerators: A10G:1
cloud: aws
setup: |
pip install vllm
run: |
vllm serve mistralai/Mistral-7B-Instruct-v0.3 \
--tokenizer_mode mistral \
--config_format mistral \
--load_format mistral
L’intero ciclo di vita di un cluster si riduce poi a quattro comandi:
# Install SkyPilot
pip install "skypilot[aws,gcp,azure]"
# Launch the cluster
sky launch -c mistral-7b mistral-7b.yaml --region us-east-1
# Check status
sky status
# Stop (to save money)
sky stop mistral-7b
# Delete
sky down mistral-7b
Questi ultimi due comandi sono quelli che la gente dimentica. Un cluster A10G lasciato attivo durante un weekend costa quanto un mese di utilizzo API per carichi moderati, ecco perché conoscere le cifre approssimative conta:
| Modello | Configurazione SkyPilot | Costo cloud stimato |
|---|---|---|
| Mistral 7B | A10G:1 | ~$1/h |
| Mixtral 8x7B | A100-80GB:2 | ~$6/h |
| Mixtral 8x22B | A100-80GB:4 | ~$12/h |
Un ultimo punto merita la tua attenzione: SkyPilot crea VM con porte aperte di default. In produzione, limita l’accesso di rete con Security Groups o regole del firewall, posiziona un load balancer con autenticazione davanti al servizio e non lasciare mai la porta 8000 esposta a internet. Un server vLLM senza autenticazione raggiungibile pubblicamente è una GPU che paghi per conto di qualcun altro.
Cerebrium: GPU serverless
Cerebrium adotta l’approccio opposto a SkyPilot: invece di gestire macchine, descrivi un servizio e paghi solo per il calcolo effettivamente utilizzato, con auto-scaling. Iniziare richiede tre comandi:
pip install cerebrium
cerebrium login
cerebrium init mistral-vllm
L’intera distribuzione è poi descritta in un file cerebrium.toml:
[cerebrium.deployment]
name = "mistral-nemo"
python_version = "3.11"
[cerebrium.hardware]
gpu = "AMPERE_A10"
cpu = 4
memory = 16
[cerebrium.scaling]
min_replicas = 0
max_replicas = 5
cooldown = 60
[cerebrium.dependencies.pip]
vllm = "latest"
L’impostazione min_replicas = 0 è il vantaggio chiave di questo approccio: quando nessuno chiama il servizio, il costo è zero. Il compromesso è che la prima richiesta dopo un periodo di inattività deve attendere l’avvio di un’istanza. Il comando cerebrium deploy è tutto ciò che ti serve per pubblicare; la piattaforma gestisce il provisioning GPU, l’auto-scaling da zero a N repliche, il load balancing e il monitoraggio.
Gestione del carico di produzione
Per aumentare il throughput, non cercare una GPU più grande: moltiplica le istanze dietro un load balancer, ognuna che serve lo stesso modello sulla propria scheda:
┌─── vLLM instance 1 (GPU A)
Load Balancer ──────┼─── vLLM instance 2 (GPU B)
└─── vLLM instance 3 (GPU C)
Cinque metriche bastano a gestire l’intero setup: i token al secondo misurano il throughput di generazione; il TTFB (Time To First Byte) indica la latenza prima del primo token, ciò che l’utente percepisce; l’utilizzo GPU dovrebbe superare l’80% sotto carico, altrimenti stai pagando hardware inattivo; monitora la memoria GPU per anticipare errori OOM; e la profondità della coda, il numero di richieste in attesa, segnala la saturazione prima che gli utenti si lamentino. Su una singola macchina, un semplice aggiornamento continuo ti dà già l’essenziale:
# Monitor GPU utilization
watch -n 1 nvidia-smi
Punti chiave
- Calcola ~2 GB di VRAM per miliardo di parametri in FP16
- La quantizzazione FP8 dimezza l’uso di memoria con un impatto sulla qualità trascurabile
- SkyPilot semplifica la distribuzione multi-cloud con configurazioni YAML pronte all’uso
- Cerebrium offre GPU serverless con auto-scaling (paghi per il calcolo)
- In produzione, aggiungi un load balancer e monitora continuamente le metriche GPU