Vai al contenuto principale
Italiano— Scegli una lingua
Menu

Infrastruttura e GPU

Lezione 13 di 14 Aggiornata il 29 luglio 2026 Avanzato
In questa pagina
  1. Dimensionamento della tua infrastruttura GPU
  2. Requisiti di ciascun modello
  3. Quantizzazione: scambiare precisione per memoria
  4. SkyPilot: orchestrazione multi-cloud
  5. Cerebrium: GPU serverless
  6. Gestione del carico di produzione
  7. Punti chiave

Dimensionamento della tua infrastruttura GPU

Scegliere la GPU giusta, la capacità di memoria e lo strumento di orchestrazione è un passo critico per il self-hosting. Un modello sottodimensionato non degrada con grazia: si rifiuta di avviarsi o va in crash sotto il primo carico reale. Analizzeremo i requisiti hardware per i modelli Mistral, le tecniche di quantizzazione che riducono il fabbisogno di memoria e due strumenti di orchestrazione: SkyPilot e Cerebrium.

Requisiti di ciascun modello

La tabella seguente elenca i requisiti in FP16 senza quantizzazione: la base di partenza per qualsiasi calcolo di dimensionamento.

ModelloParametriVRAM minimaGPU consigliata
Mistral 7B7B16 GB1x A10G / L4
Mistral Nemo12B24 GB1x A10G / RTX 4090
Mixtral 8x7B46.7B100 GB2x A100-80GB
Mixtral 8x22B141B300 GB4x A100-80GB
Mistral Large 2123B250 GB4x A100-80GB
Codestral22B48 GB1x A100-80GB

Non hai bisogno di questa tabella per stimare un modello non elencato. In FP16, calcola circa 2 GB di VRAM per miliardo di parametri: per un modello da 7B, 7 x 2 = 14 GB minimi, più l’overhead per la cache KV e il motore di inferenza, ecco perché la tabella indica 16 GB. Questo margine spiega perché una scheda da 16 GB gestisce a malapena Mistral 7B e perché non sarà sufficiente quando servirai contesti lunghi a più utenti concorrenti.

Quantizzazione: scambiare precisione per memoria

La quantizzazione riduce la precisione dei pesi del modello per abbassare il consumo di memoria, spesso con un impatto minimo sulla qualità. In FP8 (otto bit per peso), l’uso della memoria si dimezza rispetto all’FP16 e l’attivazione funziona con un semplice argomento:

# Serve a model in FP8 with vLLM
vllm serve mistralai/Mistral-Nemo-Instruct-2407 \
    --tokenizer_mode mistral \
    --config_format mistral \
    --load_format mistral \
    --dtype float8_e4m3fn
ModelloFP16FP8Riduzione
Mistral 7B14 GB7 GB-50%
Mistral Nemo24 GB12 GB-50%
Mixtral 8x7B100 GB50 GB-50%

La conseguenza pratica è chiara: un Mixtral 8x7B che richiedeva due schede A100-80GB in FP16 entra in una singola scheda in FP8, dimezzando la tua fattura oraria. L’INT4 (quattro bit) spinge ancora oltre, ma l’impatto sulla qualità diventa percettibile; è abilitato in TGI tramite un argomento dedicato:

# AWQ quantization with TGI
docker run --gpus all --shm-size 1g \
    -p 8080:80 \
    -e HUGGING_FACE_HUB_TOKEN=$HF_TOKEN \
    ghcr.io/huggingface/text-generation-inference:2.0.3 \
    --model-id mistralai/Mistral-7B-Instruct-v0.3 \
    --quantize awq
PrecisioneMemoriaQualitàVelocità
FP16BaseBaseBase
FP8-50%-1 a -2%+10-20%
INT4-75%-3 a -5%+30-50%

In pratica, consigliamo FP8 per la produzione: la perdita di qualità è trascurabile. INT4 funziona per il prototyping o ambienti con memoria limitata, tipicamente una demo su workstation con GPU consumer.

SkyPilot: orchestrazione multi-cloud

SkyPilot è un framework open-source per distribuire LLM su qualsiasi cloud: AWS, GCP, Azure, Lambda Labs e altri. Seleziona automaticamente la GPU più economica e gestisce il provisioning, così non devi confrontare manualmente i prezzi spot tra tre provider prima di ogni avvio. Mistral fornisce file YAML pronti all’uso la cui struttura descrive la macchina, la configurazione e il comando di servizio:

# mistral-7b.yaml
resources:
  accelerators: A10G:1
  cloud: aws

setup: |
  pip install vllm

run: |
  vllm serve mistralai/Mistral-7B-Instruct-v0.3 \
      --tokenizer_mode mistral \
      --config_format mistral \
      --load_format mistral

L’intero ciclo di vita di un cluster si riduce poi a quattro comandi:

# Install SkyPilot
pip install "skypilot[aws,gcp,azure]"

# Launch the cluster
sky launch -c mistral-7b mistral-7b.yaml --region us-east-1

# Check status
sky status

# Stop (to save money)
sky stop mistral-7b

# Delete
sky down mistral-7b

Questi ultimi due comandi sono quelli che la gente dimentica. Un cluster A10G lasciato attivo durante un weekend costa quanto un mese di utilizzo API per carichi moderati, ecco perché conoscere le cifre approssimative conta:

ModelloConfigurazione SkyPilotCosto cloud stimato
Mistral 7BA10G:1~$1/h
Mixtral 8x7BA100-80GB:2~$6/h
Mixtral 8x22BA100-80GB:4~$12/h

Un ultimo punto merita la tua attenzione: SkyPilot crea VM con porte aperte di default. In produzione, limita l’accesso di rete con Security Groups o regole del firewall, posiziona un load balancer con autenticazione davanti al servizio e non lasciare mai la porta 8000 esposta a internet. Un server vLLM senza autenticazione raggiungibile pubblicamente è una GPU che paghi per conto di qualcun altro.

Cerebrium: GPU serverless

Cerebrium adotta l’approccio opposto a SkyPilot: invece di gestire macchine, descrivi un servizio e paghi solo per il calcolo effettivamente utilizzato, con auto-scaling. Iniziare richiede tre comandi:

pip install cerebrium
cerebrium login
cerebrium init mistral-vllm

L’intera distribuzione è poi descritta in un file cerebrium.toml:

[cerebrium.deployment]
name = "mistral-nemo"
python_version = "3.11"

[cerebrium.hardware]
gpu = "AMPERE_A10"
cpu = 4
memory = 16

[cerebrium.scaling]
min_replicas = 0
max_replicas = 5
cooldown = 60

[cerebrium.dependencies.pip]
vllm = "latest"

L’impostazione min_replicas = 0 è il vantaggio chiave di questo approccio: quando nessuno chiama il servizio, il costo è zero. Il compromesso è che la prima richiesta dopo un periodo di inattività deve attendere l’avvio di un’istanza. Il comando cerebrium deploy è tutto ciò che ti serve per pubblicare; la piattaforma gestisce il provisioning GPU, l’auto-scaling da zero a N repliche, il load balancing e il monitoraggio.

Gestione del carico di produzione

Per aumentare il throughput, non cercare una GPU più grande: moltiplica le istanze dietro un load balancer, ognuna che serve lo stesso modello sulla propria scheda:

                    ┌─── vLLM instance 1 (GPU A)
Load Balancer ──────┼─── vLLM instance 2 (GPU B)
                    └─── vLLM instance 3 (GPU C)

Cinque metriche bastano a gestire l’intero setup: i token al secondo misurano il throughput di generazione; il TTFB (Time To First Byte) indica la latenza prima del primo token, ciò che l’utente percepisce; l’utilizzo GPU dovrebbe superare l’80% sotto carico, altrimenti stai pagando hardware inattivo; monitora la memoria GPU per anticipare errori OOM; e la profondità della coda, il numero di richieste in attesa, segnala la saturazione prima che gli utenti si lamentino. Su una singola macchina, un semplice aggiornamento continuo ti dà già l’essenziale:

# Monitor GPU utilization
watch -n 1 nvidia-smi

Punti chiave

  • Calcola ~2 GB di VRAM per miliardo di parametri in FP16
  • La quantizzazione FP8 dimezza l’uso di memoria con un impatto sulla qualità trascurabile
  • SkyPilot semplifica la distribuzione multi-cloud con configurazioni YAML pronte all’uso
  • Cerebrium offre GPU serverless con auto-scaling (paghi per il calcolo)
  • In produzione, aggiungi un load balancer e monitora continuamente le metriche GPU