TensorRT-LLM e TGI
In questa pagina
Alternative a vLLM
Sebbene vLLM sia il motore predefinito consigliato, due alternative meritano la tua attenzione: TensorRT-LLM di NVIDIA per le massime prestazioni e TGI (Text Generation Inference) di Hugging Face per il suo ecosistema integrato. Entrambi servono gli stessi modelli Mistral, ma con filosofie opposte: uno compila, l’altro esegue. Questa scelta impegna la tua organizzazione ben oltre il deployment iniziale.
TensorRT-LLM
TensorRT-LLM è il framework di ottimizzazione per l’inferenza di NVIDIA. Fa più che semplicemente caricare un modello: lo compila in un “motore” ottimizzato specificamente per la tua GPU, offrendo le migliori prestazioni possibili sull’hardware NVIDIA. Il flusso di lavoro consiste quindi in due fasi distinte: una fase di build che produce il motore TensorRT, seguita da una fase di serve che lo distribuisce tramite Triton Inference Server. Questa separazione è fondamentale per tutto ciò che segue: guadagni prestazioni al momento della compilazione, non durante l’esecuzione.
# Step 1: Clone the TensorRT-LLM repository
git clone https://github.com/NVIDIA/TensorRT-LLM.git
cd TensorRT-LLM
# Step 2: Build the engine (Mistral 7B example)
# Mistral models use the LLaMA example from the repository
python examples/llama/convert_checkpoint.py \
--model_dir mistralai/Mistral-7B-Instruct-v0.3 \
--output_dir ./checkpoint \
--dtype float16
python -m tensorrt_llm.commands.build \
--checkpoint_dir ./checkpoint \
--output_dir ./engine \
--gemm_plugin float16
I guadagni sono misurabili: a seconda del caso d’uso, TensorRT-LLM si rivela dal 30% al 50% più veloce di vLLM. Applica ottimizzazioni dei kernel specifiche per ogni architettura GPU (Ampere, Hopper, Blackwell), offre una quantizzazione avanzata in FP8, INT8 e INT4 con calibrazione automatica e gestisce l’inflight batching per massimizzare il throughput.
Il compromesso è reale. Ogni modello deve essere compilato per la tua GPU specifica e questa compilazione richiede da trenta minuti a diverse ore, a seconda del modello. Cambiare modello richiede una nuova build, rendendo il processo doloroso se stai ancora testando diverse opzioni. Inoltre, funziona solo su hardware NVIDIA: non c’è portabilità verso AMD o altre piattaforme. In termini organizzativi, ciò significa che un team che itererà sul suo modello ogni settimana passerà più tempo a compilare che a servire.
Una volta costruito il motore, Triton prende il sopravvento ed espone il servizio:
# Launch Triton Inference Server with the engine
docker run --rm --gpus all \
-v ./engine:/models/mistral/1 \
-p 8000:8000 \
nvcr.io/nvidia/tritonserver:latest \
tritonserver --model-repository=/models
TGI (Text Generation Inference)
TGI è il toolkit di inferenza di Hugging Face. Occupa una via di mezzo: meno ottimizzato di TensorRT-LLM, ma più semplice da configurare e perfettamente integrato nell’ecosistema Hugging Face da cui probabilmente scarichi già i pesi. Il deployment richiede un solo comando Docker:
docker run --gpus all --shm-size 1g \
-p 8080:80 \
-e HUGGING_FACE_HUB_TOKEN=$HF_TOKEN \
ghcr.io/huggingface/text-generation-inference:2.0.3 \
--model-id mistralai/Mistral-7B-Instruct-v0.3
Il server diventa accessibile sulla porta 8080 una volta caricato il modello. Include quantizzazione integrata (GPTQ, AWQ, bitsandbytes), parallelismo tensoriale per distribuire il modello su più GPU, streaming token per token e continuous batching, che raggruppa automaticamente le richieste concurrenti invece di elaborarle una dopo l’altra.
In produzione, alcune impostazioni aggiuntive aiutano a limitare il consumo di memoria:
docker run --gpus all --shm-size 1g \
-p 8080:80 \
-e HUGGING_FACE_HUB_TOKEN=$HF_TOKEN \
ghcr.io/huggingface/text-generation-inference:2.0.3 \
--model-id mistralai/Mistral-7B-Instruct-v0.3 \
--max-input-length 4096 \
--max-total-tokens 8192 \
--max-batch-prefill-tokens 4096 \
--quantize awq
--max-input-length imposta la lunghezza massima del prompt, --max-total-tokens limita la somma di prompt e generazione, e --quantize abilita la quantizzazione per ridurre l’impronta sulla GPU. Ottimizzare precisamente questi valori ti protegge da una richiesta insolitamente lunga che potrebbe saturare la memoria e bloccare il servizio per tutti.
Lato client, TGI espone un’API compatibile sia con il client Mistral che con il client OpenAI, permettendoti di riutilizzare il codice esistente:
# Using the OpenAI client
from openai import OpenAI
client = OpenAI(
base_url="http://localhost:8080/v1",
api_key="not-needed"
)
response = client.chat.completions.create(
model="mistralai/Mistral-7B-Instruct-v0.3",
messages=[{"role": "user", "content": "Explain continuous batching."}],
max_tokens=512
)
print(response.choices[0].message.content)
Resta disponibile un’API nativa per le integrazioni che non utilizzano un SDK:
# Using curl (TGI native API)
curl http://localhost:8080/generate \
-H "Content-Type: application/json" \
-d '{
"inputs": "Explain continuous batching.",
"parameters": {"max_new_tokens": 512}
}'
Confronto tra i tre motori
| Criterio | vLLM | TensorRT-LLM | TGI |
|---|---|---|---|
| Prestazioni | Eccellenti | Massime | Buone |
| Facilità d’uso | Semplice | Complessa | Semplice |
| API OpenAI | Nativa | Tramite Triton | Nativa |
| Quantizzazione | FP8, AWQ | FP8, INT8, INT4 | GPTQ, AWQ |
| Multi-GPU | Parallelismo tensoriale | Tensoriale + Pipeline | Parallelismo tensoriale |
| Build richiesta | No | Sì (lunga) | No |
| Hardware | NVIDIA + AMD | Solo NVIDIA | NVIDIA + AMD |
Scegliere tra i tre
vLLM rimane la scelta predefinita, e per buoni motivi: ti permette di partire rapidamente, disponi di un’API compatibile con OpenAI e puoi cambiare modello senza dover ricostruire nulla. Un team ancora in fase di esplorazione non ha alcun interesse a imporsi altro.
TensorRT-LLM si giustifica in uno scenario specifico: un modello fisso servito in produzione con throughput molto elevato, su hardware esclusivamente NVIDIA, con un team MLOps capace di gestire la pipeline di build. Se manca anche solo uno di questi quattro elementi, il guadagno di prestazioni dal 30% al 50% verrà eroso dal tempo dedicato alla manutenzione della compilazione.
Infine, TGI è la scelta naturale se vivi già nell’ecosistema Hugging Face, desideri la quantizzazione senza configurazione aggiuntiva e cerchi una soluzione Docker semplice che un team senza specializzazione in inferenza possa adottare.
Punti chiave
- TensorRT-LLM offre le migliori prestazioni ma richiede una build specifica per ogni GPU
- TGI è il toolkit di Hugging Face con quantizzazione integrata, parallelismo tensoriale e batching
- vLLM rimane il miglior compromesso tra prestazioni e semplicità per la maggior parte dei casi d’uso
- Tutti e tre i motori espongono un’API compatibile con OpenAI (direttamente o tramite Triton)
- La tua scelta dipende dal tuo volume, dall’hardware e dalla tua tolleranza alla complessità