TensorRT-LLM und TGI
Auf dieser Seite
Alternativen zu vLLM
Während vLLM der empfohlene Standard-Engine ist, verdienen zwei Alternativen Ihre Aufmerksamkeit: TensorRT-LLM von NVIDIA für maximale Leistung und TGI (Text Generation Inference) von Hugging Face für sein integriertes Ökosystem. Beide dienen denselben Mistral-Modellen, verfolgen jedoch gegensätzliche Philosophien – die eine kompiliert, die andere führt aus. Diese Entscheidung bindet Ihre Organisation weit über die anfängliche Bereitstellung hinaus.
TensorRT-LLM
TensorRT-LLM ist das Inferenz-Optimierungsframework von NVIDIA. Es lädt ein Modell nicht nur einfach, sondern kompiliert es in eine „Engine”, die speziell für Ihre GPU optimiert ist und auf NVIDIA-Hardware die bestmögliche Leistung liefert. Der Workflow besteht daher aus zwei getrennten Phasen: einer Build-Phase, die die TensorRT-Engine erzeugt, und einer Serve-Phase, die sie über den Triton Inference Server bereitstellt. Diese Trennung ist der Schlüssel zu allem, was folgt: Sie erzielen die Leistung zur Build-Zeit, nicht zur Laufzeit.
# Schritt 1: Das TensorRT-LLM-Repository klonen
git clone https://github.com/NVIDIA/TensorRT-LLM.git
cd TensorRT-LLM
# Schritt 2: Die Engine erstellen (Beispiel Mistral 7B)
# Mistral-Modelle verwenden das LLaMA-Beispiel aus dem Repository
python examples/llama/convert_checkpoint.py \
--model_dir mistralai/Mistral-7B-Instruct-v0.3 \
--output_dir ./checkpoint \
--dtype float16
python -m tensorrt_llm.commands.build \
--checkpoint_dir ./checkpoint \
--output_dir ./engine \
--gemm_plugin float16
Die Gewinne sind messbar: Je nach Anwendungsfall erweist sich TensorRT-LLM als 30 % bis 50 % schneller als vLLM. Es wendet Kernel-Optimierungen an, die spezifisch für jede GPU-Architektur sind – Ampere, Hopper, Blackwell –, bietet fortgeschrittene Quantisierung in FP8, INT8 und INT4 mit automatischer Kalibrierung und bewältigt inflight batching, um die Durchsatzleistung zu maximieren.
Der Kompromiss ist real. Jedes Modell muss für Ihre spezifische GPU kompiliert werden, und diese Kompilierung dauert je nach Modell zwischen dreißig Minuten und mehreren Stunden. Ein Wechsel der Modelle erfordert einen neuen Build, was den Prozess schmerzhaft macht, wenn Sie noch verschiedene Optionen testen. Darüber hinaus funktioniert es ausschließlich auf NVIDIA-Hardware: Es gibt keine Portabilität zu AMD oder anderen Plattformen. In organisatorischer Hinsicht bedeutet dies, dass ein Team, das sein Modell wöchentlich iteriert, mehr Zeit mit dem Kompilieren als mit dem Bereitstellen verbringt.
Sobald die Engine erstellt ist, übernimmt Triton und stellt den Dienst bereit:
# Triton Inference Server mit der Engine starten
docker run --rm --gpus all \
-v ./engine:/models/mistral/1 \
-p 8000:8000 \
nvcr.io/nvidia/tritonserver:latest \
tritonserver --model-repository=/models
TGI (Text Generation Inference)
TGI ist das Inferenz-Toolkit von Hugging Face. Es nimmt eine Mittelstellung ein: weniger optimiert als TensorRT-LLM, aber einfacher einzurichten und perfekt in das Hugging Face-Ökosystem integriert, aus dem Sie Ihre Gewichte wahrscheinlich bereits beziehen. Die Bereitstellung erfordert lediglich einen einzigen Docker-Befehl:
docker run --gpus all --shm-size 1g \
-p 8080:80 \
-e HUGGING_FACE_HUB_TOKEN=$HF_TOKEN \
ghcr.io/huggingface/text-generation-inference:2.0.3 \
--model-id mistralai/Mistral-7B-Instruct-v0.3
Der Server ist auf Port 8080 zugänglich, sobald das Modell geladen ist. Er verfügt über integrierte Quantisierung (GPTQ, AWQ, bitsandbytes), Tensor-Parallelität zur Verteilung des Modells über mehrere GPUs, tokenweise Streaming und kontinuierliches Batching, das gleichzeitige Anfragen automatisch gruppiert, anstatt sie nacheinander zu verarbeiten.
In der Produktion helfen einige zusätzliche Einstellungen, den Speicherverbrauch einzudämmen:
docker run --gpus all --shm-size 1g \
-p 8080:80 \
-e HUGGING_FACE_HUB_TOKEN=$HF_TOKEN \
ghcr.io/huggingface/text-generation-inference:2.0.3 \
--model-id mistralai/Mistral-7B-Instruct-v0.3 \
--max-input-length 4096 \
--max-total-tokens 8192 \
--max-batch-prefill-tokens 4096 \
--quantize awq
--max-input-length legt die maximale Prompt-Länge fest, --max-total-tokens begrenzt die kombinierte Länge aus Prompt und Generierung, und --quantize aktiviert die Quantisierung, um den GPU-Fußabdruck zu reduzieren. Das präzise Einstellen dieser Werte schützt Sie vor einer ungewöhnlich langen Anfrage, die den Speicher sättigen und den Dienst für alle anderen ausfallen lassen könnte.
Auf der Client-Seite stellt TGI eine API bereit, die sowohl mit dem Mistral-Client als auch mit dem OpenAI-Client kompatibel ist, sodass Sie bestehenden Code wiederverwenden können:
# Nutzung des OpenAI-Clients
from openai import OpenAI
client = OpenAI(
base_url="http://localhost:8080/v1",
api_key="not-needed"
)
response = client.chat.completions.create(
model="mistralai/Mistral-7B-Instruct-v0.3",
messages=[{"role": "user", "content": "Explain continuous batching."}],
max_tokens=512
)
print(response.choices[0].message.content)
Eine native API bleibt für Integrationen verfügbar, die kein SDK verwenden:
# Nutzung von curl (native TGI-API)
curl http://localhost:8080/generate \
-H "Content-Type: application/json" \
-d '{
"inputs": "Explain continuous batching.",
"parameters": {"max_new_tokens": 512}
}'
Vergleich der drei Engines
| Kriterium | vLLM | TensorRT-LLM | TGI |
|---|---|---|---|
| Leistung | Ausgezeichnet | Maximale | Gut |
| Benutzerfreundlichkeit | Einfach | Komplex | Einfach |
| OpenAI-API | Native | Über Triton | Native |
| Quantisierung | FP8, AWQ | FP8, INT8, INT4 | GPTQ, AWQ |
| Multi-GPU | Tensor-Parallelität | Tensor- + Pipeline-Parallelität | Tensor-Parallelität |
| Build erforderlich | Nein | Ja (lang) | Nein |
| Hardware | NVIDIA + AMD | Nur NVIDIA | NVIDIA + AMD |
Auswahl zwischen den drei Engines
vLLM bleibt die erste Wahl, und zwar aus gutem Grund: Sie können schnell loslegen, verfügen über eine OpenAI-kompatible API und können Modelle wechseln, ohne etwas neu zu kompilieren. Ein Team, das sich noch in der Erforschungsphase befindet, hat kein Interesse daran, sich etwas anderes aufzuzwingen.
TensorRT-LLM ist in einem spezifischen Szenario gerechtfertigt: ein festes Modell, das in der Produktion mit sehr hohem Durchsatz bereitgestellt wird, ausschließlich auf NVIDIA-Hardware, mit einem MLOps-Team, das die Build-Pipeline verwalten kann. Wenn eines dieser vier Elemente fehlt, wird der Leistungsgewinn von 30 % bis 50 % durch die für die Wartung der Kompilierung benötigte Zeit aufgefressen.
Schließlich ist TGI die natürliche Wahl, wenn Sie bereits im Hugging Face-Ökosystem leben, Quantisierung ohne zusätzliche Konfiguration wünschen und nach einer einfachen Docker-Lösung suchen, die ein Team ohne Inferenz-Spezialisierung übernehmen kann.
Kernaussagen
- TensorRT-LLM bietet die beste Leistung, erfordert jedoch einen spezifischen Build pro GPU.
- TGI ist das Hugging Face-Toolkit mit integrierter Quantisierung, Tensor-Parallelität und Batching.
- vLLM bleibt für die meisten Anwendungsfälle der beste Kompromiss zwischen Leistung und Einfachheit.
- Alle drei Engines stellen eine OpenAI-kompatible API bereit (direkt oder über Triton).
- Ihre Wahl hängt von Ihrem Volumen, Ihrer Hardware und Ihrer Toleranz gegenüber Komplexität ab.