TensorRT-LLM a TGI
Na této stránce
Alternativy k vLLM
Ačkoli je vLLM doporučeným výchozím enginem, dvě alternativy si zaslouží tvou pozornost: TensorRT-LLM od NVIDIA pro maximální výkon a TGI (Text Generation Inference) od Hugging Face pro své integrované ekosystémové řešení. Obě slouží stejné modely Mistral, ale s odlišnými filozofiemi – jedna kompiluje, druhá provádí. Tato volba zavazuje tvou organizaci daleko za rámec počátečního nasazení.
TensorRT-LLM
TensorRT-LLM je optimalizační framework pro inferenci od NVIDIA. Nedělá jen to, že načte model: kompiluje jej do „enginu“ specificky optimalizovaného pro tvůj GPU, čímž dosahuje nejlepšího možného výkonu na hardwaru NVIDIA. Pracovní postup se proto skládá ze dvou odlišných kroků: fáze build, která vytvoří engine TensorRT, a následně fáze serve, která jej nasadí prostřednictvím Triton Inference Server. Toto oddělení je klíčové pro vše, co následuje: zisk ve výkonu získáš v době buildu, nikoli za běhu.
# Step 1: Clone the TensorRT-LLM repository
git clone https://github.com/NVIDIA/TensorRT-LLM.git
cd TensorRT-LLM
# Step 2: Build the engine (Mistral 7B example)
# Mistral models use the LLaMA example from the repository
python examples/llama/convert_checkpoint.py \
--model_dir mistralai/Mistral-7B-Instruct-v0.3 \
--output_dir ./checkpoint \
--dtype float16
python -m tensorrt_llm.commands.build \
--checkpoint_dir ./checkpoint \
--output_dir ./engine \
--gemm_plugin float16
Zisky jsou měřitelné: v závislosti na případu použití se TensorRT-LLM ukazuje být o 30 % až 50 % rychlejší než vLLM. Aplikuje optimalizace kernelů specifické pro každou architekturu GPU – Ampere, Hopper, Blackwell –, nabízí pokročilou kvantizaci ve formátech FP8, INT8 a INT4 s automatickou kalibrací a zpracovává inflight batching pro maximalizaci propustnosti.
Kompromis je však reálný. Každý model musí být zkompilován pro tvůj konkrétní GPU a tato kompilace trvá kdekoli od třiceti minut do několika hodin v závislosti na modelu. Změna modelu vyžaduje nový build, což činí proces bolestivým, pokud stále testuješ různé možnosti. Navíc funguje pouze na hardwaru NVIDIA: neexistuje žádná přenositelnost na AMD nebo jiné platformy. Z organizačního hlediska to znamená, že tým, který každý týden iteruje nad svým modelem, stráví více času kompilací než obsluhou.
Jakmile je engine sestaven, převezme otěže Triton a zpřístupní službu:
# Launch Triton Inference Server with the engine
docker run --rm --gpus all \
-v ./engine:/models/mistral/1 \
-p 8000:8000 \
nvcr.io/nvidia/tritonserver:latest \
tritonserver --model-repository=/models
TGI (Text Generation Inference)
TGI je inferenční toolkit od Hugging Face. Zabírá střední pozici: méně optimalizovaný než TensorRT-LLM, ale jednodušší na nastavení a perfektně integrovaný do ekosystému Hugging Face, odkud pravděpodobně již stahuješ své váhy. Nasazení vyžaduje pouze jeden příkaz Docker:
docker run --gpus all --shm-size 1g \
-p 8080:80 \
-e HUGGING_FACE_HUB_TOKEN=$HF_TOKEN \
ghcr.io/huggingface/text-generation-inference:2.0.3 \
--model-id mistralai/Mistral-7B-Instruct-v0.3
Server je přístupný na portu 8080, jakmile se model načte. Přichází s vestavěnou kvantizací (GPTQ, AWQ, bitsandbytes), tenzorovým paralelismem pro distribuci modelu na více GPU, streamováním token po tokenu a průběžným dávkováním (continuous batching), které automaticky seskupuje souběžné požadavky místo jejich sekvenčního zpracování.
V produkčním prostředí pomáhá několik dalších nastavení omezit spotřebu paměti:
docker run --gpus all --shm-size 1g \
-p 8080:80 \
-e HUGGING_FACE_HUB_TOKEN=$HF_TOKEN \
ghcr.io/huggingface/text-generation-inference:2.0.3 \
--model-id mistralai/Mistral-7B-Instruct-v0.3 \
--max-input-length 4096 \
--max-total-tokens 8192 \
--max-batch-prefill-tokens 4096 \
--quantize awq
--max-input-length nastavuje maximální délku promptu, --max-total-tokens omezuje součet promptu a generovaného textu a --quantize povoluje kvantizaci pro snížení zátěže GPU. Přesné doladění těchto hodnot tě ochrání před neobvykle dlouhým požadavkem, který by mohl zaplnit paměť a shodit službu pro všechny.
Na straně klienta vystavuje TGI API kompatibilní jak s klientem Mistral, tak s klientem OpenAI, což ti umožňuje znovu použít stávající kód:
# Using the OpenAI client
from openai import OpenAI
client = OpenAI(
base_url="http://localhost:8080/v1",
api_key="not-needed"
)
response = client.chat.completions.create(
model="mistralai/Mistral-7B-Instruct-v0.3",
messages=[{"role": "user", "content": "Explain continuous batching."}],
max_tokens=512
)
print(response.choices[0].message.content)
Pro integrace, které nepoužívají SDK, zůstává k dispozici nativní API:
# Using curl (TGI native API)
curl http://localhost:8080/generate \
-H "Content-Type: application/json" \
-d '{
"inputs": "Explain continuous batching.",
"parameters": {"max_new_tokens": 512}
}'
Porovnání tří engineů
| Kritérium | vLLM | TensorRT-LLM | TGI |
|---|---|---|---|
| Výkon | Vynikající | Maximální | Dobrý |
| Snadnost použití | Jednoduché | Složité | Jednoduché |
| OpenAI API | Nativní | Přes Triton | Nativní |
| Kvantizace | FP8, AWQ | FP8, INT8, INT4 | GPTQ, AWQ |
| Více GPU | Tenzorový paralelismus | Tenzorový + Pipeline | Tenzorový paralelismus |
| Vyžadován build | Ne | Ano (dlouhý) | Ne |
| Hardware | NVIDIA + AMD | Pouze NVIDIA | NVIDIA + AMD |
Volba mezi třemi možnostmi
vLLM zůstává výchozí volbou a z dobrého důvodu: rychle se rozjedeš, máš API kompatibilní s OpenAI a můžeš měnit modely bez nutnosti opětovného buildu. Tým, který je stále ve fázi průzkumu, nemá žádný zájem si něco takového ukládat.
TensorRT-LLM je opodstatněný ve specifickém scénáři: pevný model obsluhovaný v produkci při velmi vysoké propustnosti, výhradně na hardwaru NVIDIA, s týmem MLOps schopným spravovat build pipeline. Pokud chybí byť jeden z těchto čtyř prvků, zisk ve výkonu o 30 % až 50 % bude sněden časem stráveným údržbou kompilace.
Nakonec je TGI přirozenou volbou, pokud již žiješ v ekosystému Hugging Face, chceš kvantizaci bez další konfigurace a hledáš jednoduché Docker řešení, které může adoptovat tým bez specializace na inferenci.
Klíčové poznatky
- TensorRT-LLM nabízí nejlepší výkon, ale vyžaduje specifický build pro každý GPU
- TGI je toolkit od Hugging Face s vestavěnou kvantizací, tenzorovým paralelismem a dávkováním
- vLLM zůstává nejlepším kompromisem mezi výkonem a jednoduchostí pro většinu případů použití
- Všechny tři enginy vystavují API kompatibilní s OpenAI (přímo nebo přes Triton)
- Tvá volba závisí na tvém objemu, hardwaru a toleranci ke složitosti