Přejít na hlavní obsah
Čeština— Vyberte jazyk
Menu

TensorRT-LLM a TGI

Lekce 12 z 14 Aktualizováno 29. července 2026 Pokročilý
Na této stránce
  1. Alternativy k vLLM
  2. TensorRT-LLM
  3. TGI (Text Generation Inference)
  4. Porovnání tří engineů
  5. Volba mezi třemi možnostmi
  6. Klíčové poznatky

Alternativy k vLLM

Ačkoli je vLLM doporučeným výchozím enginem, dvě alternativy si zaslouží tvou pozornost: TensorRT-LLM od NVIDIA pro maximální výkon a TGI (Text Generation Inference) od Hugging Face pro své integrované ekosystémové řešení. Obě slouží stejné modely Mistral, ale s odlišnými filozofiemi – jedna kompiluje, druhá provádí. Tato volba zavazuje tvou organizaci daleko za rámec počátečního nasazení.

TensorRT-LLM

TensorRT-LLM je optimalizační framework pro inferenci od NVIDIA. Nedělá jen to, že načte model: kompiluje jej do „enginu“ specificky optimalizovaného pro tvůj GPU, čímž dosahuje nejlepšího možného výkonu na hardwaru NVIDIA. Pracovní postup se proto skládá ze dvou odlišných kroků: fáze build, která vytvoří engine TensorRT, a následně fáze serve, která jej nasadí prostřednictvím Triton Inference Server. Toto oddělení je klíčové pro vše, co následuje: zisk ve výkonu získáš v době buildu, nikoli za běhu.

# Step 1: Clone the TensorRT-LLM repository
git clone https://github.com/NVIDIA/TensorRT-LLM.git
cd TensorRT-LLM

# Step 2: Build the engine (Mistral 7B example)
# Mistral models use the LLaMA example from the repository
python examples/llama/convert_checkpoint.py \
    --model_dir mistralai/Mistral-7B-Instruct-v0.3 \
    --output_dir ./checkpoint \
    --dtype float16

python -m tensorrt_llm.commands.build \
    --checkpoint_dir ./checkpoint \
    --output_dir ./engine \
    --gemm_plugin float16

Zisky jsou měřitelné: v závislosti na případu použití se TensorRT-LLM ukazuje být o 30 % až 50 % rychlejší než vLLM. Aplikuje optimalizace kernelů specifické pro každou architekturu GPU – Ampere, Hopper, Blackwell –, nabízí pokročilou kvantizaci ve formátech FP8, INT8 a INT4 s automatickou kalibrací a zpracovává inflight batching pro maximalizaci propustnosti.

Kompromis je však reálný. Každý model musí být zkompilován pro tvůj konkrétní GPU a tato kompilace trvá kdekoli od třiceti minut do několika hodin v závislosti na modelu. Změna modelu vyžaduje nový build, což činí proces bolestivým, pokud stále testuješ různé možnosti. Navíc funguje pouze na hardwaru NVIDIA: neexistuje žádná přenositelnost na AMD nebo jiné platformy. Z organizačního hlediska to znamená, že tým, který každý týden iteruje nad svým modelem, stráví více času kompilací než obsluhou.

Jakmile je engine sestaven, převezme otěže Triton a zpřístupní službu:

# Launch Triton Inference Server with the engine
docker run --rm --gpus all \
    -v ./engine:/models/mistral/1 \
    -p 8000:8000 \
    nvcr.io/nvidia/tritonserver:latest \
    tritonserver --model-repository=/models

TGI (Text Generation Inference)

TGI je inferenční toolkit od Hugging Face. Zabírá střední pozici: méně optimalizovaný než TensorRT-LLM, ale jednodušší na nastavení a perfektně integrovaný do ekosystému Hugging Face, odkud pravděpodobně již stahuješ své váhy. Nasazení vyžaduje pouze jeden příkaz Docker:

docker run --gpus all --shm-size 1g \
    -p 8080:80 \
    -e HUGGING_FACE_HUB_TOKEN=$HF_TOKEN \
    ghcr.io/huggingface/text-generation-inference:2.0.3 \
    --model-id mistralai/Mistral-7B-Instruct-v0.3

Server je přístupný na portu 8080, jakmile se model načte. Přichází s vestavěnou kvantizací (GPTQ, AWQ, bitsandbytes), tenzorovým paralelismem pro distribuci modelu na více GPU, streamováním token po tokenu a průběžným dávkováním (continuous batching), které automaticky seskupuje souběžné požadavky místo jejich sekvenčního zpracování.

V produkčním prostředí pomáhá několik dalších nastavení omezit spotřebu paměti:

docker run --gpus all --shm-size 1g \
    -p 8080:80 \
    -e HUGGING_FACE_HUB_TOKEN=$HF_TOKEN \
    ghcr.io/huggingface/text-generation-inference:2.0.3 \
    --model-id mistralai/Mistral-7B-Instruct-v0.3 \
    --max-input-length 4096 \
    --max-total-tokens 8192 \
    --max-batch-prefill-tokens 4096 \
    --quantize awq

--max-input-length nastavuje maximální délku promptu, --max-total-tokens omezuje součet promptu a generovaného textu a --quantize povoluje kvantizaci pro snížení zátěže GPU. Přesné doladění těchto hodnot tě ochrání před neobvykle dlouhým požadavkem, který by mohl zaplnit paměť a shodit službu pro všechny.

Na straně klienta vystavuje TGI API kompatibilní jak s klientem Mistral, tak s klientem OpenAI, což ti umožňuje znovu použít stávající kód:

# Using the OpenAI client
from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:8080/v1",
    api_key="not-needed"
)

response = client.chat.completions.create(
    model="mistralai/Mistral-7B-Instruct-v0.3",
    messages=[{"role": "user", "content": "Explain continuous batching."}],
    max_tokens=512
)
print(response.choices[0].message.content)

Pro integrace, které nepoužívají SDK, zůstává k dispozici nativní API:

# Using curl (TGI native API)
curl http://localhost:8080/generate \
    -H "Content-Type: application/json" \
    -d '{
        "inputs": "Explain continuous batching.",
        "parameters": {"max_new_tokens": 512}
    }'

Porovnání tří engineů

KritériumvLLMTensorRT-LLMTGI
VýkonVynikajícíMaximálníDobrý
Snadnost použitíJednoduchéSložitéJednoduché
OpenAI APINativníPřes TritonNativní
KvantizaceFP8, AWQFP8, INT8, INT4GPTQ, AWQ
Více GPUTenzorový paralelismusTenzorový + PipelineTenzorový paralelismus
Vyžadován buildNeAno (dlouhý)Ne
HardwareNVIDIA + AMDPouze NVIDIANVIDIA + AMD

Volba mezi třemi možnostmi

vLLM zůstává výchozí volbou a z dobrého důvodu: rychle se rozjedeš, máš API kompatibilní s OpenAI a můžeš měnit modely bez nutnosti opětovného buildu. Tým, který je stále ve fázi průzkumu, nemá žádný zájem si něco takového ukládat.

TensorRT-LLM je opodstatněný ve specifickém scénáři: pevný model obsluhovaný v produkci při velmi vysoké propustnosti, výhradně na hardwaru NVIDIA, s týmem MLOps schopným spravovat build pipeline. Pokud chybí byť jeden z těchto čtyř prvků, zisk ve výkonu o 30 % až 50 % bude sněden časem stráveným údržbou kompilace.

Nakonec je TGI přirozenou volbou, pokud již žiješ v ekosystému Hugging Face, chceš kvantizaci bez další konfigurace a hledáš jednoduché Docker řešení, které může adoptovat tým bez specializace na inferenci.

Klíčové poznatky

  • TensorRT-LLM nabízí nejlepší výkon, ale vyžaduje specifický build pro každý GPU
  • TGI je toolkit od Hugging Face s vestavěnou kvantizací, tenzorovým paralelismem a dávkováním
  • vLLM zůstává nejlepším kompromisem mezi výkonem a jednoduchostí pro většinu případů použití
  • Všechny tři enginy vystavují API kompatibilní s OpenAI (přímo nebo přes Triton)
  • Tvá volba závisí na tvém objemu, hardwaru a toleranci ke složitosti