Prejsť na hlavný obsah
Slovenčina— Vyberte jazyk
Menu

TensorRT-LLM a TGI

Lekcia 12 z 14 Aktualizované 29. júla 2026 Pokročilý
Na tejto strane
  1. Alternatívy k vLLM
  2. TensorRT-LLM
  3. TGI (Text Generation Inference)
  4. Porovnanie troch engineov
  5. Výber medzi tromi možnosťami
  6. Kľúčové poznatky

Alternatívy k vLLM

Hoci je vLLM odporúčaným predvoleným enginom, dve alternatívy si zaslúžia tvoju pozornosť: TensorRT-LLM od NVIDIA pre maximálny výkon a TGI (Text Generation Inference) od Hugging Face pre jeho integrovaný ekosystém. Obe obsluhujú rovnaké modely Mistral, ale s opačnými filozofiami – jedna kompiluje, druhá vykonáva. Táto voľba zaväzuje tvoju organizáciu ďaleko za rámec počiatočného nasadenia.

TensorRT-LLM

TensorRT-LLM je optimalizačný framework pre inferenciu od NVIDIA. Nerobí len to, že načíta model: kompiluje ho do „enginu“ špecificky optimalizovaného pre tvoju GPU, čím dosahuje najlepší možný výkon na hardvéri NVIDIA. Pracovný postup sa preto skladá z dvoch odlišných krokov: fázy build, ktorá vytvorí engine TensorRT, a fázy serve, ktorá ho nasadí prostredníctvom Triton Inference Server. Toto oddelenie je kľúčové pre všetko, čo nasleduje: zisk vo výkone dosahuješ v čase zostavenia, nie v čase behu.

# Step 1: Clone the TensorRT-LLM repository
git clone https://github.com/NVIDIA/TensorRT-LLM.git
cd TensorRT-LLM

# Step 2: Build the engine (Mistral 7B example)
# Mistral models use the LLaMA example from the repository
python examples/llama/convert_checkpoint.py \
    --model_dir mistralai/Mistral-7B-Instruct-v0.3 \
    --output_dir ./checkpoint \
    --dtype float16

python -m tensorrt_llm.commands.build \
    --checkpoint_dir ./checkpoint \
    --output_dir ./engine \
    --gemm_plugin float16

Zisky sú merateľné: v závislosti od prípadu použitia sa TensorRT-LLM ukazuje byť o 30 % až 50 % rýchlejší ako vLLM. Aplikuje optimalizácie jadier špecifické pre každú architektúru GPU – Ampere, Hopper, Blackwell, ponúka pokročilú kvantizáciu vo formátoch FP8, INT8 a INT4 s automatickou kalibráciou a spracováva inflight batching na maximalizáciu priepustnosti.

Kompromis je reálny. Každý model musí byť skompilovaný pre tvoju konkrétnu GPU a táto kompilácia trvá kdekoľvek od tridsiatich minút do niekoľkých hodín v závislosti od modelu. Zmena modelu si vyžaduje nové zostavenie, čo robí proces bolestivým, ak stále testuješ rôzne možnosti. Navyše funguje len na hardvéri NVIDIA: neexistuje žiadna prenosnosť na AMD alebo iné platformy. Z organizačného hľadiska to znamená, že tím, ktorý iteruje svoj model každý týždeň, strávi viac času kompiláciou než obsluhou.

Akonáhle je engine zostavený, preberá kontrolu Triton a vystavuje službu:

# Launch Triton Inference Server with the engine
docker run --rm --gpus all \
    -v ./engine:/models/mistral/1 \
    -p 8000:8000 \
    nvcr.io/nvidia/tritonserver:latest \
    tritonserver --model-repository=/models

TGI (Text Generation Inference)

TGI je toolkit pre inferenciu od Hugging Face. Zaberá strednú pozíciu: menej optimalizovaný ako TensorRT-LLM, ale jednoduchší na nastavenie a dokonale integrovaný do ekosystému Hugging Face, z ktorého pravdepodobne už sťahuješ váhy. Nasadenie si vyžaduje len jeden príkaz Docker:

docker run --gpus all --shm-size 1g \
    -p 8080:80 \
    -e HUGGING_FACE_HUB_TOKEN=$HF_TOKEN \
    ghcr.io/huggingface/text-generation-inference:2.0.3 \
    --model-id mistralai/Mistral-7B-Instruct-v0.3

Server sa stane dostupným na porte 8080 hneď, ako sa model načíta. Prichádza so vstavanou kvantizáciou (GPTQ, AWQ, bitsandbytes), tenzorovým paralelizmom na rozdelenie modelu medzi viacero GPU, streamovaním token po tokene a priebežným dávkovaním (continuous batching), ktoré automaticky zoskupuje súbežné požiadavky namiesto ich postupného spracovania.

V produkcii pomáha niekoľko ďalších nastavení obmedziť spotrebu pamäte:

docker run --gpus all --shm-size 1g \
    -p 8080:80 \
    -e HUGGING_FACE_HUB_TOKEN=$HF_TOKEN \
    ghcr.io/huggingface/text-generation-inference:2.0.3 \
    --model-id mistralai/Mistral-7B-Instruct-v0.3 \
    --max-input-length 4096 \
    --max-total-tokens 8192 \
    --max-batch-prefill-tokens 4096 \
    --quantize awq

--max-input-length nastavuje maximálnu dĺžku promptu, --max-total-tokens obmedzuje kombinovaný počet tokenov promptu a generovania a --quantize povoľuje kvantizáciu na zmenšenie stopy na GPU. Presné doladenie týchto hodnôt ťa ochráni pred nezvyčajne dlhou požiadavkou, ktorá by mohla zaplniť pamäť a zhodiť službu pre všetkých.

Na strane klienta vystavuje TGI API kompatibilné s klientom Mistral aj klientom OpenAI, čo ti umožňuje opätovne použiť existujúci kód:

# Using the OpenAI client
from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:8080/v1",
    api_key="not-needed"
)

response = client.chat.completions.create(
    model="mistralai/Mistral-7B-Instruct-v0.3",
    messages=[{"role": "user", "content": "Explain continuous batching."}],
    max_tokens=512
)
print(response.choices[0].message.content)

Pre integrácie, ktoré nepoužívajú SDK, zostáva dostupné natívne API:

# Using curl (TGI native API)
curl http://localhost:8080/generate \
    -H "Content-Type: application/json" \
    -d '{
        "inputs": "Explain continuous batching.",
        "parameters": {"max_new_tokens": 512}
    }'

Porovnanie troch engineov

KritériumvLLMTensorRT-LLMTGI
VýkonVýbornýMaximálnyDobrý
Jednoduchosť použitiaJednoduchéZložitéJednoduché
OpenAI APINatívneCez TritonNatívne
KvantizáciaFP8, AWQFP8, INT8, INT4GPTQ, AWQ
Viacero GPUTenzorový paralelizmusTenzorový + pipelineTenzorový paralelizmus
Vyžaduje sa buildNieÁno (dlhý)Nie
HardvérNVIDIA + AMDLen NVIDIANVIDIA + AMD

Výber medzi tromi možnosťami

vLLM zostáva predvolenou voľbou a z dobrého dôvodu: rýchlo sa rozbehneš, máš API kompatibilné s OpenAI a môžeš meniť modely bez potreby niečo znovu zostavovať. Tím, ktorý je stále vo fáze prieskumu, nemá záujem ukladať si nič iné.

TensorRT-LLM je opodstatnený v špecifickom scenári: fixný model obsluhovaný v produkcii pri veľmi vysokej priepustnosti, výlučne na hardvéri NVIDIA, s tímom MLOps schopným spravovať pipeline zostavenia. Ak chýba čo i len jeden z týchto štyroch prvkov, zisk vo výkone o 30 % až 50 % bude pohltený časom stráveným údržbou kompilácie.

Nakoniec, TGI je prirodzenou voľbou, ak už žiješ v ekosystéme Hugging Face, chceš kvantizáciu bez ďalšej konfigurácie a hľadáš jednoduché riešenie Docker, ktoré môže adoptovať tím bez špecializácie na inferenciu.

Kľúčové poznatky

  • TensorRT-LLM ponúka najlepší výkon, ale vyžaduje si špecifický build pre každú GPU
  • TGI je toolkit od Hugging Face so vstavanou kvantizáciou, tenzorovým paralelizmom a dávkovaním
  • vLLM zostáva najlepším kompromisom medzi výkonom a jednoduchosťou pre väčšinu prípadov použitia
  • Všetky tri enginy vystavujú API kompatibilné s OpenAI (priamo alebo cez Triton)
  • Tvoja voľba závisí od tvojho objemu, hardvéru a tolerancie voči zložitosti