Preskoči na glavni sadržaj
Hrvatski— Odaberite jezik
Izbornik

TensorRT-LLM i TGI

Lekcija 12 od 14 Ažurirano 29. srpnja 2026. Napredno
Na ovoj stranici
  1. Alternative za vLLM
  2. TensorRT-LLM
  3. TGI (Text Generation Inference)
  4. Usporedba triju motora
  5. Odabir između triju opcija
  6. Ključne točke

Alternative za vLLM

Iako je vLLM preporučeni zadani mehanizam, dvije alternative zaslužuju tvoju pažnju: NVIDIA-in TensorRT-LLM za maksimalne performanse i Hugging Faceov TGI (Text Generation Inference) zbog svog integriranog ekosustava. Obje služe iste Mistral modele, ali s suprotnim filozofijama – jedna kompilira, druga izvršava. Ovaj izbor obvezuje tvoju organizaciju daleko izvan početnog raspoređivanja.

TensorRT-LLM

TensorRT-LLM je NVIDIA-in okvir za optimizaciju zaključivanja. On ne radi samo učitavanje modela: kompilira ga u „motor“ optimiziran specifično za tvoj GPU, isporučujući najbolje moguće performanse na NVIDIA hardveru. Radni tijek se stoga sastoji od dva različita koraka: faze izgradnje koja proizvodi TensorRT motor, nakon koje slijedi faza posluživanja koja ga raspoređuje putem Triton Inference Servera. Ova odvojenost ključna je za sve što slijedi: dobivaš performanse u vrijeme izgradnje, a ne u vrijeme izvršavanja.

# Step 1: Clone the TensorRT-LLM repository
git clone https://github.com/NVIDIA/TensorRT-LLM.git
cd TensorRT-LLM

# Step 2: Build the engine (Mistral 7B example)
# Mistral models use the LLaMA example from the repository
python examples/llama/convert_checkpoint.py \
    --model_dir mistralai/Mistral-7B-Instruct-v0.3 \
    --output_dir ./checkpoint \
    --dtype float16

python -m tensorrt_llm.commands.build \
    --checkpoint_dir ./checkpoint \
    --output_dir ./engine \
    --gemm_plugin float16

Dobici su mjerljivi: ovisno o slučaju upotrebe, TensorRT-LLM se pokazuje 30 % do 50 % bržim od vLLM-a. Primjenjuje optimizacije kernela specifične za svaku arhitekturu GPU-a – Ampere, Hopper, Blackwell – nudi naprednu kvantizaciju u FP8, INT8 i INT4 formatima s automatskom kalibracijom te rukuje grupiranjem zahtjeva tijekom izvršavanja (inflight batching) kako bi maksimizirao propusnost.

Kompromis je stvaran. Svaki model mora se kompilirati za tvoj specifični GPU, a ta kompilacija traje od trideset minuta do nekoliko sati, ovisno o modelu. Promjena modela zahtijeva novu izgradnju, što proces čini bolnim ako još uvijek testiraš različite opcije. Nadalje, radi samo na NVIDIA hardveru: ne postoji prenosivost na AMD ili druge platforme. U organizacijskom smislu, to znači da će tim koji svaki tjedan iterira svoj model provesti više vremena kompilirajući nego poslužujući.

Nakon što se motor izgradi, Triton preuzima kontrolu i izlaže uslugu:

# Launch Triton Inference Server with the engine
docker run --rm --gpus all \
    -v ./engine:/models/mistral/1 \
    -p 8000:8000 \
    nvcr.io/nvidia/tritonserver:latest \
    tritonserver --model-repository=/models

TGI (Text Generation Inference)

TGI je Hugging Faceov alat za zaključivanje. Zauzima sredinu: manje je optimiziran od TensorRT-LLM-a, ali jednostavniji za postavljanje i savršeno integriran u Hugging Face ekosustav iz kojeg vjerojatno već preuzimaš težine. Raspoređivanje zahtijeva samo jednu Docker naredbu:

docker run --gpus all --shm-size 1g \
    -p 8080:80 \
    -e HUGGING_FACE_HUB_TOKEN=$HF_TOKEN \
    ghcr.io/huggingface/text-generation-inference:2.0.3 \
    --model-id mistralai/Mistral-7B-Instruct-v0.3

Poslužitelj postaje dostupan na portu 8080 nakon učitavanja modela. Dolazi s ugrađenom kvantizacijom (GPTQ, AWQ, bitsandbytes), tenzorskom paralelizacijom za distribuciju modela na više GPU-ova, strujanjem token-po-token i kontinuiranim grupiranjem (continuous batching), koje automatski grupira istovremene zahtjeve umjesto da ih obrađuje jedan za drugim.

U proizvodnji, nekoliko dodatnih postavki pomaže u ograničavanju potrošnje memorije:

docker run --gpus all --shm-size 1g \
    -p 8080:80 \
    -e HUGGING_FACE_HUB_TOKEN=$HF_TOKEN \
    ghcr.io/huggingface/text-generation-inference:2.0.3 \
    --model-id mistralai/Mistral-7B-Instruct-v0.3 \
    --max-input-length 4096 \
    --max-total-tokens 8192 \
    --max-batch-prefill-tokens 4096 \
    --quantize awq

--max-input-length postavlja maksimalnu duljinu upita, --max-total-tokens ograničava kombinirani upit i generiranje, a --quantize omogućuje kvantizaciju za smanjenje otiska na GPU-u. Precizno podešavanje ovih vrijednosti štiti te od neuobičajeno dugog zahtjeva koji bi mogao zasititi memoriju i srušiti uslugu za sve.

Na strani klijenta, TGI izlaže API kompatibilan i s Mistral klijentom i s OpenAI klijentom, što ti omogućuje ponovnu upotrebu postojećeg koda:

# Using the OpenAI client
from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:8080/v1",
    api_key="not-needed"
)

response = client.chat.completions.create(
    model="mistralai/Mistral-7B-Instruct-v0.3",
    messages=[{"role": "user", "content": "Explain continuous batching."}],
    max_tokens=512
)
print(response.choices[0].message.content)

Izvorni API ostaje dostupan za integracije koje ne koriste SDK:

# Using curl (TGI native API)
curl http://localhost:8080/generate \
    -H "Content-Type: application/json" \
    -d '{
        "inputs": "Explain continuous batching.",
        "parameters": {"max_new_tokens": 512}
    }'

Usporedba triju motora

KriterijvLLMTensorRT-LLMTGI
PerformanseIzvrsneMaksimalneDobre
Jednostavnost korištenjaJednostavnoSloženoJednostavno
OpenAI APIIzvorniPutem TritonaIzvorni
KvantizacijaFP8, AWQFP8, INT8, INT4GPTQ, AWQ
Više GPU-ovaTenzorska paralelaTenzorska + cjevovodnaTenzorska paralela
Potrebna izgradnjaNeDa (dugo)Ne
HardverNVIDIA + AMDSamo NVIDIANVIDIA + AMD

Odabir između triju opcija

vLLM ostaje zadani izbor, i to s dobrim razlogom: brzo se pokrećeš, imaš API kompatibilan s OpenAI-jem i možeš mijenjati modele bez ponovne izgradnje bilo čega. Tim koji je još u fazi istraživanja nema interesa nametati si bilo što drugo.

TensorRT-LLM opravdan je u specifičnom scenariju: fiksni model koji se poslužuje u proizvodnji s vrlo visokom propusnošću, isključivo na NVIDIA hardveru, uz MLOps tim sposoban upravljati cjevovodom izgradnje. Ako nedostaje bilo koji od ova četiri elementa, dobitak u performansama od 30 % do 50 % pojest će vrijeme provedeno održavanjem kompilacije.

Konačno, TGI je prirodan izbor ako već živiš u Hugging Face ekosustavu, želiš kvantizaciju bez dodatne konfiguracije i tražiš jednostavno Docker rješenje koje tim bez specijalizacije za zaključivanje može usvojiti.

Ključne točke

  • TensorRT-LLM nudi najbolje performanse, ali zahtijeva specifičnu izgradnju za svaki GPU
  • TGI je Hugging Faceov alat s ugrađenom kvantizacijom, tenzorskom paralelizacijom i grupiranjem
  • vLLM ostaje najbolji kompromis između performansi i jednostavnosti za većinu slučajeva upotrebe
  • Sva tri motora izlažu API kompatibilan s OpenAI-jem (izravno ili putem Tritona)
  • Tvoj izbor ovisi o tvojem volumenu, hardveru i toleranciji na složenost