Ugrás a főtartalomra
Magyar— Nyelv kiválasztása
Menü

TensorRT-LLM és TGI

12. lecke 14 közül Frissítve 2026. július 29. Haladó
Ezen az oldalon
  1. Alternatívák a vLLM-hez
  2. TensorRT-LLM
  3. TGI (Text Generation Inference)
  4. A három motor összehasonlítása
  5. Döntés a három közül
  6. Főbb megállapítások

Alternatívák a vLLM-hez

Bár a vLLM az ajánlott alapértelmezett motor, két alternatíva is megérdemli a figyelmedet: a NVIDIA TensorRT-LLM megoldása a maximális teljesítményért, valamint a Hugging Face TGI (Text Generation Inference) eszköze az integrált ökoszisztémájáért. Mindkettő ugyanazokat a Mistral modelleket szolgálja ki, de eltérő filozófiát követnek: az egyik fordít, a másik végrehajt. Ez a döntés hosszú távon meghatározza majd szervezeted működését, jóval a kezdeti telepítésen túl is.

TensorRT-LLM

A TensorRT-LLM a NVIDIA következtetési (inference) optimalizáló keretrendszere. Többet tesz annál, mint hogy egyszerűen betölt egy modellt: „motorrá“ fordítja azt, kifejezetten a te GPU-d számára optimalizálva, így a lehető legjobb teljesítményt nyújtja NVIDIA hardveren. A munkafolyamat ezért két különálló lépésből áll: egy build (fordítási) fázisból, amely előállítja a TensorRT motort, majd egy serve (kiszolgálási) fázisból, amely a Triton Inference Serveren keresztül éri el azt. Ez a szétválasztás kulcsfontosságú: a teljesítménynövekedést a fordítás idején éred el, nem futás közben.

# 1. lépés: A TensorRT-LLM tároló klónozása
git clone https://github.com/NVIDIA/TensorRT-LLM.git
cd TensorRT-LLM

# 2. lépés: A motor létrehozása (Mistral 7B példa)
# A Mistral modellek a tároló LLaMA példáját használják
python examples/llama/convert_checkpoint.py \
    --model_dir mistralai/Mistral-7B-Instruct-v0.3 \
    --output_dir ./checkpoint \
    --dtype float16

python -m tensorrt_llm.commands.build \
    --checkpoint_dir ./checkpoint \
    --output_dir ./engine \
    --gemm_plugin float16

A nyereség mérhető: a felhasználási esettől függően a TensorRT-LLM 30–50%-kal gyorsabbnak bizonyul a vLLM-nél. Kernel-optimalizálásokat alkalmaz minden egyes GPU-architektúrára (Ampere, Hopper, Blackwell), fejlett kvantálást kínál FP8, INT8 és INT4 formátumban automatikus kalibrálással, valamint kezeli a „inflight batching“ technikát az átviteli sebesség maximalizálása érdekében.

A kompromisszum valós. Minden modellt le kell fordítani a specifikus GPU-d számára, és ez a fordítás modelltől függően harminc perctől több óráig is eltarthat. Modellváltás esetén újabb fordítás szükséges, ami fájdalmassá teszi a folyamatot, ha még különböző lehetőségeket tesztelsz. Ráadásul kizárólag NVIDIA hardveren működik: nincs portolhatóság AMD vagy más platformokra. Szervezeti szinten ez azt jelenti, hogy egy csapat, amely hetente iterál a modelljén, több időt tölt majd fordítással, mint kiszolgálással.

Miután a motor elkészült, a Triton veszi át az irányítást, és elérhetővé teszi a szolgáltatást:

# A Triton Inference Server elindítása a motorral
docker run --rm --gpus all \
    -v ./engine:/models/mistral/1 \
    -p 8000:8000 \
    nvcr.io/nvidia/tritonserver:latest \
    tritonserver --model-repository=/models

TGI (Text Generation Inference)

A TGI a Hugging Face következtetési eszközkészlete. Középutat választ: kevésbé optimalizált, mint a TensorRT-LLM, de egyszerűbb beállítani, és tökéletesen integrálódik abba a Hugging Face ökoszisztémába, ahonnan valószínűleg már most is letöltöd a súlyokat. A telepítéshez mindössze egyetlen Docker-parancs szükséges:

docker run --gpus all --shm-size 1g \
    -p 8080:80 \
    -e HUGGING_FACE_HUB_TOKEN=$HF_TOKEN \
    ghcr.io/huggingface/text-generation-inference:2.0.3 \
    --model-id mistralai/Mistral-7B-Instruct-v0.3

A szerver a modell betöltése után a 8080-as porton válik elérhetővé. Beépített kvantálást (GPTQ, AWQ, bitsandbytes), tenzor-párhuzamosítást a modell több GPU-ra történő elosztásához, tokenenkénti streamelést és folyamatos kötegelést (continuous batching) kínál, amely automatikusan csoportosítja az egyidejű kéréseket ahelyett, hogy egyesével dolgozná fel őket.

Éles környezetben néhány további beállítás segít korlátozni a memóriafogyasztást:

docker run --gpus all --shm-size 1g \
    -p 8080:80 \
    -e HUGGING_FACE_HUB_TOKEN=$HF_TOKEN \
    ghcr.io/huggingface/text-generation-inference:2.0.3 \
    --model-id mistralai/Mistral-7B-Instruct-v0.3 \
    --max-input-length 4096 \
    --max-total-tokens 8192 \
    --max-batch-prefill-tokens 4096 \
    --quantize awq

A --max-input-length beállítja a prompt maximális hosszát, a --max-total-tokens korlátozza a prompt és a generálás együttes méretét, a --quantize pedig engedélyezi a kvantálást a GPU lábnyomának csökkentésére. Ezen értékek pontos hangolása megvéd attól, hogy egy szokatlanul hosszú kérés telítse a memóriát, és leállítsa a szolgáltatást mindenki számára.

Kliensoldalon a TGI olyan API-t tesz közzé, amely kompatibilis mind a Mistral, mind az OpenAI klienssel, így újrahasználhatod a meglévő kódodat:

# Az OpenAI kliens használata
from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:8080/v1",
    api_key="not-needed"
)

response = client.chat.completions.create(
    model="mistralai/Mistral-7B-Instruct-v0.3",
    messages=[{"role": "user", "content": "Explain continuous batching."}],
    max_tokens=512
)
print(response.choices[0].message.content)

Natív API is elérhető marad azokhoz az integrációkhoz, amelyek nem használnak SDK-t:

# curl használata (TGI natív API)
curl http://localhost:8080/generate \
    -H "Content-Type: application/json" \
    -d '{
        "inputs": "Explain continuous batching.",
        "parameters": {"max_new_tokens": 512}
    }'

A három motor összehasonlítása

KritériumvLLMTensorRT-LLMTGI
TeljesítményKiválóMaximálisJó
HasználhatóságEgyszerűKomplexEgyszerű
OpenAI APINatívTritonon keresztülNatív
KvantálásFP8, AWQFP8, INT8, INT4GPTQ, AWQ
Több GPUTenzor-párhuzamosításTenzor + PipelineTenzor-párhuzamosítás
Fordítás szükségesNemIgen (hosszú)Nem
HardverNVIDIA + AMDCsak NVIDIANVIDIA + AMD

Döntés a három közül

A vLLM marad az alapértelmezett választás, és nem ok nélkül: gyorsan üzembe helyezhető, OpenAI-kompatibilis API-val rendelkezik, és modellek között válthatsz anélkül, hogy bármit újra kellene fordítanod. Egy csapat, amely még a felderítési fázisban tart, nem akar mást ráerőltetni magára.

A TensorRT-LLM csak egy specifikus esetben indokolt: ha egy rögzített modellt szolgálsz ki éles környezetben nagyon nagy átviteli sebességgel, kizárólag NVIDIA hardveren, és van egy MLOps csapatod, amely képes kezelni a fordítási folyamatot. Ha e négy elem bármelyike hiányzik, a 30–50%-os teljesítménynövekedést elviszi a fordítás karbantartására fordított idő.

Végül a TGI a természetes választás, ha már most is a Hugging Face ökoszisztémában élsz, kvantálást szeretnél további konfiguráció nélkül, és egy egyszerű Docker-megoldást keresel, amelyet egy következtetésre specializálódott csapat nélkül is bevezethetsz.

Főbb megállapítások

  • A TensorRT-LLM nyújtja a legjobb teljesítményt, de GPU-nként külön fordítást igényel
  • A TGI a Hugging Face eszközkészlete beépített kvantálással, tenzor-párhuzamosítással és kötegeléssel
  • A vLLM marad a legjobb kompromisszum a teljesítmény és az egyszerűség között a legtöbb felhasználási esetben
  • Mindhárom motor OpenAI-kompatibilis API-t tesz közzé (közvetlenül vagy Tritonon keresztül)
  • A választás a forgalmadon, a hardvereden és a komplexitás tűrőképességeden múlik