TensorRT-LLM és TGI
Ezen az oldalon
Alternatívák a vLLM-hez
Bár a vLLM az ajánlott alapértelmezett motor, két alternatíva is megérdemli a figyelmedet: a NVIDIA TensorRT-LLM megoldása a maximális teljesítményért, valamint a Hugging Face TGI (Text Generation Inference) eszköze az integrált ökoszisztémájáért. Mindkettő ugyanazokat a Mistral modelleket szolgálja ki, de eltérő filozófiát követnek: az egyik fordít, a másik végrehajt. Ez a döntés hosszú távon meghatározza majd szervezeted működését, jóval a kezdeti telepítésen túl is.
TensorRT-LLM
A TensorRT-LLM a NVIDIA következtetési (inference) optimalizáló keretrendszere. Többet tesz annál, mint hogy egyszerűen betölt egy modellt: „motorrá“ fordítja azt, kifejezetten a te GPU-d számára optimalizálva, így a lehető legjobb teljesítményt nyújtja NVIDIA hardveren. A munkafolyamat ezért két különálló lépésből áll: egy build (fordítási) fázisból, amely előállítja a TensorRT motort, majd egy serve (kiszolgálási) fázisból, amely a Triton Inference Serveren keresztül éri el azt. Ez a szétválasztás kulcsfontosságú: a teljesítménynövekedést a fordítás idején éred el, nem futás közben.
# 1. lépés: A TensorRT-LLM tároló klónozása
git clone https://github.com/NVIDIA/TensorRT-LLM.git
cd TensorRT-LLM
# 2. lépés: A motor létrehozása (Mistral 7B példa)
# A Mistral modellek a tároló LLaMA példáját használják
python examples/llama/convert_checkpoint.py \
--model_dir mistralai/Mistral-7B-Instruct-v0.3 \
--output_dir ./checkpoint \
--dtype float16
python -m tensorrt_llm.commands.build \
--checkpoint_dir ./checkpoint \
--output_dir ./engine \
--gemm_plugin float16
A nyereség mérhető: a felhasználási esettől függően a TensorRT-LLM 30–50%-kal gyorsabbnak bizonyul a vLLM-nél. Kernel-optimalizálásokat alkalmaz minden egyes GPU-architektúrára (Ampere, Hopper, Blackwell), fejlett kvantálást kínál FP8, INT8 és INT4 formátumban automatikus kalibrálással, valamint kezeli a „inflight batching“ technikát az átviteli sebesség maximalizálása érdekében.
A kompromisszum valós. Minden modellt le kell fordítani a specifikus GPU-d számára, és ez a fordítás modelltől függően harminc perctől több óráig is eltarthat. Modellváltás esetén újabb fordítás szükséges, ami fájdalmassá teszi a folyamatot, ha még különböző lehetőségeket tesztelsz. Ráadásul kizárólag NVIDIA hardveren működik: nincs portolhatóság AMD vagy más platformokra. Szervezeti szinten ez azt jelenti, hogy egy csapat, amely hetente iterál a modelljén, több időt tölt majd fordítással, mint kiszolgálással.
Miután a motor elkészült, a Triton veszi át az irányítást, és elérhetővé teszi a szolgáltatást:
# A Triton Inference Server elindítása a motorral
docker run --rm --gpus all \
-v ./engine:/models/mistral/1 \
-p 8000:8000 \
nvcr.io/nvidia/tritonserver:latest \
tritonserver --model-repository=/models
TGI (Text Generation Inference)
A TGI a Hugging Face következtetési eszközkészlete. Középutat választ: kevésbé optimalizált, mint a TensorRT-LLM, de egyszerűbb beállítani, és tökéletesen integrálódik abba a Hugging Face ökoszisztémába, ahonnan valószínűleg már most is letöltöd a súlyokat. A telepítéshez mindössze egyetlen Docker-parancs szükséges:
docker run --gpus all --shm-size 1g \
-p 8080:80 \
-e HUGGING_FACE_HUB_TOKEN=$HF_TOKEN \
ghcr.io/huggingface/text-generation-inference:2.0.3 \
--model-id mistralai/Mistral-7B-Instruct-v0.3
A szerver a modell betöltése után a 8080-as porton válik elérhetővé. Beépített kvantálást (GPTQ, AWQ, bitsandbytes), tenzor-párhuzamosítást a modell több GPU-ra történő elosztásához, tokenenkénti streamelést és folyamatos kötegelést (continuous batching) kínál, amely automatikusan csoportosítja az egyidejű kéréseket ahelyett, hogy egyesével dolgozná fel őket.
Éles környezetben néhány további beállítás segít korlátozni a memóriafogyasztást:
docker run --gpus all --shm-size 1g \
-p 8080:80 \
-e HUGGING_FACE_HUB_TOKEN=$HF_TOKEN \
ghcr.io/huggingface/text-generation-inference:2.0.3 \
--model-id mistralai/Mistral-7B-Instruct-v0.3 \
--max-input-length 4096 \
--max-total-tokens 8192 \
--max-batch-prefill-tokens 4096 \
--quantize awq
A --max-input-length beállítja a prompt maximális hosszát, a --max-total-tokens korlátozza a prompt és a generálás együttes méretét, a --quantize pedig engedélyezi a kvantálást a GPU lábnyomának csökkentésére. Ezen értékek pontos hangolása megvéd attól, hogy egy szokatlanul hosszú kérés telítse a memóriát, és leállítsa a szolgáltatást mindenki számára.
Kliensoldalon a TGI olyan API-t tesz közzé, amely kompatibilis mind a Mistral, mind az OpenAI klienssel, így újrahasználhatod a meglévő kódodat:
# Az OpenAI kliens használata
from openai import OpenAI
client = OpenAI(
base_url="http://localhost:8080/v1",
api_key="not-needed"
)
response = client.chat.completions.create(
model="mistralai/Mistral-7B-Instruct-v0.3",
messages=[{"role": "user", "content": "Explain continuous batching."}],
max_tokens=512
)
print(response.choices[0].message.content)
Natív API is elérhető marad azokhoz az integrációkhoz, amelyek nem használnak SDK-t:
# curl használata (TGI natív API)
curl http://localhost:8080/generate \
-H "Content-Type: application/json" \
-d '{
"inputs": "Explain continuous batching.",
"parameters": {"max_new_tokens": 512}
}'
A három motor összehasonlítása
| Kritérium | vLLM | TensorRT-LLM | TGI |
|---|---|---|---|
| Teljesítmény | Kiváló | Maximális | Jó |
| Használhatóság | Egyszerű | Komplex | Egyszerű |
| OpenAI API | Natív | Tritonon keresztül | Natív |
| Kvantálás | FP8, AWQ | FP8, INT8, INT4 | GPTQ, AWQ |
| Több GPU | Tenzor-párhuzamosítás | Tenzor + Pipeline | Tenzor-párhuzamosítás |
| Fordítás szükséges | Nem | Igen (hosszú) | Nem |
| Hardver | NVIDIA + AMD | Csak NVIDIA | NVIDIA + AMD |
Döntés a három közül
A vLLM marad az alapértelmezett választás, és nem ok nélkül: gyorsan üzembe helyezhető, OpenAI-kompatibilis API-val rendelkezik, és modellek között válthatsz anélkül, hogy bármit újra kellene fordítanod. Egy csapat, amely még a felderítési fázisban tart, nem akar mást ráerőltetni magára.
A TensorRT-LLM csak egy specifikus esetben indokolt: ha egy rögzített modellt szolgálsz ki éles környezetben nagyon nagy átviteli sebességgel, kizárólag NVIDIA hardveren, és van egy MLOps csapatod, amely képes kezelni a fordítási folyamatot. Ha e négy elem bármelyike hiányzik, a 30–50%-os teljesítménynövekedést elviszi a fordítás karbantartására fordított idő.
Végül a TGI a természetes választás, ha már most is a Hugging Face ökoszisztémában élsz, kvantálást szeretnél további konfiguráció nélkül, és egy egyszerű Docker-megoldást keresel, amelyet egy következtetésre specializálódott csapat nélkül is bevezethetsz.
Főbb megállapítások
- A TensorRT-LLM nyújtja a legjobb teljesítményt, de GPU-nként külön fordítást igényel
- A TGI a Hugging Face eszközkészlete beépített kvantálással, tenzor-párhuzamosítással és kötegeléssel
- A vLLM marad a legjobb kompromisszum a teljesítmény és az egyszerűség között a legtöbb felhasználási esetben
- Mindhárom motor OpenAI-kompatibilis API-t tesz közzé (közvetlenül vagy Tritonon keresztül)
- A választás a forgalmadon, a hardvereden és a komplexitás tűrőképességeden múlik