TensorRT-LLM ja TGI
Sellel lehel
vLLM-i alternatiivid
Kuigi vLLM on soovitatud vaikemootor, väärivad tähelepanu kaks alternatiivi: NVIDIA TensorRT-LLM maksimaalse jõudluse jaoks ja Hugging Face’i TGI (Text Generation Inference) oma integreeritud ökosüsteemi tõttu. Mõlemad teenindavad samu Mistrali mudeleid, kuid lähtuvad vastandlikest filosoofiatest – üks kompileerib, teine täidab. See valik seob sinu organisatsiooni kauemaks kui ainult esialgne kasutuselevõtt.
TensorRT-LLM
TensorRT-LLM on NVIDIA järelduste optimeerimise raamistik. See ei tee palju enamat kui mudeli laadimine: see kompileerib mudeli „mootoriks“, mis on optimeeritud spetsiaalselt sinu GPU jaoks, pakkudes parimat võimalikku jõudlust NVIDIA riistvaral. Töövoog koosneb seega kahest eraldiseisvast etapist: ehitus (build), mis loob TensorRT mootori, ja teenindamine (serve), mis võtab selle kasutusele Triton Inference Serveri kaudu. See eraldatus on kõige järgneva võti: saad jõudluse juurde ehitusajal, mitte käitusajal.
# Step 1: Clone the TensorRT-LLM repository
git clone https://github.com/NVIDIA/TensorRT-LLM.git
cd TensorRT-LLM
# Step 2: Build the engine (Mistral 7B example)
# Mistral models use the LLaMA example from the repository
python examples/llama/convert_checkpoint.py \
--model_dir mistralai/Mistral-7B-Instruct-v0.3 \
--output_dir ./checkpoint \
--dtype float16
python -m tensorrt_llm.commands.build \
--checkpoint_dir ./checkpoint \
--output_dir ./engine \
--gemm_plugin float16
Kasu on mõõdetav: sõltuvalt kasutusjuhtumist on TensorRT-LLM 30% kuni 50% kiirem kui vLLM. See rakendab iga GPU arhitektuuri (Ampere, Hopper, Blackwell) jaoks spetsiifilisi tuumaoptimeeringuid, pakub täiustatud kvantiseerimist FP8, INT8 ja INT4 formaadis koos automaatse kalibreerimisega ning haldab lennupõhist partii töötlemist (inflight batching) läbilaskevõime maksimeerimiseks.
Kompromiss on reaalne. Iga mudel tuleb kompileerida sinu konkreetse GPU jaoks ja see kompileerimine võtab sõltuvalt mudelist kolmkümmend minutit kuni mitu tundi. Mudeli vahetamine nõuab uut ehitust, muutes protsessi valusaks, kui testid alles erinevaid variante. Lisaks toimib see ainult NVIDIA riistvaral: AMD-le või teistele platvormidele pole võimalik üle kanda. Organisatsioonilises plaanis tähendab see, et meeskond, mis iteratsioonib oma mudelit iga nädal, veedab kompileerimisele rohkem aega kui teenindamisele.
Kui mootor on ehitatud, võtab ohjad enda kätte Triton ja avaldab teenuse:
# Launch Triton Inference Server with the engine
docker run --rm --gpus all \
-v ./engine:/models/mistral/1 \
-p 8000:8000 \
nvcr.io/nvidia/tritonserver:latest \
tritonserver --model-repository=/models
TGI (Text Generation Inference)
TGI on Hugging Face’i järelduste tööriistakomplekt. See asub kuskil vahepeal: vähem optimeeritud kui TensorRT-LLM, kuid lihtsam seadistada ja täiuslikult integreeritud Hugging Face’i ökosüsteemi, kust sa tõenäoliselt juba oma kaalusid laed. Kasutuselevõtuks piisab ühest Dockeri käsust:
docker run --gpus all --shm-size 1g \
-p 8080:80 \
-e HUGGING_FACE_HUB_TOKEN=$HF_TOKEN \
ghcr.io/huggingface/text-generation-inference:2.0.3 \
--model-id mistralai/Mistral-7B-Instruct-v0.3
Server muutub kättesaadavaks pordil 8080 niipea, kui mudel on laaditud. Sellega kaasnevad sisseehitatud kvantiseerimine (GPTQ, AWQ, bitsandbytes), tensori paralleelsus mudeli jaotamiseks mitme GPU vahel, token-põhine voogedastus ja pidev partii töötlemine (continuous batching), mis grupeerib automaatselt samaaegsed päringud, selle asemel et neid üksteise järel töödelda.
Tootmiskeskkonnas aitavad mõned lisaseaded piirata mälukasutust:
docker run --gpus all --shm-size 1g \
-p 8080:80 \
-e HUGGING_FACE_HUB_TOKEN=$HF_TOKEN \
ghcr.io/huggingface/text-generation-inference:2.0.3 \
--model-id mistralai/Mistral-7B-Instruct-v0.3 \
--max-input-length 4096 \
--max-total-tokens 8192 \
--max-batch-prefill-tokens 4096 \
--quantize awq
--max-input-length määrab viiba maksimaalse pikkuse, --max-total-tokens seab ülempiiri viiba ja genereerimise summale ning --quantize võimaldab kvantiseerimist GPU jalajälje vähendamiseks. Nende väärtuste täpne häälestamine kaitseb sind ebatavaliselt pika päringu eest, mis võiks mälu ummistada ja teenuse kõigi jaoks alla viia.
Kliendi poolel avaldab TGI API, mis ühildub nii Mistrali kliendi kui ka OpenAI kliendiga, võimaldades sul olemasolevat koodi uuesti kasutada:
# Using the OpenAI client
from openai import OpenAI
client = OpenAI(
base_url="http://localhost:8080/v1",
api_key="not-needed"
)
response = client.chat.completions.create(
model="mistralai/Mistral-7B-Instruct-v0.3",
messages=[{"role": "user", "content": "Explain continuous batching."}],
max_tokens=512
)
print(response.choices[0].message.content)
Integratsioonide jaoks, mis ei kasuta SDK-d, on saadaval ka native API:
# Using curl (TGI native API)
curl http://localhost:8080/generate \
-H "Content-Type: application/json" \
-d '{
"inputs": "Explain continuous batching.",
"parameters": {"max_new_tokens": 512}
}'
Kolme mootori võrdlus
| Kriterium | vLLM | TensorRT-LLM | TGI |
|---|---|---|---|
| Jõudlus | Suurepärane | Maksimaalne | Hea |
| Kasutusmugavus | Lihtne | Kompleksne | Lihtne |
| OpenAI API | Native | Tritoni kaudu | Native |
| Kvantiseerimine | FP8, AWQ | FP8, INT8, INT4 | GPTQ, AWQ |
| Mitu GPU-d | Tensori paralleelsus | Tensori + Pipeline | Tensori paralleelsus |
| Ehitus vajalik | Ei | Jah (pikk) | Ei |
| Riistvara | NVIDIA + AMD | Ainult NVIDIA | NVIDIA + AMD |
Valik kolme vahel
vLLM jääb vaikivalikuks ja põhjusega: saad kiiresti tööle, sul on OpenAI-ga ühilduv API ja saad mudeleid vahetada ilma midagi uuesti ehitamata. Meeskonnal, kes on alles uurimisfaasis, pole huvi endale midagi muud peale suruda.
TensorRT-LLM on õigustatud konkreetses stsenaariumis: fikseeritud mudel, mida teenindatakse tootmises väga suure läbilaskevõimega, eranditult NVIDIA riistvaral, koos MLOps-i meeskonnaga, kes suudab hallata ehitusprotsessi. Kui ükskõik milline neist neljast elemendist puudub, sööb kompileerimise hooldamiseks kuluv aeg ära 30% kuni 50% jõudluse kasvu.
Lõpuks on TGI loomulik valik, kui elad juba Hugging Face’i ökosüsteemis, soovid kvantiseerimist ilma lisakonfiguratsioonita ja otsid lihtsat Dockeri lahendust, mida meeskond ilma järelduste spetsialiseerumiseta saab kasutusele võtta.
Peamised punktid
- TensorRT-LLM pakub parimat jõudlust, kuid nõuab iga GPU jaoks eraldi ehitust
- TGI on Hugging Face’i tööriistakomplekt sisseehitatud kvantiseerimise, tensori paralleelsuse ja partii töötlemisega
- vLLM jääb enamiku kasutusjuhtumite jaoks parimaks kompromissiks jõudluse ja lihtsuse vahel
- Kõik kolm mootorit avaldavad OpenAI-ga ühilduva API (otse või Tritoni kaudu)
- Sinu valik sõltub sinu mahust, riistvarast ja tolerantsist keerukuse suhtes