TensorRT-LLM i TGI
Na ovoj stranici
Alternative za vLLM
Iako je vLLM preporučeni zadani mehanizam, dvije alternative zaslužuju tvoju pažnju: NVIDIA-in TensorRT-LLM za maksimalne performanse i Hugging Faceov TGI (Text Generation Inference) zbog svog integriranog ekosustava. Obje služe iste Mistral modele, ali s suprotnim filozofijama – jedna kompilira, druga izvršava. Ovaj izbor obvezuje tvoju organizaciju daleko izvan početnog raspoređivanja.
TensorRT-LLM
TensorRT-LLM je NVIDIA-in okvir za optimizaciju zaključivanja. On ne radi samo učitavanje modela: kompilira ga u „motor“ optimiziran specifično za tvoj GPU, isporučujući najbolje moguće performanse na NVIDIA hardveru. Radni tijek se stoga sastoji od dva različita koraka: faze izgradnje koja proizvodi TensorRT motor, nakon koje slijedi faza posluživanja koja ga raspoređuje putem Triton Inference Servera. Ova odvojenost ključna je za sve što slijedi: dobivaš performanse u vrijeme izgradnje, a ne u vrijeme izvršavanja.
# Step 1: Clone the TensorRT-LLM repository
git clone https://github.com/NVIDIA/TensorRT-LLM.git
cd TensorRT-LLM
# Step 2: Build the engine (Mistral 7B example)
# Mistral models use the LLaMA example from the repository
python examples/llama/convert_checkpoint.py \
--model_dir mistralai/Mistral-7B-Instruct-v0.3 \
--output_dir ./checkpoint \
--dtype float16
python -m tensorrt_llm.commands.build \
--checkpoint_dir ./checkpoint \
--output_dir ./engine \
--gemm_plugin float16
Dobici su mjerljivi: ovisno o slučaju upotrebe, TensorRT-LLM se pokazuje 30 % do 50 % bržim od vLLM-a. Primjenjuje optimizacije kernela specifične za svaku arhitekturu GPU-a – Ampere, Hopper, Blackwell – nudi naprednu kvantizaciju u FP8, INT8 i INT4 formatima s automatskom kalibracijom te rukuje grupiranjem zahtjeva tijekom izvršavanja (inflight batching) kako bi maksimizirao propusnost.
Kompromis je stvaran. Svaki model mora se kompilirati za tvoj specifični GPU, a ta kompilacija traje od trideset minuta do nekoliko sati, ovisno o modelu. Promjena modela zahtijeva novu izgradnju, što proces čini bolnim ako još uvijek testiraš različite opcije. Nadalje, radi samo na NVIDIA hardveru: ne postoji prenosivost na AMD ili druge platforme. U organizacijskom smislu, to znači da će tim koji svaki tjedan iterira svoj model provesti više vremena kompilirajući nego poslužujući.
Nakon što se motor izgradi, Triton preuzima kontrolu i izlaže uslugu:
# Launch Triton Inference Server with the engine
docker run --rm --gpus all \
-v ./engine:/models/mistral/1 \
-p 8000:8000 \
nvcr.io/nvidia/tritonserver:latest \
tritonserver --model-repository=/models
TGI (Text Generation Inference)
TGI je Hugging Faceov alat za zaključivanje. Zauzima sredinu: manje je optimiziran od TensorRT-LLM-a, ali jednostavniji za postavljanje i savršeno integriran u Hugging Face ekosustav iz kojeg vjerojatno već preuzimaš težine. Raspoređivanje zahtijeva samo jednu Docker naredbu:
docker run --gpus all --shm-size 1g \
-p 8080:80 \
-e HUGGING_FACE_HUB_TOKEN=$HF_TOKEN \
ghcr.io/huggingface/text-generation-inference:2.0.3 \
--model-id mistralai/Mistral-7B-Instruct-v0.3
Poslužitelj postaje dostupan na portu 8080 nakon učitavanja modela. Dolazi s ugrađenom kvantizacijom (GPTQ, AWQ, bitsandbytes), tenzorskom paralelizacijom za distribuciju modela na više GPU-ova, strujanjem token-po-token i kontinuiranim grupiranjem (continuous batching), koje automatski grupira istovremene zahtjeve umjesto da ih obrađuje jedan za drugim.
U proizvodnji, nekoliko dodatnih postavki pomaže u ograničavanju potrošnje memorije:
docker run --gpus all --shm-size 1g \
-p 8080:80 \
-e HUGGING_FACE_HUB_TOKEN=$HF_TOKEN \
ghcr.io/huggingface/text-generation-inference:2.0.3 \
--model-id mistralai/Mistral-7B-Instruct-v0.3 \
--max-input-length 4096 \
--max-total-tokens 8192 \
--max-batch-prefill-tokens 4096 \
--quantize awq
--max-input-length postavlja maksimalnu duljinu upita, --max-total-tokens ograničava kombinirani upit i generiranje, a --quantize omogućuje kvantizaciju za smanjenje otiska na GPU-u. Precizno podešavanje ovih vrijednosti štiti te od neuobičajeno dugog zahtjeva koji bi mogao zasititi memoriju i srušiti uslugu za sve.
Na strani klijenta, TGI izlaže API kompatibilan i s Mistral klijentom i s OpenAI klijentom, što ti omogućuje ponovnu upotrebu postojećeg koda:
# Using the OpenAI client
from openai import OpenAI
client = OpenAI(
base_url="http://localhost:8080/v1",
api_key="not-needed"
)
response = client.chat.completions.create(
model="mistralai/Mistral-7B-Instruct-v0.3",
messages=[{"role": "user", "content": "Explain continuous batching."}],
max_tokens=512
)
print(response.choices[0].message.content)
Izvorni API ostaje dostupan za integracije koje ne koriste SDK:
# Using curl (TGI native API)
curl http://localhost:8080/generate \
-H "Content-Type: application/json" \
-d '{
"inputs": "Explain continuous batching.",
"parameters": {"max_new_tokens": 512}
}'
Usporedba triju motora
| Kriterij | vLLM | TensorRT-LLM | TGI |
|---|---|---|---|
| Performanse | Izvrsne | Maksimalne | Dobre |
| Jednostavnost korištenja | Jednostavno | Složeno | Jednostavno |
| OpenAI API | Izvorni | Putem Tritona | Izvorni |
| Kvantizacija | FP8, AWQ | FP8, INT8, INT4 | GPTQ, AWQ |
| Više GPU-ova | Tenzorska paralela | Tenzorska + cjevovodna | Tenzorska paralela |
| Potrebna izgradnja | Ne | Da (dugo) | Ne |
| Hardver | NVIDIA + AMD | Samo NVIDIA | NVIDIA + AMD |
Odabir između triju opcija
vLLM ostaje zadani izbor, i to s dobrim razlogom: brzo se pokrećeš, imaš API kompatibilan s OpenAI-jem i možeš mijenjati modele bez ponovne izgradnje bilo čega. Tim koji je još u fazi istraživanja nema interesa nametati si bilo što drugo.
TensorRT-LLM opravdan je u specifičnom scenariju: fiksni model koji se poslužuje u proizvodnji s vrlo visokom propusnošću, isključivo na NVIDIA hardveru, uz MLOps tim sposoban upravljati cjevovodom izgradnje. Ako nedostaje bilo koji od ova četiri elementa, dobitak u performansama od 30 % do 50 % pojest će vrijeme provedeno održavanjem kompilacije.
Konačno, TGI je prirodan izbor ako već živiš u Hugging Face ekosustavu, želiš kvantizaciju bez dodatne konfiguracije i tražiš jednostavno Docker rješenje koje tim bez specijalizacije za zaključivanje može usvojiti.
Ključne točke
- TensorRT-LLM nudi najbolje performanse, ali zahtijeva specifičnu izgradnju za svaki GPU
- TGI je Hugging Faceov alat s ugrađenom kvantizacijom, tenzorskom paralelizacijom i grupiranjem
- vLLM ostaje najbolji kompromis između performansi i jednostavnosti za većinu slučajeva upotrebe
- Sva tri motora izlažu API kompatibilan s OpenAI-jem (izravno ili putem Tritona)
- Tvoj izbor ovisi o tvojem volumenu, hardveru i toleranciji na složenost