TensorRT-LLM in TGI
Na tej strani
Alternativi za vLLM
Čeprav je vLLM priporočeni privzeti pogon, si zaslužita tvojo pozornost še dve alternativi: NVIDIA-in TensorRT-LLM za največjo zmogljivost in Hugging Faceov TGI (Text Generation Inference) zaradi njegovega integriranega ekosistema. Oba strežeta iste modele Mistral, vendar z nasprotnima filozofijama – eden prevaja kodo, drugi jo izvaja. Ta izbira zaveže tvojo organizacijo dlje kot le začetna namestitev.
TensorRT-LLM
TensorRT-LLM je NVIDIA-in okvir za optimizacijo sklepanja. Ne naredi le tega, da naloži model: prevede ga v “pogon” (engine), optimiziran specifično za tvoj GPU, kar zagotavlja najboljšo možno zmogljivost na strojni opremi NVIDIA. Delovni tok zato obsega dva ločena koraka: fazo gradnje, ki ustvari pogon TensorRT, ki ji sledi faza streženja, ki ga razprostre prek strežnika Triton Inference Server. Ta ločitev je ključna za vse, kar sledi: zmogljivost pridobiš med gradnjo, ne med izvajanjem.
# Step 1: Clone the TensorRT-LLM repository
git clone https://github.com/NVIDIA/TensorRT-LLM.git
cd TensorRT-LLM
# Step 2: Build the engine (Mistral 7B example)
# Mistral models use the LLaMA example from the repository
python examples/llama/convert_checkpoint.py \
--model_dir mistralai/Mistral-7B-Instruct-v0.3 \
--output_dir ./checkpoint \
--dtype float16
python -m tensorrt_llm.commands.build \
--checkpoint_dir ./checkpoint \
--output_dir ./engine \
--gemm_plugin float16
Dobički so merljivi: glede na primer uporabe se TensorRT-LLM izkaže za 30 % do 50 % hitrejši od vLLM. Uporablja optimizacije jedra, specifične za vsako arhitekturo GPU – Ampere, Hopper, Blackwell –, ponuja napredno kvantizacijo v formatih FP8, INT8 in INT4 z avtomatsko umeritvijo ter obravnava paketno obdelavo med izvajanjem (inflight batching) za maksimiranje prepustnosti.
Kompromis je realen. Vsak model mora biti preveden za tvoj specifični GPU, ta prevajanje pa traja od trideset minut do več ur, odvisno od modela. Sprememba modela zahteva novo gradnjo, kar postane boleče, če še vedno testiraš različne možnosti. Poleg tega deluje le na strojni opremi NVIDIA: ni prenosljivosti na AMD ali druge platforme. V organizacijskem smislu to pomeni, da bo ekipa, ki vsak teden iterira svoj model, več časa porabila za prevajanje kot za streženje.
Ko je pogon zgrajen, prevzame nadzor Triton in izpostavi storitev:
# Launch Triton Inference Server with the engine
docker run --rm --gpus all \
-v ./engine:/models/mistral/1 \
-p 8000:8000 \
nvcr.io/nvidia/tritonserver:latest \
tritonserver --model-repository=/models
TGI (Text Generation Inference)
TGI je Hugging Faceov komplet orodij za sklepanje. Zaseda srednjo pot: manj optimiziran kot TensorRT-LLM, a enostavnejši za namestitev in popolnoma integriran v ekosistem Hugging Face, iz katerega verjetno že pridobivaš uteži. Namestitev zahteva le en ukaz Docker:
docker run --gpus all --shm-size 1g \
-p 8080:80 \
-e HUGGING_FACE_HUB_TOKEN=$HF_TOKEN \
ghcr.io/huggingface/text-generation-inference:2.0.3 \
--model-id mistralai/Mistral-7B-Instruct-v0.3
Strežnik postane dostopen na vratih 8080, ko se model naloži. Priložena mu je vgrajena kvantizacija (GPTQ, AWQ, bitsandbytes), vzporednost tenzorjev za porazdelitev modela na več GPU-jev, pretok token za tokenom in neprekinjeno paketno obdelavo, ki samodejno združuje sočasne zahteve namesto njihovega zaporednega procesiranja.
V produkcijskem okolju nekaj dodatnih nastavitev pomaga omejiti porabo pomnilnika:
docker run --gpus all --shm-size 1g \
-p 8080:80 \
-e HUGGING_FACE_HUB_TOKEN=$HF_TOKEN \
ghcr.io/huggingface/text-generation-inference:2.0.3 \
--model-id mistralai/Mistral-7B-Instruct-v0.3 \
--max-input-length 4096 \
--max-total-tokens 8192 \
--max-batch-prefill-tokens 4096 \
--quantize awq
--max-input-length nastavi največjo dolžino poziva, --max-total-tokens omeji skupno število tokenov za poziv in generiranje, --quantize pa omogoči kvantizacijo za zmanjšanje odtisa na GPU-ju. Natančno uglaševanje teh vrednosti te zaščiti pred nenavadno dolgim zahtevkom, ki bi lahko zasičil pomnilnik in spravil storitev na tla za vse uporabnike.
Na strani odjemalca TGI izpostavlja API, združljiv tako s odjemalcem Mistral kot z odjemalcem OpenAI, kar ti omogoča ponovno uporabo obstoječe kode:
# Using the OpenAI client
from openai import OpenAI
client = OpenAI(
base_url="http://localhost:8080/v1",
api_key="not-needed"
)
response = client.chat.completions.create(
model="mistralai/Mistral-7B-Instruct-v0.3",
messages=[{"role": "user", "content": "Explain continuous batching."}],
max_tokens=512
)
print(response.choices[0].message.content)
Na voljo ostaja tudi izvorni API za integracije, ki ne uporabljajo SDK:
# Using curl (TGI native API)
curl http://localhost:8080/generate \
-H "Content-Type: application/json" \
-d '{
"inputs": "Explain continuous batching.",
"parameters": {"max_new_tokens": 512}
}'
Primerjava treh pogonov
| Merilo | vLLM | TensorRT-LLM | TGI |
|---|---|---|---|
| Zmogljivost | Odlična | Največja | Dobra |
| Enostavnost uporabe | Preprosto | Kompleksno | Preprosto |
| OpenAI API | Izvorno | Prek Tritona | Izvorno |
| Kvantizacija | FP8, AWQ | FP8, INT8, INT4 | GPTQ, AWQ |
| Več GPU-jev | Vzporednost tenzorjev | Tenzorji + cevovod | Vzporednost tenzorjev |
| Zahtevana gradnja | Ne | Da (dolgo) | Ne |
| Strojna oprema | NVIDIA + AMD | Samo NVIDIA | NVIDIA + AMD |
Izbira med tremi
vLLM ostaja privzeta izbira in z dobrim razlogom: hitro ste pripravljeni na delo, imate API, združljiv z OpenAI, in lahko menjate modele brez ponovne gradnje. Ekipa, ki je še v fazi raziskovanja, nima interesa, da bi si nalagala kaj drugega.
TensorRT-LLM je upravičen v specifičnem scenariju: fiksni model, ki se streže v produkcijskem okolju z zelo visoko prepustnostjo, izključno na strojni opremi NVIDIA, z ekipo MLOps, ki zmore upravljati cevovod gradnje. Če manjka kateri koli od teh štirih elementov, bo 30- do 50-odstotni dobiček v zmogljivosti pojedel čas, porabljen za vzdrževanje prevajanja.
Končno je TGI naravna izbira, če že živite v ekosistemu Hugging Face, želite kvantizacijo brez dodatne konfiguracije in iščete preprosto rešitev Docker, ki jo lahko sprejme ekipa brez specializacije za sklepanje.
Ključne ugotovitve
- TensorRT-LLM ponuja najboljšo zmogljivost, vendar zahteva specifično gradnjo za vsak GPU
- TGI je komplet orodij Hugging Face z vgrajeno kvantizacijo, vzporednostjo tenzorjev in paketno obdelavo
- vLLM ostaja najboljši kompromis med zmogljivostjo in preprostostjo za večino primerov uporabe
- Vsi trije pogoni izpostavljajo API, združljiv z OpenAI (neposredno ali prek Tritona)
- Tvoja izbira je odvisna od tvoje količine prometa, strojne opreme in tolerance do kompleksnosti