TensorRT-LLM u TGI
F'din il-paġna
Alternattivi għal vLLM
Filwaqt li vLLM huwa l-magna rakkomandata bħala default, żewġ alternattivi jistħoqqilhom attenzjoni: TensorRT-LLM ta’ NVIDIA għall-prestazzjoni massima, u TGI (Text Generation Inference) ta’ Hugging Face għall-ekosistema integrata tagħha. It-tnejn iservu l-istess mudelli Mistral, iżda b’filosofiji opposti—waħda tikkompla, l-oħra tesegwixxi. Din il-għażla timpenja lill-organizzazzjoni tiegħek ferm lil hinn mill-implimentazzjoni inizjali.
TensorRT-LLM
TensorRT-LLM huwa l-qafas ta’ ottimizzazzjoni tal-inferenza ta’ NVIDIA. Jagħmel aktar milli sempliċiment jitgħabba mudell: jikkompilah f‘“magna” ottimizzata speċifikament għall-GPU tiegħek, u b’hekk iwassal l-aqwa prestazzjoni possibbli fuq hardware ta’ NVIDIA. Għalhekk, il-fluss tax-xogħol jikkonsisti f’żewġ passi distinti: fażi ta’ build li tipproduċi l-magna TensorRT, segwita minn fażi ta’ serve li tiddispjegaha permezz ta’ Triton Inference Server. Din is-separazzjoni hija ċ-ċavetta għal kollox: tikseb prestazzjoni fil-ħin tal-bini, mhux fil-ħin tat-tħaddim.
# Step 1: Clone the TensorRT-LLM repository
git clone https://github.com/NVIDIA/TensorRT-LLM.git
cd TensorRT-LLM
# Step 2: Build the engine (Mistral 7B example)
# Mistral models use the LLaMA example from the repository
python examples/llama/convert_checkpoint.py \
--model_dir mistralai/Mistral-7B-Instruct-v0.3 \
--output_dir ./checkpoint \
--dtype float16
python -m tensorrt_llm.commands.build \
--checkpoint_dir ./checkpoint \
--output_dir ./engine \
--gemm_plugin float16
Il-qligħ huwa kejjel: skont il-każ ta’ użu, TensorRT-LLM juri li huwa bejn 30% u 50% aktar mgħaġġel minn vLLM. Japplika ottimizzazzjonijiet tal-kernel speċifiċi għal kull arkitettura tal-GPU—Ampere, Hopper, Blackwell—joffri kwantizzazzjoni avvanzata f’FP8, INT8, u INT4 b’kalibrazzjoni awtomatika, u jimmaniġġja l-inflight batching biex jimmassimizza t-throughput.
Il-kompromess huwa reali. Kull mudell irid jiġi kkompilat għall-GPU speċifika tiegħek, u dan il-kompilazzjoni tieħu minn tletin minuta sa diversi sigħat skont il-mudell. Il-bidla tal-mudelli teħtieġ build ġdid, u dan jagħmel il-proċess doloruż jekk għadek qed tittestja għażliet differenti. Barra minn hekk, jaħdem biss fuq hardware ta’ NVIDIA: m’hemm l-ebda portabbiltà lejn AMD jew pjattaformi oħra. F’termini organizzattivi, dan ifisser li tim li qed jirrepeti fuq il-mudell tiegħu kull ġimgħa se jqatta’ aktar ħin jikkompila milli jservi.
Ladarba l-magna tinbena, Triton jieħu f’idejh u jesponi s-servizz:
# Launch Triton Inference Server with the engine
docker run --rm --gpus all \
-v ./engine:/models/mistral/1 \
-p 8000:8000 \
nvcr.io/nvidia/tritonserver:latest \
tritonserver --model-repository=/models
TGI (Text Generation Inference)
TGI huwa l-kit tal-inferenza ta’ Hugging Face. Jokkupa pożizzjoni tan-nofs: inqas ottimizzat minn TensorRT-LLM, iżda aktar sempliċi biex tiġi stabbilita u perfettament integrata fl-ekosistema ta’ Hugging Face li minnha x’aktarx diġà tiġbed il-piżijiet (weights) tiegħek. Id-dispjegament jeħtieġ biss kumand Docker wieħed:
docker run --gpus all --shm-size 1g \
-p 8080:80 \
-e HUGGING_FACE_HUB_TOKEN=$HF_TOKEN \
ghcr.io/huggingface/text-generation-inference:2.0.3 \
--model-id mistralai/Mistral-7B-Instruct-v0.3
Is-server isir aċċessibbli fuq il-port 8080 ladarba l-mudell jitgħabba. Jiġi b’kwantizzazzjoni integrata (GPTQ, AWQ, bitsandbytes), paralleliżmu tat-tensor biex jiddistribwixxi l-mudell fuq GPUs multipli, streaming token b’token, u continuous batching, li awtomatikament jiggruppa talbiet konkorrenti minflok ma jipproċessahom wieħed wara l-ieħor.
Fil-produzzjoni, ftit settings addizzjonali jgħinu biex jillimitaw il-konsum tal-memorja:
docker run --gpus all --shm-size 1g \
-p 8080:80 \
-e HUGGING_FACE_HUB_TOKEN=$HF_TOKEN \
ghcr.io/huggingface/text-generation-inference:2.0.3 \
--model-id mistralai/Mistral-7B-Instruct-v0.3 \
--max-input-length 4096 \
--max-total-tokens 8192 \
--max-batch-prefill-tokens 4096 \
--quantize awq
--max-input-length jistabbilixxi t-tul massimu tal-prompt, --max-total-tokens jillimita l-prompt u l-ġenerazzjoni kkombinati, u --quantize jippermetti l-kwantizzazzjoni biex jitnaqqas il-footprint tal-GPU. L-aġġustament preċiż ta’ dawn il-valuri jipproteġik minn talba mhux tas-soltu twila li tista’ tissatura l-memorja u twaqqas is-servizz għal kulħadd.
Fuq in-naħa tal-klijent, TGI jesponi API kompatibbli kemm mal-klijent Mistral kif ukoll mal-klijent OpenAI, li jippermettilek terġa’ tuża kodiċi eżistenti:
# Using the OpenAI client
from openai import OpenAI
client = OpenAI(
base_url="http://localhost:8080/v1",
api_key="not-needed"
)
response = client.chat.completions.create(
model="mistralai/Mistral-7B-Instruct-v0.3",
messages=[{"role": "user", "content": "Explain continuous batching."}],
max_tokens=512
)
print(response.choices[0].message.content)
API nattiva tibqa’ disponibbli għal integrazzjonijiet li ma jużawx SDK:
# Using curl (TGI native API)
curl http://localhost:8080/generate \
-H "Content-Type: application/json" \
-d '{
"inputs": "Explain continuous batching.",
"parameters": {"max_new_tokens": 512}
}'
Tqabbil tat-Tliet Magni
| Kriterju | vLLM | TensorRT-LLM | TGI |
|---|---|---|---|
| Prestazzjoni | Eċċellenti | Massima | Tajba |
| Faċilità ta’ Użu | Sempliċi | Kumplessa | Sempliċi |
| API ta’ OpenAI | Nattiv | Permezz ta’ Triton | Nattiv |
| Kwantizzazzjoni | FP8, AWQ | FP8, INT8, INT4 | GPTQ, AWQ |
| Multi-GPU | Paralleliżmu tat-Tensor | Tensor + Pipeline | Paralleliżmu tat-Tensor |
| Build Meħtieġ | Le | Iva (twil) | Le |
| Hardware | NVIDIA + AMD | NVIDIA biss | NVIDIA + AMD |
Kif Tagħżel bejn it-Tlieta
vLLM jibqa’ l-għażla default, u għal raġuni tajba: titla’ u tkun qed taħdem malajr, għandek API kompatibbli ma’ OpenAI, u tista’ tbiddel il-mudelli mingħajr ma terġa’ tibni xejn. Tim li għadu fil-fażi ta’ esplorazzjoni m’għandu l-ebda interess li jimponi xi ħaġa oħra fuqu nnifsu.
TensorRT-LLM huwa ġustifikat f’xenarju speċifiku: mudell fiss servut fil-produzzjoni b’throughput għoli ħafna, fuq hardware esklużivament ta’ NVIDIA, b’tim ta’ MLOps kapaċi jimmaniġġja l-pipeline tal-build. Jekk jonqos wieħed minn dawn l-erba’ elementi, il-qligħ fil-prestazzjoni ta’ 30% sa 50% se jintilef bil-ħin imqatta’ fil-manutenzjoni tal-kompilazzjoni.
Fl-aħħar nett, TGI hija l-għażla naturali jekk diġà tgħix fl-ekosistema ta’ Hugging Face, trid kwantizzazzjoni mingħajr konfigurazzjoni addizzjonali, u qed tfittex soluzzjoni Docker sempliċi li tim mingħajr speċjalizzazzjoni fl-inferenza jista’ jadotta.
Punti Ewlenin
- TensorRT-LLM joffri l-aqwa prestazzjoni iżda jeħtieġ build speċifiku għal kull GPU
- TGI huwa l-kit ta’ Hugging Face b’kwantizzazzjoni integrata, paralleliżmu tat-tensor, u batching
- vLLM jibqa’ l-aqwa kompromess bejn il-prestazzjoni u s-sempliċità għall-biċċa l-kbira tal-każijiet ta’ użu
- It-tliet magni jesponu API kompatibbli ma’ OpenAI (direttament jew permezz ta’ Triton)
- L-għażla tiegħek tiddependi mill-volum tiegħek, mill-hardware, u mit-tolleranza tiegħek għall-kumplessità