Aqbeż għall-kontenut ewlieni
Malti— Agħżel lingwa
Menu

TensorRT-LLM u TGI

Lezzjoni 12 / 14 Aġġornat 29 ta’ Lulju 2026 Avvanzat
F'din il-paġna
  1. Alternattivi għal vLLM
  2. TensorRT-LLM
  3. TGI (Text Generation Inference)
  4. Tqabbil tat-Tliet Magni
  5. Kif Tagħżel bejn it-Tlieta
  6. Punti Ewlenin

Alternattivi għal vLLM

Filwaqt li vLLM huwa l-magna rakkomandata bħala default, żewġ alternattivi jistħoqqilhom attenzjoni: TensorRT-LLM ta’ NVIDIA għall-prestazzjoni massima, u TGI (Text Generation Inference) ta’ Hugging Face għall-ekosistema integrata tagħha. It-tnejn iservu l-istess mudelli Mistral, iżda b’filosofiji opposti—waħda tikkompla, l-oħra tesegwixxi. Din il-għażla timpenja lill-organizzazzjoni tiegħek ferm lil hinn mill-implimentazzjoni inizjali.

TensorRT-LLM

TensorRT-LLM huwa l-qafas ta’ ottimizzazzjoni tal-inferenza ta’ NVIDIA. Jagħmel aktar milli sempliċiment jitgħabba mudell: jikkompilah f‘“magna” ottimizzata speċifikament għall-GPU tiegħek, u b’hekk iwassal l-aqwa prestazzjoni possibbli fuq hardware ta’ NVIDIA. Għalhekk, il-fluss tax-xogħol jikkonsisti f’żewġ passi distinti: fażi ta’ build li tipproduċi l-magna TensorRT, segwita minn fażi ta’ serve li tiddispjegaha permezz ta’ Triton Inference Server. Din is-separazzjoni hija ċ-ċavetta għal kollox: tikseb prestazzjoni fil-ħin tal-bini, mhux fil-ħin tat-tħaddim.

# Step 1: Clone the TensorRT-LLM repository
git clone https://github.com/NVIDIA/TensorRT-LLM.git
cd TensorRT-LLM

# Step 2: Build the engine (Mistral 7B example)
# Mistral models use the LLaMA example from the repository
python examples/llama/convert_checkpoint.py \
    --model_dir mistralai/Mistral-7B-Instruct-v0.3 \
    --output_dir ./checkpoint \
    --dtype float16

python -m tensorrt_llm.commands.build \
    --checkpoint_dir ./checkpoint \
    --output_dir ./engine \
    --gemm_plugin float16

Il-qligħ huwa kejjel: skont il-każ ta’ użu, TensorRT-LLM juri li huwa bejn 30% u 50% aktar mgħaġġel minn vLLM. Japplika ottimizzazzjonijiet tal-kernel speċifiċi għal kull arkitettura tal-GPU—Ampere, Hopper, Blackwell—joffri kwantizzazzjoni avvanzata f’FP8, INT8, u INT4 b’kalibrazzjoni awtomatika, u jimmaniġġja l-inflight batching biex jimmassimizza t-throughput.

Il-kompromess huwa reali. Kull mudell irid jiġi kkompilat għall-GPU speċifika tiegħek, u dan il-kompilazzjoni tieħu minn tletin minuta sa diversi sigħat skont il-mudell. Il-bidla tal-mudelli teħtieġ build ġdid, u dan jagħmel il-proċess doloruż jekk għadek qed tittestja għażliet differenti. Barra minn hekk, jaħdem biss fuq hardware ta’ NVIDIA: m’hemm l-ebda portabbiltà lejn AMD jew pjattaformi oħra. F’termini organizzattivi, dan ifisser li tim li qed jirrepeti fuq il-mudell tiegħu kull ġimgħa se jqatta’ aktar ħin jikkompila milli jservi.

Ladarba l-magna tinbena, Triton jieħu f’idejh u jesponi s-servizz:

# Launch Triton Inference Server with the engine
docker run --rm --gpus all \
    -v ./engine:/models/mistral/1 \
    -p 8000:8000 \
    nvcr.io/nvidia/tritonserver:latest \
    tritonserver --model-repository=/models

TGI (Text Generation Inference)

TGI huwa l-kit tal-inferenza ta’ Hugging Face. Jokkupa pożizzjoni tan-nofs: inqas ottimizzat minn TensorRT-LLM, iżda aktar sempliċi biex tiġi stabbilita u perfettament integrata fl-ekosistema ta’ Hugging Face li minnha x’aktarx diġà tiġbed il-piżijiet (weights) tiegħek. Id-dispjegament jeħtieġ biss kumand Docker wieħed:

docker run --gpus all --shm-size 1g \
    -p 8080:80 \
    -e HUGGING_FACE_HUB_TOKEN=$HF_TOKEN \
    ghcr.io/huggingface/text-generation-inference:2.0.3 \
    --model-id mistralai/Mistral-7B-Instruct-v0.3

Is-server isir aċċessibbli fuq il-port 8080 ladarba l-mudell jitgħabba. Jiġi b’kwantizzazzjoni integrata (GPTQ, AWQ, bitsandbytes), paralleliżmu tat-tensor biex jiddistribwixxi l-mudell fuq GPUs multipli, streaming token b’token, u continuous batching, li awtomatikament jiggruppa talbiet konkorrenti minflok ma jipproċessahom wieħed wara l-ieħor.

Fil-produzzjoni, ftit settings addizzjonali jgħinu biex jillimitaw il-konsum tal-memorja:

docker run --gpus all --shm-size 1g \
    -p 8080:80 \
    -e HUGGING_FACE_HUB_TOKEN=$HF_TOKEN \
    ghcr.io/huggingface/text-generation-inference:2.0.3 \
    --model-id mistralai/Mistral-7B-Instruct-v0.3 \
    --max-input-length 4096 \
    --max-total-tokens 8192 \
    --max-batch-prefill-tokens 4096 \
    --quantize awq

--max-input-length jistabbilixxi t-tul massimu tal-prompt, --max-total-tokens jillimita l-prompt u l-ġenerazzjoni kkombinati, u --quantize jippermetti l-kwantizzazzjoni biex jitnaqqas il-footprint tal-GPU. L-aġġustament preċiż ta’ dawn il-valuri jipproteġik minn talba mhux tas-soltu twila li tista’ tissatura l-memorja u twaqqas is-servizz għal kulħadd.

Fuq in-naħa tal-klijent, TGI jesponi API kompatibbli kemm mal-klijent Mistral kif ukoll mal-klijent OpenAI, li jippermettilek terġa’ tuża kodiċi eżistenti:

# Using the OpenAI client
from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:8080/v1",
    api_key="not-needed"
)

response = client.chat.completions.create(
    model="mistralai/Mistral-7B-Instruct-v0.3",
    messages=[{"role": "user", "content": "Explain continuous batching."}],
    max_tokens=512
)
print(response.choices[0].message.content)

API nattiva tibqa’ disponibbli għal integrazzjonijiet li ma jużawx SDK:

# Using curl (TGI native API)
curl http://localhost:8080/generate \
    -H "Content-Type: application/json" \
    -d '{
        "inputs": "Explain continuous batching.",
        "parameters": {"max_new_tokens": 512}
    }'

Tqabbil tat-Tliet Magni

KriterjuvLLMTensorRT-LLMTGI
PrestazzjoniEċċellentiMassimaTajba
Faċilità ta’ UżuSempliċiKumplessaSempliċi
API ta’ OpenAINattivPermezz ta’ TritonNattiv
KwantizzazzjoniFP8, AWQFP8, INT8, INT4GPTQ, AWQ
Multi-GPUParalleliżmu tat-TensorTensor + PipelineParalleliżmu tat-Tensor
Build MeħtieġLeIva (twil)Le
HardwareNVIDIA + AMDNVIDIA bissNVIDIA + AMD

Kif Tagħżel bejn it-Tlieta

vLLM jibqa’ l-għażla default, u għal raġuni tajba: titla’ u tkun qed taħdem malajr, għandek API kompatibbli ma’ OpenAI, u tista’ tbiddel il-mudelli mingħajr ma terġa’ tibni xejn. Tim li għadu fil-fażi ta’ esplorazzjoni m’għandu l-ebda interess li jimponi xi ħaġa oħra fuqu nnifsu.

TensorRT-LLM huwa ġustifikat f’xenarju speċifiku: mudell fiss servut fil-produzzjoni b’throughput għoli ħafna, fuq hardware esklużivament ta’ NVIDIA, b’tim ta’ MLOps kapaċi jimmaniġġja l-pipeline tal-build. Jekk jonqos wieħed minn dawn l-erba’ elementi, il-qligħ fil-prestazzjoni ta’ 30% sa 50% se jintilef bil-ħin imqatta’ fil-manutenzjoni tal-kompilazzjoni.

Fl-aħħar nett, TGI hija l-għażla naturali jekk diġà tgħix fl-ekosistema ta’ Hugging Face, trid kwantizzazzjoni mingħajr konfigurazzjoni addizzjonali, u qed tfittex soluzzjoni Docker sempliċi li tim mingħajr speċjalizzazzjoni fl-inferenza jista’ jadotta.

Punti Ewlenin

  • TensorRT-LLM joffri l-aqwa prestazzjoni iżda jeħtieġ build speċifiku għal kull GPU
  • TGI huwa l-kit ta’ Hugging Face b’kwantizzazzjoni integrata, paralleliżmu tat-tensor, u batching
  • vLLM jibqa’ l-aqwa kompromess bejn il-prestazzjoni u s-sempliċità għall-biċċa l-kbira tal-każijiet ta’ użu
  • It-tliet magni jesponu API kompatibbli ma’ OpenAI (direttament jew permezz ta’ Triton)
  • L-għażla tiegħek tiddependi mill-volum tiegħek, mill-hardware, u mit-tolleranza tiegħek għall-kumplessità