Salt la conținutul principal
Română— Alege o limbă
Meniu

TensorRT-LLM și TGI

Lecția 12 din 14 Actualizată 29 iulie 2026 Avansat
Pe această pagină
  1. Alternative la vLLM
  2. TensorRT-LLM
  3. TGI (Text Generation Inference)
  4. Compararea celor trei motoare
  5. Alegerea între cele trei
  6. Puncte cheie

Alternative la vLLM

Deși vLLM este motorul recomandat implicit, două alternative merită atenția dumneavoastră: TensorRT-LLM de la NVIDIA pentru performanță maximă și TGI (Text Generation Inference) de la Hugging Face pentru ecosistemul său integrat. Ambele servesc aceleași modele Mistral, dar cu filosofii opuse: unul compilează, celălalt execută. Această alegere va angaja organizația dumneavoastră mult dincolo de implementarea inițială.

TensorRT-LLM

TensorRT-LLM este framework-ul de optimizare a inferenței dezvoltat de NVIDIA. Acesta face mai mult decât să încarce simplu un model: îl compilează într-un „motor“ optimizat specific pentru GPU-ul dumneavoastră, oferind cea mai bună performanță posibilă pe hardware-ul NVIDIA. Fluxul de lucru constă, prin urmare, în doi pași distincți: o fază de construcție (build) care produce motorul TensorRT, urmată de o fază de servire (serve) care îl implementează prin intermediul Triton Inference Server. Această separare este cheia a tot ce urmează: câștigați performanță în timpul compilării, nu în timpul execuției.

# Step 1: Clone the TensorRT-LLM repository
git clone https://github.com/NVIDIA/TensorRT-LLM.git
cd TensorRT-LLM

# Step 2: Build the engine (Mistral 7B example)
# Mistral models use the LLaMA example from the repository
python examples/llama/convert_checkpoint.py \
    --model_dir mistralai/Mistral-7B-Instruct-v0.3 \
    --output_dir ./checkpoint \
    --dtype float16

python -m tensorrt_llm.commands.build \
    --checkpoint_dir ./checkpoint \
    --output_dir ./engine \
    --gemm_plugin float16

Câștigurile sunt măsurabile: în funcție de cazul de utilizare, TensorRT-LLM se dovedește a fi cu 30% până la 50% mai rapid decât vLLM. Acesta aplică optimizări de kernel specifice fiecărei arhitecturi GPU—Ampere, Hopper, Blackwell—oferă cuantificare avansată în FP8, INT8 și INT4 cu calibrare automată și gestionează „inflight batching“ pentru a maximiza debitul.

Compromisul este real. Fiecare model trebuie compilat pentru GPU-ul dumneavoastră specific, iar această compilare durează oriunde de la treizeci de minute la câteva ore, în funcție de model. Schimbarea modelelor necesită o nouă construcție, ceea ce face procesul dureros dacă testați încă diferite opțiuni. În plus, funcționează doar pe hardware NVIDIA: nu există portabilitate către AMD sau alte platforme. Din punct de vedere organizațional, acest lucru înseamnă că o echipă care iterază asupra modelului său în fiecare săptămână va petrece mai mult timp compilând decât servind.

Odată ce motorul este construit, Triton preia controlul și expune serviciul:

# Launch Triton Inference Server with the engine
docker run --rm --gpus all \
    -v ./engine:/models/mistral/1 \
    -p 8000:8000 \
    nvcr.io/nvidia/tritonserver:latest \
    tritonserver --model-repository=/models

TGI (Text Generation Inference)

TGI este toolkit-ul de inferență al Hugging Face. Ocupă o poziție intermediară: mai puțin optimizat decât TensorRT-LLM, dar mai simplu de configurat și perfect integrat în ecosistemul Hugging Face de unde probabil descărcați deja ponderile (weights). Implementarea necesită o singură comandă Docker:

docker run --gpus all --shm-size 1g \
    -p 8080:80 \
    -e HUGGING_FACE_HUB_TOKEN=$HF_TOKEN \
    ghcr.io/huggingface/text-generation-inference:2.0.3 \
    --model-id mistralai/Mistral-7B-Instruct-v0.3

Serverul devine accesibil pe portul 8080 odată ce modelul este încărcat. Vine cu cuantificare integrată (GPTQ, AWQ, bitsandbytes), paralelism tensorial pentru distribuirea modelului pe mai multe GPU-uri, streaming token cu token și „continuous batching“, care grupează automat cererile concurente în loc să le proceseze una după alta.

În producție, câțiva parametri suplimentari ajută la limitarea consumului de memorie:

docker run --gpus all --shm-size 1g \
    -p 8080:80 \
    -e HUGGING_FACE_HUB_TOKEN=$HF_TOKEN \
    ghcr.io/huggingface/text-generation-inference:2.0.3 \
    --model-id mistralai/Mistral-7B-Instruct-v0.3 \
    --max-input-length 4096 \
    --max-total-tokens 8192 \
    --max-batch-prefill-tokens 4096 \
    --quantize awq

--max-input-length setează lungimea maximă a promptului, --max-total-tokens limitează suma dintre prompt și generație, iar --quantize activează cuantificarea pentru a reduce amprenta pe GPU. Ajustarea precisă a acestor valori vă protejează de o cerere neobișnuit de lungă care ar putea satura memoria și ar putea bloca serviciul pentru toți utilizatorii.

La nivelul clientului, TGI expune un API compatibil atât cu clientul Mistral, cât și cu clientul OpenAI, permițându-vă să reutilizați codul existent:

# Using the OpenAI client
from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:8080/v1",
    api_key="not-needed"
)

response = client.chat.completions.create(
    model="mistralai/Mistral-7B-Instruct-v0.3",
    messages=[{"role": "user", "content": "Explain continuous batching."}],
    max_tokens=512
)
print(response.choices[0].message.content)

Un API nativ rămâne disponibil pentru integrările care nu folosesc un SDK:

# Using curl (TGI native API)
curl http://localhost:8080/generate \
    -H "Content-Type: application/json" \
    -d '{
        "inputs": "Explain continuous batching.",
        "parameters": {"max_new_tokens": 512}
    }'

Compararea celor trei motoare

CriteriuvLLMTensorRT-LLMTGI
PerformanțăExcelentăMaximăBună
Ușurință în utilizareSimpluComplexSimplu
API OpenAINativPrin TritonNativ
CuantificareFP8, AWQFP8, INT8, INT4GPTQ, AWQ
Multi-GPUParalelism tensorialTensorial + PipelineParalelism tensorial
Construcție necesarăNuDa (lungă)Nu
HardwareNVIDIA + AMDDoar NVIDIANVIDIA + AMD

Alegerea între cele trei

vLLM rămâne alegerea implicită, și pe bună dreptate: porniți rapid, aveți un API compatibil OpenAI și puteți schimba modelele fără a reconstrui nimic. O echipă aflată încă în faza de explorare nu are niciun interes să își impună altceva.

TensorRT-LLM este justificat într-un scenariu specific: un model fix servit în producție la un debit foarte ridicat, pe hardware exclusiv NVIDIA, cu o echipă MLOps capabilă să gestioneze pipeline-ul de construcție. Dacă lipsește chiar și unul dintre aceste patru elemente, câștigul de performanță de 30% până la 50% va fi absorbit de timpul petrecut cu menținerea compilării.

În final, TGI este alegerea naturală dacă evoluați deja în ecosistemul Hugging Face, doriți cuantificare fără configurare suplimentară și căutați o soluție Docker simplă pe care o echipă fără specializare în inferență o poate adopta.

Puncte cheie

  • TensorRT-LLM oferă cea mai bună performanță, dar necesită o construcție specifică pentru fiecare GPU
  • TGI este toolkit-ul Hugging Face cu cuantificare integrată, paralelism tensorial și batching
  • vLLM rămâne cel mai bun compromis între performanță și simplitate pentru majoritatea cazurilor de utilizare
  • Toate cele trei motoare expun un API compatibil OpenAI (direct sau prin Triton)
  • Alegerea dumneavoastră depinde de volumul de date, hardware și toleranța la complexitate