Pāriet uz galveno saturu
Latviešu— Izvēlēties valodu
Izvēlne

TensorRT-LLM un TGI

Nodarbība 12 no 14 Atjaunota 2026. gada 29. jūlijs Augstākais
Šajā lapā
  1. Alternatīvas vLLM
  2. TensorRT-LLM
  3. TGI (Text Generation Inference)
  4. Trīs dzinēju salīdzinājums
  5. Izvēle starp trim
  6. Galvenās atziņas

Alternatīvas vLLM

Lai gan vLLM ir ieteicamais noklusējuma dzinējs, divas alternatīvas ir pelnījušas tavu uzmanību: NVIDIA TensorRT-LLM maksimālai veiktspējai un Hugging Face TGI (Text Generation Inference) tā integrētās ekosistēmas dēļ. Abi risinājumi apkalpo tos pašus Mistral modeļus, taču balstās uz pretējām filozofijām – viens kompilē, otrs izpilda. Šī izvēle saista tavu organizāciju ilgi pēc sākotnējās izvietošanas.

TensorRT-LLM

TensorRT-LLM ir NVIDIA secinājumu optimizācijas ietvars. Tas nedara tikai to, ka ielādē modeli: tas to kompilē „dzinējā”, kas optimizēts tieši tavam GPU, nodrošinot labāko iespējamo veiktspēju NVIDIA aparatūrā. Darba plūsma tāpēc sastāv no diviem atšķirīgiem posmiem: būves (build) fāze, kas ģenerē TensorRT dzinēju, kam seko apkalpošanas (serve) fāze, kas to izvieto, izmantojot Triton Inference Server. Šī atdalīšana ir visu turpmāko procesu atslēga: veiktspējas pieaugumu tu iegūsti būves laikā, nevis izpildes laikā.

# Step 1: Clone the TensorRT-LLM repository
git clone https://github.com/NVIDIA/TensorRT-LLM.git
cd TensorRT-LLM

# Step 2: Build the engine (Mistral 7B example)
# Mistral models use the LLaMA example from the repository
python examples/llama/convert_checkpoint.py \
    --model_dir mistralai/Mistral-7B-Instruct-v0.3 \
    --output_dir ./checkpoint \
    --dtype float16

python -m tensorrt_llm.commands.build \
    --checkpoint_dir ./checkpoint \
    --output_dir ./engine \
    --gemm_plugin float16

Ieguvumi ir izmērāmi: atkarībā no lietojuma gadījuma TensorRT-LLM ir par 30% līdz 50% ātrāks nekā vLLM. Tas pielieto kodola optimizācijas, kas specifiskas katrai GPU arhitektūrai (Ampere, Hopper, Blackwell), piedāvā uzlabotu kvantēšanu formātos FP8, INT8 un INT4 ar automātisku kalibrēšanu, kā arī apstrādā „inflight” batching, lai maksimāli palielinātu caurlaidspēju.

Kompromiss ir reāls. Katrs models ir jākompilē tavam konkrētajam GPU, un šī kompilēšana ilgst no trīsdesmit minūtēm līdz vairākām stundām atkarībā no modeļa. Modeļa maiņa prasa jaunu būvi, padarot procesu sāpīgu, ja joprojām testē dažādas opcijas. Turklāt tas darbojas tikai uz NVIDIA aparatūras: nav pārnēsājamības uz AMD vai citām platformām. Organizatoriskā ziņā tas nozīmē, ka komanda, kas katru nedēļu iterē savu modeli, vairāk laika pavadīs kompilējot, nevis apkalpojot.

Kad dzinējs ir uzbūvēts, Triton pārņem vadību un eksponē servisu:

# Launch Triton Inference Server with the engine
docker run --rm --gpus all \
    -v ./engine:/models/mistral/1 \
    -p 8000:8000 \
    nvcr.io/nvidia/tritonserver:latest \
    tritonserver --model-repository=/models

TGI (Text Generation Inference)

TGI ir Hugging Face secinājumu rīkkopa. Tā ieņem vidusceļu: mazāk optimizēta nekā TensorRT-LLM, bet vienkāršāk iestatāma un perfekti integrēta Hugging Face ekosistēmā, no kuras tu, visticamāk, jau lejupielādē savus svarus. Izvietošanai pietiek ar vienu Docker komandu:

docker run --gpus all --shm-size 1g \
    -p 8080:80 \
    -e HUGGING_FACE_HUB_TOKEN=$HF_TOKEN \
    ghcr.io/huggingface/text-generation-inference:2.0.3 \
    --model-id mistralai/Mistral-7B-Instruct-v0.3

Serveris kļūst pieejams portā 8080, tiklīdz models ir ielādēts. Tas nāk ar iebūvētu kvantēšanu (GPTQ, AWQ, bitsandbytes), tenzoru paralēlismu modeļa sadalei starp vairākiem GPU, token-pa-token straumēšanu un nepārtrauktu batching, kas automātiski grupē vienlaicīgus pieprasījumus, nevis apstrādā tos vienu pēc otra.

Produkcijas vidē daži papildu iestatījumi palīdz ierobežot atmiņas patēriņu:

docker run --gpus all --shm-size 1g \
    -p 8080:80 \
    -e HUGGING_FACE_HUB_TOKEN=$HF_TOKEN \
    ghcr.io/huggingface/text-generation-inference:2.0.3 \
    --model-id mistralai/Mistral-7B-Instruct-v0.3 \
    --max-input-length 4096 \
    --max-total-tokens 8192 \
    --max-batch-prefill-tokens 4096 \
    --quantize awq

--max-input-length nosaka maksimālo uzvednes (prompt) garumu, --max-total-tokens ierobežo kopējo uzvednes un ģenerācijas apjomu, bet --quantize aktivizē kvantēšanu, lai samazinātu GPU atmiņas footprintu. Precīza šo vērtību pielāgošana pasargā tevi no neparasti gariem pieprasījumiem, kas varētu piesātināt atmiņu un apturēt servisu visiem lietotājiem.

Klienta pusē TGI eksponē API, kas ir saderīgs gan ar Mistral klientu, gan OpenAI klientu, ļaujot atkārtoti izmantot esošo kodu:

# Using the OpenAI client
from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:8080/v1",
    api_key="not-needed"
)

response = client.chat.completions.create(
    model="mistralai/Mistral-7B-Instruct-v0.3",
    messages=[{"role": "user", "content": "Explain continuous batching."}],
    max_tokens=512
)
print(response.choices[0].message.content)

Ir pieejams arī natīvais API integrācijām, kas neizmanto SDK:

# Using curl (TGI native API)
curl http://localhost:8080/generate \
    -H "Content-Type: application/json" \
    -d '{
        "inputs": "Explain continuous batching.",
        "parameters": {"max_new_tokens": 512}
    }'

Trīs dzinēju salīdzinājums

KritērijsvLLMTensorRT-LLMTGI
VeiktspējaLieliskaMaksimālalaba
Lietošanas ērtumsVienkāršsSarežģītsVienkāršs
OpenAI APINatīvsCaur TritonNatīvs
KvantēšanaFP8, AWQFP8, INT8, INT4GPTQ, AWQ
Vairāki GPUTenzoru paralēlismsTenzoru + konveijeraTenzoru paralēlisms
Nepieciešama būveNēJā (ilga)Nē
AparatūraNVIDIA + AMDTikai NVIDIANVIDIA + AMD

Izvēle starp trim

vLLM paliek noklusējuma izvēle, un tam ir labs iemesls: tu ātri sāc darbu, tev ir OpenAI saderīgs API, un tu vari mainīt modeļus, neko no jauna nebūvējot. Komandai, kas joprojām atrodas izpētes fāzē, nav jēgas uzspiest sev kaut ko citu.

TensorRT-LLM ir attaisnojams konkrētā scenārijā: fiksēts models, kas tiek apkalpots produkcijā ar ļoti augstu caurlaidspēju, izmantojot tikai NVIDIA aparatūru, un kur ir MLOps komanda, kas spēj pārvaldīt būves konveijeru. Ja trūkst kaut vai viens no šiem četriem elementiem, 30% līdz 50% veiktspējas pieaugumu „apēdīs” laiks, kas pavadīts kompilācijas uzturēšanai.

Visbeidzot, TGI ir dabiskā izvēle, ja jau dzīvo Hugging Face ekosistēmā, vēlies kvantēšanu bez papildu konfigurācijas un meklē vienkāršu Docker risinājumu, ko var pieņemt komanda bez secinājumu specializācijas.

Galvenās atziņas

  • TensorRT-LLM piedāvā labāko veiktspēju, taču prasa specifisku būvi katram GPU
  • TGI ir Hugging Face rīkkopa ar iebūvētu kvantēšanu, tenzoru paralēlismu un batching
  • vLLM paliek labākais kompromiss starp veiktspēju un vienkāršību vairumam lietojuma gadījumu
  • Visi trīs dzinēji eksponē OpenAI saderīgu API (tieši vai caur Triton)
  • Tava izvēle ir atkarīga no apjoma, aparatūras un tolerances pret sarežģītību