Pereiti prie pagrindinio turinio
Lietuvių— Pasirinkite kalbą
Meniu

TensorRT-LLM ir TGI

Paskaita 12 iš 14 Atnaujinta 2026 m. liepos 29 d. Pažengusiems
Šiame puslapyje
  1. Alternatyvos vLLM
  2. TensorRT-LLM
  3. TGI (Text Generation Inference)
  4. Trijų variklių palyginimas
  5. Kaip pasirinkti tarp šių trijų
  6. Svarbiausi punktai

Alternatyvos vLLM

Nors vLLM yra rekomenduojama numatytoji variklio versija, verta atkreipti dėmesį į dvi alternatyvas: NVIDIA „TensorRT-LLM“, skirtą maksimaliam našumui, ir Hugging Face „TGI“ (Text Generation Inference) dėl jo integruotos ekosistemos. Abi palaiko tuos pačius Mistral modelius, tačiau jų filosofijos priešingos – viena kompiliuoja, kita vykdo. Šis pasirinkimas įpareigoja tavo organizaciją ilgam laikotarpiui, gerokai viršijančiam pradinį diegimą.

TensorRT-LLM

„TensorRT-LLM“ yra NVIDIA išvedimo optimizavimo sistema. Ji daro daugiau nei tiesiog įkelia modelį: ji kompiliuoja jį į „variklį“, specialiai optimizuotą tavo GPU, taip užtikrindama geriausią įmanomą našumą NVIDIA aparatinėje įrangoje. Todėl darbo eiga susideda iš dviejų atskirų etapų: kūrimo (build) fazės, kurios metu sukuriamas „TensorRT“ variklis, ir aptarnavimo (serve) fazės, kurios metu jis diegiamas naudojant „Triton Inference Server“. Šis atskyrimas yra esminis viskam, kas seka: našumo prieaugį gauni kūrimo metu, o ne vykdymo metu.

# 1 žingsnis: klonuoti TensorRT-LLM saugyklą
git clone https://github.com/NVIDIA/TensorRT-LLM.git
cd TensorRT-LLM

# 2 žingsnis: kurti variklį (Mistral 7B pavyzdys)
# Mistral modeliai naudoja LLaMA pavyzdį iš saugyklos
python examples/llama/convert_checkpoint.py \
    --model_dir mistralai/Mistral-7B-Instruct-v0.3 \
    --output_dir ./checkpoint \
    --dtype float16

python -m tensorrt_llm.commands.build \
    --checkpoint_dir ./checkpoint \
    --output_dir ./engine \
    --gemm_plugin float16

Naudą galima išmatuoti: priklausomai nuo naudojimo atvejo, „TensorRT-LLM“ yra 30–50 % greitesnis nei vLLM. Jis taiko branduolių optimizacijas, specifines kiekvienai GPU architektūrai („Ampere“, „Hopper“, „Blackwell“), siūlo pažangų kvantavimą FP8, INT8 ir INT4 formatais su automatiniu kalibravimu bei tvarko užklausų grupavimą vykdymo metu (inflight batching), kad būtų maksimaliai padidintas pralaidumas.

Kompromisas yra akivaizdus. Kiekvienas modelis turi būti kompiliuojamas konkrečiai tavo GPU, o ši kompiliacija trunka nuo trisdešimties minučių iki kelių valandų, priklausomai nuo modelio dydžio. Pakeitus modelį, reikia naujo kūrimo proceso, todėl tai tampa sunku, jei vis dar testuoji skirtingus variantus. Be to, tai veikia tik su NVIDIA aparatinė įranga: nėra perkeliamumo į AMD ar kitas platformas. Organizaciniu požiūriu tai reiškia, kad komanda, kas savaitę iteruojanti savo modelį, daugiau laiko praleis kompiliuodama nei aptarnaudama.

Kai variklis sukurtas, „Triton“ perima valdymą ir pateikia paslaugą:

# Paleisti Triton Inference Server su varikliu
docker run --rm --gpus all \
    -v ./engine:/models/mistral/1 \
    -p 8000:8000 \
    nvcr.io/nvidia/tritonserver:latest \
    tritonserver --model-repository=/models

TGI (Text Generation Inference)

TGI yra Hugging Face išvedimo įrankių rinkinys. Jis užima vidurinę poziciją: mažiau optimizuotas nei „TensorRT-LLM“, bet paprastesnis nustatyti ir puikiai integruotas į Hugging Face ekosistemą, iš kurios tikriausiai jau atsisiunti savo svorius. Diegimui pakanka vienos Docker komandos:

docker run --gpus all --shm-size 1g \
    -p 8080:80 \
    -e HUGGING_FACE_HUB_TOKEN=$HF_TOKEN \
    ghcr.io/huggingface/text-generation-inference:2.0.3 \
    --model-id mistralai/Mistral-7B-Instruct-v0.3

Serveris tampa pasiekiamas 8080 porte, kai modelis užkraunamas. Jame yra įmontuotas kvantavimas (GPTQ, AWQ, bitsandbytes), tenzorinis lygiagretumas modeliui paskirstyti per kelias GPU, ženklo po ženklo srautinis perdavimas ir nuolatinis grupavimas (continuous batching), kuris automatiškai sugrupuoja vienu metu gaunamas užklausas, užuot jas apdorojęs vieną po kitos.

Gamybinėje aplinkoje keli papildomi nustatymai padeda apriboti atminties suvartojimą:

docker run --gpus all --shm-size 1g \
    -p 8080:80 \
    -e HUGGING_FACE_HUB_TOKEN=$HF_TOKEN \
    ghcr.io/huggingface/text-generation-inference:2.0.3 \
    --model-id mistralai/Mistral-7B-Instruct-v0.3 \
    --max-input-length 4096 \
    --max-total-tokens 8192 \
    --max-batch-prefill-tokens 4096 \
    --quantize awq

--max-input-length nustato maksimalų užklausos (prompt) ilgį, --max-total-tokens riboja bendrą užklausos ir sugeneruoto teksto ilgį, o --quantize įjungia kvantavimą GPU atminties pėdsakui sumažinti. Tikslus šių verčių derinimas apsaugo tave nuo neįprastai ilgų užklausų, kurios galėtų perpildyti atmintį ir sustabdyti paslaugą visiems.

Kliento pusėje TGI pateikia API, suderinamą tiek su Mistral, tiek su OpenAI klientais, todėl gali pakartotinai naudoti esamą kodą:

# Naudojant OpenAI klientą
from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:8080/v1",
    api_key="not-needed"
)

response = client.chat.completions.create(
    model="mistralai/Mistral-7B-Instruct-v0.3",
    messages=[{"role": "user", "content": "Explain continuous batching."}],
    max_tokens=512
)
print(response.choices[0].message.content)

Integracijoms, kurios nenaudoja SDK, vis dar prieinama vietinė API:

# Naudojant curl (TGI vietinė API)
curl http://localhost:8080/generate \
    -H "Content-Type: application/json" \
    -d '{
        "inputs": "Explain continuous batching.",
        "parameters": {"max_new_tokens": 512}
    }'

Trijų variklių palyginimas

KriterijusvLLMTensorRT-LLMTGI
NašumasPuikusMaksimalusGeras
Naudojimo paprastumasPaprastasSudėtingasPaprastas
OpenAI APIVietinisPer TritonVietinis
KvantavimasFP8, AWQFP8, INT8, INT4GPTQ, AWQ
Kelių GPU palaikymasTenzorinis lygiagretumasTenzorinis + konvejerinisTenzorinis lygiagretumas
Reikalingas kūrimasNeTaip (ilgas)Ne
Aparatinė įrangaNVIDIA + AMDTik NVIDIANVIDIA + AMD

Kaip pasirinkti tarp šių trijų

vLLM lieka pagrindiniu pasirinkimu, ir tam yra pagrįstų priežasčių: greitai pradedi darbą, turi OpenAI suderinamą API ir gali keisti modelius nieko iš naujo nekurdamas. Komanda, kuri vis dar yra tyrinėjimo fazėje, neturi jokio intereso sau taikyti ką nors kita.

„TensorRT-LLM“ yra pateisinamas specifiniame scenarijuje: fiksuotas modelis, aptarnaujamas gamyboje esant labai dideliam pralaidumui, naudojant išskirtinai NVIDIA aparatinę įrangą, turint MLOps komandą, gebančią valdyti kūrimo konvejerį. Jei trūksta bent vieno iš šių keturių elementų, 30–50 % našumo prieaugį „suės“ laikas, skirtas kompiliacijos priežiūrai.

Galiausiai, TGI yra natūralus pasirinkimas, jei jau dirbi Hugging Face ekosistemoje, nori kvantavimo be papildomų konfigūracijų ir ieškai paprasto Docker sprendimo, kurį galėtų priimti komanda, neturinti specializacijos išvedimo srityje.

Svarbiausi punktai

  • „TensorRT-LLM“ suteikia geriausią našumą, tačiau reikalauja specifinio kūrimo kiekvienai GPU
  • TGI yra Hugging Face įrankių rinkinys su įmontuotu kvantavimu, tenzoriniu lygiagretumu ir grupavimu
  • vLLM išlieka geriausiu kompromisu tarp našumo ir paprastumo daugeliui naudojimo atvejų
  • Visi trys varikliai pateikia OpenAI suderinamą API (tiesiogiai arba per Triton)
  • Tavo pasirinkimas priklauso nuo tavo apimties, aparatinės įrangos ir tolerancijos sudėtingumui