Siirry pääsisältöön
Suomi— Valitse kieli
Valikko

TensorRT-LLM ja TGI

Oppitunti 12 / 14 Päivitetty 29. heinäkuuta 2026 Edistynyt
Tällä sivulla
  1. Vaihtoehdot vLLM:lle
  2. TensorRT-LLM
  3. TGI (Text Generation Inference)
  4. Kolmen moottorin vertailu
  5. Valinta kolmen välillä
  6. Keskeiset asiat

Vaihtoehdot vLLM:lle

Vaikka vLLM on suositeltu oletusmoottori, kaksi muuta vaihtoehtoa ansaitsee huomiosi: NVIDIAn TensorRT-LLM maksimaalista suorituskykyä varten ja Hugging Facen TGI (Text Generation Inference) sen integroidun ekosysteemin vuoksi. Molemmat palvelevat samoja Mistral-malleja, mutta vastakkaisilla filosofioilla – toinen kääntää, toinen suorittaa. Tämä valinta sitoo organisaatiosi pitkäksi aikaa alkuperäisen käyttöönoton jälkeen.

TensorRT-LLM

TensorRT-LLM on NVIDIAn päättelyoptimointikehys. Se tekee enemmän kuin vain lataa mallin: se kääntää sen “moottoriksi”, joka on optimoitu nimenomaan näytönohjaimellesi, tarjoten parhaan mahdollisen suorituskyvyn NVIDIA-laitteistolla. Työnkulku koostuu siten kahdesta erillisestä vaiheesta: build-vaihe, joka tuottaa TensorRT-moottorin, ja serve-vaihe, joka ottaa sen käyttöön Triton Inference Serverin kautta. Tämä erottelu on kaiken seuraavan ydin: saat suorituskykyetua käännösvaiheessa, et ajonaikana.

# Step 1: Clone the TensorRT-LLM repository
git clone https://github.com/NVIDIA/TensorRT-LLM.git
cd TensorRT-LLM

# Step 2: Build the engine (Mistral 7B example)
# Mistral models use the LLaMA example from the repository
python examples/llama/convert_checkpoint.py \
    --model_dir mistralai/Mistral-7B-Instruct-v0.3 \
    --output_dir ./checkpoint \
    --dtype float16

python -m tensorrt_llm.commands.build \
    --checkpoint_dir ./checkpoint \
    --output_dir ./engine \
    --gemm_plugin float16

Hyödyt ovat mitattavissa: käyttötapauksesta riippuen TensorRT-LLM osoittautuu 30–50 % nopeammaksi kuin vLLM. Se soveltaa kunkin GPU-arkkitehtuurin (Ampere, Hopper, Blackwell) mukaisia ydinoptimointeja, tarjoaa edistynyttä kvantisointia muodossa FP8, INT8 ja INT4 automaattisella kalibroinnilla sekä hallitsee inflight-batchingia läpimenon maksimoimiseksi.

Kauppa on kuitenkin todellinen. Jokainen malli on käännettävä tietylle näytönohjaimellesi, ja tämä kääntäminen vie mallista riippuen kolmekymmentä minuuttia useisiin tunteihin. Mallin vaihtaminen vaatii uuden käännöksen, mikä tekee prosessista tuskallisen, jos testaat vielä eri vaihtoehtoja. Lisäksi se toimii vain NVIDIA-laitteistolla: siirrettävyyttä AMD:lle tai muille alustoille ei ole. Organisaation näkökulmasta tämä tarkoittaa, että malliaan viikoittain iteroinut tiimi viettää enemmän aikaa kääntämiseen kuin palvelun tarjoamiseen.

Kun moottori on rakennettu, Triton ottaa ohjat ja altistaa palvelun:

# Launch Triton Inference Server with the engine
docker run --rm --gpus all \
    -v ./engine:/models/mistral/1 \
    -p 8000:8000 \
    nvcr.io/nvidia/tritonserver:latest \
    tritonserver --model-repository=/models

TGI (Text Generation Inference)

TGI on Hugging Facen päättelytyökalupakki. Se sijoittuu välimaastoon: vähemmän optimoitu kuin TensorRT-LLM, mutta helpompi ottaa käyttöön ja täydellisesti integroitu Hugging Facen ekosysteemiin, josta todennäköisesti jo haet painoarvojasi. Käyttöönotto vaatii vain yhden Docker-komennon:

docker run --gpus all --shm-size 1g \
    -p 8080:80 \
    -e HUGGING_FACE_HUB_TOKEN=$HF_TOKEN \
    ghcr.io/huggingface/text-generation-inference:2.0.3 \
    --model-id mistralai/Mistral-7B-Instruct-v0.3

Palvelin muuttuu käytettäväksi portissa 8080, kun malli on latautunut. Siinä on sisäänrakennettu kvantisointi (GPTQ, AWQ, bitsandbytes), tensoririnnakkaisuus mallin jakamiseksi useiden näytönohjainten kesken, token-kerrallaan -streamaus ja jatkuva batchaus, joka ryhmittelee samanaikaiset pyynnöt automaattisesti niiden yksitellen käsittelemisen sijaan.

Tuotannossa muutamat lisäasetukset auttavat rajoittamaan muistin kulutusta:

docker run --gpus all --shm-size 1g \
    -p 8080:80 \
    -e HUGGING_FACE_HUB_TOKEN=$HF_TOKEN \
    ghcr.io/huggingface/text-generation-inference:2.0.3 \
    --model-id mistralai/Mistral-7B-Instruct-v0.3 \
    --max-input-length 4096 \
    --max-total-tokens 8192 \
    --max-batch-prefill-tokens 4096 \
    --quantize awq

--max-input-length asettaa kehotteen enimmäispituuden, --max-total-tokens rajoittaa kehotteen ja generoinnin yhdistettyä määrää, ja --quantize ottaa käyttöön kvantisoinnin GPU-muistijalanjäljen pienentämiseksi. Näiden arvojen tarkka viritys suojaa sinua epätavallisen pitkältä pyynnöltä, joka voisi kyllästää muistin ja kaataa palvelun kaikilta.

Asiakaspuolella TGI altistaa API:n, joka yhteensopiva sekä Mistral-asiakkaan että OpenAI-asiakkaan kanssa, joten voit käyttää olemassa olevaa koodia uudelleen:

# Using the OpenAI client
from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:8080/v1",
    api_key="not-needed"
)

response = client.chat.completions.create(
    model="mistralai/Mistral-7B-Instruct-v0.3",
    messages=[{"role": "user", "content": "Explain continuous batching."}],
    max_tokens=512
)
print(response.choices[0].message.content)

Natiivi API on edelleen saatavilla integraatioita varten, jotka eivät käytä SDK:ta:

# Using curl (TGI native API)
curl http://localhost:8080/generate \
    -H "Content-Type: application/json" \
    -d '{
        "inputs": "Explain continuous batching.",
        "parameters": {"max_new_tokens": 512}
    }'

Kolmen moottorin vertailu

KriteriumivLLMTensorRT-LLMTGI
SuorituskykyErinomainenMaksimaalinenHyvä
KäytettävyysYksinkertainenMonimutkainenYksinkertainen
OpenAI APINatiiviTritonin kauttaNatiivi
KvantisointiFP8, AWQFP8, INT8, INT4GPTQ, AWQ
Useita GPU:itaTensor-rinnakkaisuusTensor + PipelineTensor-rinnakkaisuus
Kääntäminen vaaditaanEiKyllä (pitkä)Ei
LaitteistoNVIDIA + AMDVain NVIDIANVIDIA + AMD

Valinta kolmen välillä

vLLM pysyy oletusvalintana, ja syystä: pääset alkuun nopeasti, sinulla on OpenAI-yhteensopiva API, ja voit vaihtaa malleja rakentamatta mitään uudelleen. Tutkimusvaiheessa olevalla tiimillä ei ole mitään syytä pakottaa itseään mihinkään muuhun.

TensorRT-LLM on perusteltu tietyssä skenaariossa: kiinteä malli, jota palvellaan tuotannossa erittäin suurella läpimenolla, yksinomaan NVIDIA-laitteistolla, ja MLOps-tiimi, joka pystyy hallitsemaan käännösputkea. Jos jokin näistä neljästä elementistä puuttuu, 30–50 %:n suorituskykyetu syödytään käännöksen ylläpitoon kuluvalla ajalla.

Lopuksi TGI on luonteva valinta, jos elät jo Hugging Facen ekosysteemissä, haluat kvantisoinnin ilman lisäkonfiguraatiota ja etsit yksinkertaista Docker-ratkaisua, jonka tiimi voi omaksua ilman erityistä päättelyosaamista.

Keskeiset asiat

  • TensorRT-LLM tarjoaa parhaan suorituskyvyn, mutta vaatii erillisen käännöksen kutakin näytönohjainta kohti
  • TGI on Hugging Facen työkalupakki, jossa on sisäänrakennettu kvantisointi, tensoririnnakkaisuus ja batchaus
  • vLLM pysyy parhaana kompromissina suorituskyvyn ja yksinkertaisuuden välillä useimmissa käyttötapauksissa
  • Kaikki kolme moottoria altistavat OpenAI-yhteensopivan API:n (suoraan tai Tritonin kautta)
  • Valintasi riippuu volyymistäsi, laitteistostasi ja toleranssistasi monimutkaisuudelle