Léim go dtí an príomhábhar
Gaeilge— Roghnaigh teanga
Roghchlár

TensorRT-LLM agus TGI

Ceacht 12 as 14 Nuashonraithe 29 Iúil 2026 Ardleibhéal
Ar an leathanach seo
  1. Roghanna eile seachas vLLM
  2. TensorRT-LLM
  3. TGI (Text Generation Inference)
  4. An Trí Innill a Chur i gComparáid
  5. Roghnú idir an Trí Cinn
  6. Príomhphointí

Roghanna eile seachas vLLM

Cé gurb é vLLM an t-inneall réamhshocraithe a mholaimid, tá dhá rogha eile ar fiú d’aird a thabhairt orthu: TensorRT-LLM ó NVIDIA don fheidhmíocht uasta, agus TGI (Text Generation Inference) ó Hugging Face dá éiceachóras comhtháite. Freastalaíonn an dá cheann ar na samhlacha Mistral céanna, ach le fealsúnachtaí contrártha: déanann ceann amháin tiomsú, agus cuireann an ceann eile i gcrích é. Ceanglaíonn an rogha seo d’eagraíocht i bhfad thar an gcéad imlonnú.

TensorRT-LLM

Is é TensorRT-LLM creatlach optamaithe inference NVIDIA. Ní dhéanann sé níos mó ná samhlacha a luchtú: tiomsaíonn sé iad ina “inneall” atá optamaithe go sonrach do do GPU, ag soláthar na feidhmíochta is fearr is féidir ar chrua-earraí NVIDIA. Mar sin, bíonn dhá chéim ar leith sa sruth oibre: céim tógála a tháirgeann an t-inneall TensorRT, agus céim freastail a imlonnaíonn é trí Triton Inference Server. Is é an deighilt seo eochair do gach rud a leanas: faigheann tú feidhmíocht ag am na tógála, ní ag am rith.

# Step 1: Clone the TensorRT-LLM repository
git clone https://github.com/NVIDIA/TensorRT-LLM.git
cd TensorRT-LLM

# Step 2: Build the engine (Mistral 7B example)
# Mistral models use the LLaMA example from the repository
python examples/llama/convert_checkpoint.py \
    --model_dir mistralai/Mistral-7B-Instruct-v0.3 \
    --output_dir ./checkpoint \
    --dtype float16

python -m tensorrt_llm.commands.build \
    --checkpoint_dir ./checkpoint \
    --output_dir ./engine \
    --gemm_plugin float16

Tá na gnóthachain inbhraite: ag brath ar an gcás úsáide, cruthaíonn TensorRT-LLM go bhfuil sé 30% go 50% níos tapúla ná vLLM. Cuireann sé optamuithe cearnóil i bhfeidhm atá sonrach do gach ailtireacht GPU—Ampere, Hopper, Blackwell—tairgeann sé candamú casta i FP8, INT8, agus INT4 le calabrú uathoibríoch, agus láimhseálann sé baisceáil le linn eitilte (inflight batching) chun an t-aschur a uasmhéadú.

Tá an malartú fíor. Ní mór gach samhlacha a thiomsú do do GPU sonrach, agus tógann an tiomsú seo ó thríocha nóiméad go roinnt uaireanta an chloig ag brath ar an tsamhail. Éilíonn athrú samhlacha tógáil nua, rud a fhágann go mbíonn an próiseas pianmhar má tá tú fós ag déanamh tástála ar roghanna éagsúla. Ina theannta sin, ní oibríonn sé ach ar chrua-earraí NVIDIA: níl aon in-iomparthacht ann go AMD nó go hardáin eile. I dtéarmaí eagraíochtúla, ciallaíonn sé seo go gcaithfidh foireann atá ag déanamh athrá ar a samhail gach seachtain níos mó ama ag tiomsú ná ag freastal.

Nuair a bheidh an t-inneall tógtha, glacann Triton seilbh agus nochtann sé an tseirbhís:

# Launch Triton Inference Server with the engine
docker run --rm --gpus all \
    -v ./engine:/models/mistral/1 \
    -p 8000:8000 \
    nvcr.io/nvidia/tritonserver:latest \
    tritonserver --model-repository=/models

TGI (Text Generation Inference)

Is é TGI uirlis inference Hugging Face. Glacann sé suíomh idirmheánach: níos lú optamaithe ná TensorRT-LLM, ach níos simplí a shocrú agus comhtháite go foirfe san éiceachóras Hugging Face ar dócha go dtarraingíonn tú do mheáchain uaidh cheana féin. Ní éilíonn an t-imlonnú ach ordú Docker amháin:

docker run --gpus all --shm-size 1g \
    -p 8080:80 \
    -e HUGGING_FACE_HUB_TOKEN=$HF_TOKEN \
    ghcr.io/huggingface/text-generation-inference:2.0.3 \
    --model-id mistralai/Mistral-7B-Instruct-v0.3

Beidh an freastalaí inrochtana ar phort 8080 nuair a bheidh an tsamhail luchtaithe. Tagann sé le candamú ionsuite (GPTQ, AWQ, bitsandbytes), comhthreomhaireacht teansóra chun an tsamhail a dháileadh ar ghrúpaí GPU iolracha, sruthú token ar token, agus baisceáil leanúnach, a ghrúpálann iarratais chomhthreomhara go huathoibríoch in ionad iad a phróiseáil ceann ar cheann.

Sa táirgeadh, cabhraíonn roinnt socruithe breise le tomhaltas cuimhne a theorannú:

docker run --gpus all --shm-size 1g \
    -p 8080:80 \
    -e HUGGING_FACE_HUB_TOKEN=$HF_TOKEN \
    ghcr.io/huggingface/text-generation-inference:2.0.3 \
    --model-id mistralai/Mistral-7B-Instruct-v0.3 \
    --max-input-length 4096 \
    --max-total-tokens 8192 \
    --max-batch-prefill-tokens 4096 \
    --quantize awq

Socraíonn --max-input-length fad uasta an leid, cuireann --max-total-tokens teorainn leis an leid agus an ghiniúint le chéile, agus cumasaíonn --quantize candamú chun lorg an GPU a laghdú. Cosnaíonn tú tú féin ó iarratas as gnáth fada a d’fhéadfadh cuimhne a sháithiú agus an tseirbhís a thabhairt anuas do chách nuair a dhéanann tú tiúnadh cruinn ar na luachanna seo.

Ar thaobh an chliaint, nochtann TGI API atá comhoiriúnach leis an gcliant Mistral agus leis an gcliant OpenAI araon, rud a ligeann duit cód atá ann cheana a athúsáid:

# Using the OpenAI client
from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:8080/v1",
    api_key="not-needed"
)

response = client.chat.completions.create(
    model="mistralai/Mistral-7B-Instruct-v0.3",
    messages=[{"role": "user", "content": "Explain continuous batching."}],
    max_tokens=512
)
print(response.choices[0].message.content)

Tá API dúchasach ar fáil fós do chomhtháthuithe nach n-úsáideann SDK:

# Using curl (TGI native API)
curl http://localhost:8080/generate \
    -H "Content-Type: application/json" \
    -d '{
        "inputs": "Explain continuous batching.",
        "parameters": {"max_new_tokens": 512}
    }'

An Trí Innill a Chur i gComparáid

CritéarvLLMTensorRT-LLMTGI
FeidhmíochtAr fheabhasUastaMaith
Éasca le hÚsáidSimplíCastaSimplí
API OpenAIDúchasachTrí TritonDúchasach
CandamúFP8, AWQFP8, INT8, INT4GPTQ, AWQ
Il-GPUComhthreomhaireacht teansóraTeansór + PíblíneComhthreomhaireacht teansóra
Tógáil Ag TeastáilNílTá (fada)Níl
Crua-earraíNVIDIA + AMDNVIDIA amháinNVIDIA + AMD

Roghnú idir an Trí Cinn

Fanann vLLM mar an rogha réamhshocraithe, agus ar chúis mhaith: bíonn tú ag obair go tapa, tá API comhoiriúnach le OpenAI agat, agus is féidir leat samhlacha a athrú gan aon rud a aththógáil. Níl aon leas ag foireann atá fós sa chéim taiscéalaíochta aon rud eile a fhorchur uirthi féin.

Tá údar le TensorRT-LLM i gcás sonrach: samhail sheasta á freastal sa táirgeadh ag aschur an-ard, ar chrua-earraí NVIDIA go hiomlán, le foireann MLOps atá in ann an píblíne tógála a bhainistiú. Má tá aon cheann de na ceithre ghné seo in easnamh, caithfear an gnóthachan feidhmíochta 30% go 50% leis an am a chaitear ag cothabháil an tiomsaithe.

Ar deireadh, is é TGI an rogha nádúrtha má tá tú cheana féin san éiceachóras Hugging Face, más mian leat candamú gan cumraíocht bhreise, agus má tá tú ag lorg réiteach Docker simplí ar féidir le foireann gan speisialtóireacht inference glacadh leis.

Príomhphointí

  • Tairgeann TensorRT-LLM an fheidhmíocht is fearr ach éilíonn sé tógáil shonrach in aghaidh gach GPU
  • Is é TGI uirlis Hugging Face le candamú ionsuite, comhthreomhaireacht teansóra, agus baisceáil
  • Fanann vLLM mar an comhréiteach is fearr idir feidhmíocht agus simplíocht don chuid is mó de chásanna úsáide
  • Nochtann na trí hinnill API atá comhoiriúnach le OpenAI (go díreach nó trí Triton)
  • Braitheann do rogha ar do mhéid, do chrua-earraí, agus do fhulaingt maidir le castacht