TensorRT-LLM agus TGI
Ar an leathanach seo
Roghanna eile seachas vLLM
Cé gurb é vLLM an t-inneall réamhshocraithe a mholaimid, tá dhá rogha eile ar fiú d’aird a thabhairt orthu: TensorRT-LLM ó NVIDIA don fheidhmíocht uasta, agus TGI (Text Generation Inference) ó Hugging Face dá éiceachóras comhtháite. Freastalaíonn an dá cheann ar na samhlacha Mistral céanna, ach le fealsúnachtaí contrártha: déanann ceann amháin tiomsú, agus cuireann an ceann eile i gcrích é. Ceanglaíonn an rogha seo d’eagraíocht i bhfad thar an gcéad imlonnú.
TensorRT-LLM
Is é TensorRT-LLM creatlach optamaithe inference NVIDIA. Ní dhéanann sé níos mó ná samhlacha a luchtú: tiomsaíonn sé iad ina “inneall” atá optamaithe go sonrach do do GPU, ag soláthar na feidhmíochta is fearr is féidir ar chrua-earraí NVIDIA. Mar sin, bíonn dhá chéim ar leith sa sruth oibre: céim tógála a tháirgeann an t-inneall TensorRT, agus céim freastail a imlonnaíonn é trí Triton Inference Server. Is é an deighilt seo eochair do gach rud a leanas: faigheann tú feidhmíocht ag am na tógála, ní ag am rith.
# Step 1: Clone the TensorRT-LLM repository
git clone https://github.com/NVIDIA/TensorRT-LLM.git
cd TensorRT-LLM
# Step 2: Build the engine (Mistral 7B example)
# Mistral models use the LLaMA example from the repository
python examples/llama/convert_checkpoint.py \
--model_dir mistralai/Mistral-7B-Instruct-v0.3 \
--output_dir ./checkpoint \
--dtype float16
python -m tensorrt_llm.commands.build \
--checkpoint_dir ./checkpoint \
--output_dir ./engine \
--gemm_plugin float16
Tá na gnóthachain inbhraite: ag brath ar an gcás úsáide, cruthaíonn TensorRT-LLM go bhfuil sé 30% go 50% níos tapúla ná vLLM. Cuireann sé optamuithe cearnóil i bhfeidhm atá sonrach do gach ailtireacht GPU—Ampere, Hopper, Blackwell—tairgeann sé candamú casta i FP8, INT8, agus INT4 le calabrú uathoibríoch, agus láimhseálann sé baisceáil le linn eitilte (inflight batching) chun an t-aschur a uasmhéadú.
Tá an malartú fíor. Ní mór gach samhlacha a thiomsú do do GPU sonrach, agus tógann an tiomsú seo ó thríocha nóiméad go roinnt uaireanta an chloig ag brath ar an tsamhail. Éilíonn athrú samhlacha tógáil nua, rud a fhágann go mbíonn an próiseas pianmhar má tá tú fós ag déanamh tástála ar roghanna éagsúla. Ina theannta sin, ní oibríonn sé ach ar chrua-earraí NVIDIA: níl aon in-iomparthacht ann go AMD nó go hardáin eile. I dtéarmaí eagraíochtúla, ciallaíonn sé seo go gcaithfidh foireann atá ag déanamh athrá ar a samhail gach seachtain níos mó ama ag tiomsú ná ag freastal.
Nuair a bheidh an t-inneall tógtha, glacann Triton seilbh agus nochtann sé an tseirbhís:
# Launch Triton Inference Server with the engine
docker run --rm --gpus all \
-v ./engine:/models/mistral/1 \
-p 8000:8000 \
nvcr.io/nvidia/tritonserver:latest \
tritonserver --model-repository=/models
TGI (Text Generation Inference)
Is é TGI uirlis inference Hugging Face. Glacann sé suíomh idirmheánach: níos lú optamaithe ná TensorRT-LLM, ach níos simplí a shocrú agus comhtháite go foirfe san éiceachóras Hugging Face ar dócha go dtarraingíonn tú do mheáchain uaidh cheana féin. Ní éilíonn an t-imlonnú ach ordú Docker amháin:
docker run --gpus all --shm-size 1g \
-p 8080:80 \
-e HUGGING_FACE_HUB_TOKEN=$HF_TOKEN \
ghcr.io/huggingface/text-generation-inference:2.0.3 \
--model-id mistralai/Mistral-7B-Instruct-v0.3
Beidh an freastalaí inrochtana ar phort 8080 nuair a bheidh an tsamhail luchtaithe. Tagann sé le candamú ionsuite (GPTQ, AWQ, bitsandbytes), comhthreomhaireacht teansóra chun an tsamhail a dháileadh ar ghrúpaí GPU iolracha, sruthú token ar token, agus baisceáil leanúnach, a ghrúpálann iarratais chomhthreomhara go huathoibríoch in ionad iad a phróiseáil ceann ar cheann.
Sa táirgeadh, cabhraíonn roinnt socruithe breise le tomhaltas cuimhne a theorannú:
docker run --gpus all --shm-size 1g \
-p 8080:80 \
-e HUGGING_FACE_HUB_TOKEN=$HF_TOKEN \
ghcr.io/huggingface/text-generation-inference:2.0.3 \
--model-id mistralai/Mistral-7B-Instruct-v0.3 \
--max-input-length 4096 \
--max-total-tokens 8192 \
--max-batch-prefill-tokens 4096 \
--quantize awq
Socraíonn --max-input-length fad uasta an leid, cuireann --max-total-tokens teorainn leis an leid agus an ghiniúint le chéile, agus cumasaíonn --quantize candamú chun lorg an GPU a laghdú. Cosnaíonn tú tú féin ó iarratas as gnáth fada a d’fhéadfadh cuimhne a sháithiú agus an tseirbhís a thabhairt anuas do chách nuair a dhéanann tú tiúnadh cruinn ar na luachanna seo.
Ar thaobh an chliaint, nochtann TGI API atá comhoiriúnach leis an gcliant Mistral agus leis an gcliant OpenAI araon, rud a ligeann duit cód atá ann cheana a athúsáid:
# Using the OpenAI client
from openai import OpenAI
client = OpenAI(
base_url="http://localhost:8080/v1",
api_key="not-needed"
)
response = client.chat.completions.create(
model="mistralai/Mistral-7B-Instruct-v0.3",
messages=[{"role": "user", "content": "Explain continuous batching."}],
max_tokens=512
)
print(response.choices[0].message.content)
Tá API dúchasach ar fáil fós do chomhtháthuithe nach n-úsáideann SDK:
# Using curl (TGI native API)
curl http://localhost:8080/generate \
-H "Content-Type: application/json" \
-d '{
"inputs": "Explain continuous batching.",
"parameters": {"max_new_tokens": 512}
}'
An Trí Innill a Chur i gComparáid
| Critéar | vLLM | TensorRT-LLM | TGI |
|---|---|---|---|
| Feidhmíocht | Ar fheabhas | Uasta | Maith |
| Éasca le hÚsáid | Simplí | Casta | Simplí |
| API OpenAI | Dúchasach | Trí Triton | Dúchasach |
| Candamú | FP8, AWQ | FP8, INT8, INT4 | GPTQ, AWQ |
| Il-GPU | Comhthreomhaireacht teansóra | Teansór + Píblíne | Comhthreomhaireacht teansóra |
| Tógáil Ag Teastáil | Níl | Tá (fada) | Níl |
| Crua-earraí | NVIDIA + AMD | NVIDIA amháin | NVIDIA + AMD |
Roghnú idir an Trí Cinn
Fanann vLLM mar an rogha réamhshocraithe, agus ar chúis mhaith: bíonn tú ag obair go tapa, tá API comhoiriúnach le OpenAI agat, agus is féidir leat samhlacha a athrú gan aon rud a aththógáil. Níl aon leas ag foireann atá fós sa chéim taiscéalaíochta aon rud eile a fhorchur uirthi féin.
Tá údar le TensorRT-LLM i gcás sonrach: samhail sheasta á freastal sa táirgeadh ag aschur an-ard, ar chrua-earraí NVIDIA go hiomlán, le foireann MLOps atá in ann an píblíne tógála a bhainistiú. Má tá aon cheann de na ceithre ghné seo in easnamh, caithfear an gnóthachan feidhmíochta 30% go 50% leis an am a chaitear ag cothabháil an tiomsaithe.
Ar deireadh, is é TGI an rogha nádúrtha má tá tú cheana féin san éiceachóras Hugging Face, más mian leat candamú gan cumraíocht bhreise, agus má tá tú ag lorg réiteach Docker simplí ar féidir le foireann gan speisialtóireacht inference glacadh leis.
Príomhphointí
- Tairgeann TensorRT-LLM an fheidhmíocht is fearr ach éilíonn sé tógáil shonrach in aghaidh gach GPU
- Is é TGI uirlis Hugging Face le candamú ionsuite, comhthreomhaireacht teansóra, agus baisceáil
- Fanann vLLM mar an comhréiteach is fearr idir feidhmíocht agus simplíocht don chuid is mó de chásanna úsáide
- Nochtann na trí hinnill API atá comhoiriúnach le OpenAI (go díreach nó trí Triton)
- Braitheann do rogha ar do mhéid, do chrua-earraí, agus do fhulaingt maidir le castacht