TensorRT-LLM un TGI
Šajā lapā
Alternatīvas vLLM
Lai gan vLLM ir ieteicamais noklusējuma dzinējs, divas alternatīvas ir pelnījušas tavu uzmanību: NVIDIA TensorRT-LLM maksimālai veiktspējai un Hugging Face TGI (Text Generation Inference) tā integrētās ekosistēmas dēļ. Abi risinājumi apkalpo tos pašus Mistral modeļus, taču balstās uz pretējām filozofijām – viens kompilē, otrs izpilda. Šī izvēle saista tavu organizāciju ilgi pēc sākotnējās izvietošanas.
TensorRT-LLM
TensorRT-LLM ir NVIDIA secinājumu optimizācijas ietvars. Tas nedara tikai to, ka ielādē modeli: tas to kompilē „dzinējā”, kas optimizēts tieši tavam GPU, nodrošinot labāko iespējamo veiktspēju NVIDIA aparatūrā. Darba plūsma tāpēc sastāv no diviem atšķirīgiem posmiem: būves (build) fāze, kas ģenerē TensorRT dzinēju, kam seko apkalpošanas (serve) fāze, kas to izvieto, izmantojot Triton Inference Server. Šī atdalīšana ir visu turpmāko procesu atslēga: veiktspējas pieaugumu tu iegūsti būves laikā, nevis izpildes laikā.
# Step 1: Clone the TensorRT-LLM repository
git clone https://github.com/NVIDIA/TensorRT-LLM.git
cd TensorRT-LLM
# Step 2: Build the engine (Mistral 7B example)
# Mistral models use the LLaMA example from the repository
python examples/llama/convert_checkpoint.py \
--model_dir mistralai/Mistral-7B-Instruct-v0.3 \
--output_dir ./checkpoint \
--dtype float16
python -m tensorrt_llm.commands.build \
--checkpoint_dir ./checkpoint \
--output_dir ./engine \
--gemm_plugin float16
Ieguvumi ir izmērāmi: atkarībā no lietojuma gadījuma TensorRT-LLM ir par 30% līdz 50% ātrāks nekā vLLM. Tas pielieto kodola optimizācijas, kas specifiskas katrai GPU arhitektūrai (Ampere, Hopper, Blackwell), piedāvā uzlabotu kvantēšanu formātos FP8, INT8 un INT4 ar automātisku kalibrēšanu, kā arī apstrādā „inflight” batching, lai maksimāli palielinātu caurlaidspēju.
Kompromiss ir reāls. Katrs models ir jākompilē tavam konkrētajam GPU, un šī kompilēšana ilgst no trīsdesmit minūtēm līdz vairākām stundām atkarībā no modeļa. Modeļa maiņa prasa jaunu būvi, padarot procesu sāpīgu, ja joprojām testē dažādas opcijas. Turklāt tas darbojas tikai uz NVIDIA aparatūras: nav pārnēsājamības uz AMD vai citām platformām. Organizatoriskā ziņā tas nozīmē, ka komanda, kas katru nedēļu iterē savu modeli, vairāk laika pavadīs kompilējot, nevis apkalpojot.
Kad dzinējs ir uzbūvēts, Triton pārņem vadību un eksponē servisu:
# Launch Triton Inference Server with the engine
docker run --rm --gpus all \
-v ./engine:/models/mistral/1 \
-p 8000:8000 \
nvcr.io/nvidia/tritonserver:latest \
tritonserver --model-repository=/models
TGI (Text Generation Inference)
TGI ir Hugging Face secinājumu rīkkopa. Tā ieņem vidusceļu: mazāk optimizēta nekā TensorRT-LLM, bet vienkāršāk iestatāma un perfekti integrēta Hugging Face ekosistēmā, no kuras tu, visticamāk, jau lejupielādē savus svarus. Izvietošanai pietiek ar vienu Docker komandu:
docker run --gpus all --shm-size 1g \
-p 8080:80 \
-e HUGGING_FACE_HUB_TOKEN=$HF_TOKEN \
ghcr.io/huggingface/text-generation-inference:2.0.3 \
--model-id mistralai/Mistral-7B-Instruct-v0.3
Serveris kļūst pieejams portā 8080, tiklīdz models ir ielādēts. Tas nāk ar iebūvētu kvantēšanu (GPTQ, AWQ, bitsandbytes), tenzoru paralēlismu modeļa sadalei starp vairākiem GPU, token-pa-token straumēšanu un nepārtrauktu batching, kas automātiski grupē vienlaicīgus pieprasījumus, nevis apstrādā tos vienu pēc otra.
Produkcijas vidē daži papildu iestatījumi palīdz ierobežot atmiņas patēriņu:
docker run --gpus all --shm-size 1g \
-p 8080:80 \
-e HUGGING_FACE_HUB_TOKEN=$HF_TOKEN \
ghcr.io/huggingface/text-generation-inference:2.0.3 \
--model-id mistralai/Mistral-7B-Instruct-v0.3 \
--max-input-length 4096 \
--max-total-tokens 8192 \
--max-batch-prefill-tokens 4096 \
--quantize awq
--max-input-length nosaka maksimālo uzvednes (prompt) garumu, --max-total-tokens ierobežo kopējo uzvednes un ģenerācijas apjomu, bet --quantize aktivizē kvantēšanu, lai samazinātu GPU atmiņas footprintu. Precīza šo vērtību pielāgošana pasargā tevi no neparasti gariem pieprasījumiem, kas varētu piesātināt atmiņu un apturēt servisu visiem lietotājiem.
Klienta pusē TGI eksponē API, kas ir saderīgs gan ar Mistral klientu, gan OpenAI klientu, ļaujot atkārtoti izmantot esošo kodu:
# Using the OpenAI client
from openai import OpenAI
client = OpenAI(
base_url="http://localhost:8080/v1",
api_key="not-needed"
)
response = client.chat.completions.create(
model="mistralai/Mistral-7B-Instruct-v0.3",
messages=[{"role": "user", "content": "Explain continuous batching."}],
max_tokens=512
)
print(response.choices[0].message.content)
Ir pieejams arī natīvais API integrācijām, kas neizmanto SDK:
# Using curl (TGI native API)
curl http://localhost:8080/generate \
-H "Content-Type: application/json" \
-d '{
"inputs": "Explain continuous batching.",
"parameters": {"max_new_tokens": 512}
}'
Trīs dzinēju salīdzinājums
| Kritērijs | vLLM | TensorRT-LLM | TGI |
|---|---|---|---|
| Veiktspēja | Lieliska | Maksimāla | laba |
| Lietošanas ērtums | Vienkāršs | Sarežģīts | Vienkāršs |
| OpenAI API | Natīvs | Caur Triton | Natīvs |
| Kvantēšana | FP8, AWQ | FP8, INT8, INT4 | GPTQ, AWQ |
| Vairāki GPU | Tenzoru paralēlisms | Tenzoru + konveijera | Tenzoru paralēlisms |
| Nepieciešama būve | Nē | Jā (ilga) | Nē |
| Aparatūra | NVIDIA + AMD | Tikai NVIDIA | NVIDIA + AMD |
Izvēle starp trim
vLLM paliek noklusējuma izvēle, un tam ir labs iemesls: tu ātri sāc darbu, tev ir OpenAI saderīgs API, un tu vari mainīt modeļus, neko no jauna nebūvējot. Komandai, kas joprojām atrodas izpētes fāzē, nav jēgas uzspiest sev kaut ko citu.
TensorRT-LLM ir attaisnojams konkrētā scenārijā: fiksēts models, kas tiek apkalpots produkcijā ar ļoti augstu caurlaidspēju, izmantojot tikai NVIDIA aparatūru, un kur ir MLOps komanda, kas spēj pārvaldīt būves konveijeru. Ja trūkst kaut vai viens no šiem četriem elementiem, 30% līdz 50% veiktspējas pieaugumu „apēdīs” laiks, kas pavadīts kompilācijas uzturēšanai.
Visbeidzot, TGI ir dabiskā izvēle, ja jau dzīvo Hugging Face ekosistēmā, vēlies kvantēšanu bez papildu konfigurācijas un meklē vienkāršu Docker risinājumu, ko var pieņemt komanda bez secinājumu specializācijas.
Galvenās atziņas
- TensorRT-LLM piedāvā labāko veiktspēju, taču prasa specifisku būvi katram GPU
- TGI ir Hugging Face rīkkopa ar iebūvētu kvantēšanu, tenzoru paralēlismu un batching
- vLLM paliek labākais kompromiss starp veiktspēju un vienkāršību vairumam lietojuma gadījumu
- Visi trīs dzinēji eksponē OpenAI saderīgu API (tieši vai caur Triton)
- Tava izvēle ir atkarīga no apjoma, aparatūras un tolerances pret sarežģītību