TensorRT-LLM и TGI
На тази страница
Алтернативи на vLLM
Въпреки че vLLM е препоръчителният двигател по подразбиране, две алтернативи заслужават Вашето внимание: TensorRT-LLM на NVIDIA за максимална производителност и TGI (Text Generation Inference) на Hugging Face за неговата интегрирана екосистема. И двете обслужват едни и същи модели на Mistral, но с противоположни философии – едното компилира, другото изпълнява. Този избор ангажира Вашата организация далеч отвъд първоначалното внедряване.
TensorRT-LLM
TensorRT-LLM е рамката за оптимизация на изводите (inference) на NVIDIA. Тя прави повече от простото зареждане на модел: компилира го в „двигател“, оптимизиран специално за Вашата GPU, осигурявайки най-добрата възможна производителност на хардуер на NVIDIA. Работният поток следователно се състои от две отделни стъпки: фаза на изграждане (build), която произвежда двигателя на TensorRT, последвана от фаза на обслужване (serve), която го внедрява чрез Triton Inference Server. Това разделение е ключът към всичко, което следва: печелите производителност по време на изграждането, а не по време на изпълнение.
# Step 1: Clone the TensorRT-LLM repository
git clone https://github.com/NVIDIA/TensorRT-LLM.git
cd TensorRT-LLM
# Step 2: Build the engine (Mistral 7B example)
# Mistral models use the LLaMA example from the repository
python examples/llama/convert_checkpoint.py \
--model_dir mistralai/Mistral-7B-Instruct-v0.3 \
--output_dir ./checkpoint \
--dtype float16
python -m tensorrt_llm.commands.build \
--checkpoint_dir ./checkpoint \
--output_dir ./engine \
--gemm_plugin float16
Ползите са измерими: в зависимост от случая на употреба, TensorRT-LLM се оказва с 30% до 50% по-бърз от vLLM. Той прилага оптимизации на ядрото, специфични за всяка GPU архитектура – Ampere, Hopper, Blackwell, предлага разширено квантуване във FP8, INT8 и INT4 с автоматична калибрация и обработва пакетиране в реално време (inflight batching) за максимизиране на пропускателната способност.
Компромисът е реален. Всеки модел трябва да бъде компилиран за Вашата конкретна GPU, а това компилиране отнема от тридесет минути до няколко часа в зависимост от модела. Промяната на моделите изисква ново изграждане, което прави процеса болезнен, ако все още тествате различни опции. Освен това работи само на хардуер на NVIDIA: няма преносимост към AMD или други платформи. От организационна гледна точка това означава, че екип, който итерира своя модел всяка седмица, ще прекарва повече време в компилиране, отколкото в обслужване.
След като двигателят е изграден, Triton поема контрола и излага услугата:
# Launch Triton Inference Server with the engine
docker run --rm --gpus all \
-v ./engine:/models/mistral/1 \
-p 8000:8000 \
nvcr.io/nvidia/tritonserver:latest \
tritonserver --model-repository=/models
TGI (Text Generation Inference)
TGI е инструментариумът за изводи на Hugging Face. Той заема междинна позиция: по-малко оптимизиран от TensorRT-LLM, но по-лесен за настройка и перфектно интегриран в екосистемата на Hugging Face, от която вероятно вече изтегляте теглата си. Внедряването изисква само една Docker команда:
docker run --gpus all --shm-size 1g \
-p 8080:80 \
-e HUGGING_FACE_HUB_TOKEN=$HF_TOKEN \
ghcr.io/huggingface/text-generation-inference:2.0.3 \
--model-id mistralai/Mistral-7B-Instruct-v0.3
Сървърът става достъпен на порт 8080, след като моделът се зареди. Той идва с вградено квантуване (GPTQ, AWQ, bitsandbytes), тензорен паралелизъм за разпределение на модела върху множество GPU, потоково предаване токен по токен и непрекъснато пакетиране (continuous batching), което автоматично групира едновременни заявки, вместо да ги обработва една след друга.
В производствена среда няколко допълнителни настройки помагат за ограничаване на потреблението на памет:
docker run --gpus all --shm-size 1g \
-p 8080:80 \
-e HUGGING_FACE_HUB_TOKEN=$HF_TOKEN \
ghcr.io/huggingface/text-generation-inference:2.0.3 \
--model-id mistralai/Mistral-7B-Instruct-v0.3 \
--max-input-length 4096 \
--max-total-tokens 8192 \
--max-batch-prefill-tokens 4096 \
--quantize awq
--max-input-length задава максималната дължина на подканата (prompt), --max-total-tokens ограничава комбинираната дължина на подканата и генерацията, а --quantize активира квантуването за намаляване на отпечатъка върху GPU. Прецизната настройка на тези стойности Ви предпазва от необичайно дълга заявка, която би могла да насити паметта и да спре услугата за всички.
От страна на клиента, TGI излага API, съвместим както с клиента на Mistral, така и с клиента на OpenAI, позволявайки Ви да използвате повторно съществуващ код:
# Using the OpenAI client
from openai import OpenAI
client = OpenAI(
base_url="http://localhost:8080/v1",
api_key="not-needed"
)
response = client.chat.completions.create(
model="mistralai/Mistral-7B-Instruct-v0.3",
messages=[{"role": "user", "content": "Explain continuous batching."}],
max_tokens=512
)
print(response.choices[0].message.content)
Налично е и родно API за интеграции, които не използват SDK:
# Using curl (TGI native API)
curl http://localhost:8080/generate \
-H "Content-Type: application/json" \
-d '{
"inputs": "Explain continuous batching.",
"parameters": {"max_new_tokens": 512}
}'
Сравнение на трите двигателя
| Критерий | vLLM | TensorRT-LLM | TGI |
|---|---|---|---|
| Производителност | Отлична | Максимална | Добра |
| Леснота на използване | Проста | Сложна | Проста |
| OpenAI API | Родно | Чрез Triton | Родно |
| Квантуване | FP8, AWQ | FP8, INT8, INT4 | GPTQ, AWQ |
| Множество GPU | Тензорен паралелизъм | Тензорен + Пайплайн | Тензорен паралелизъм |
| Необходимо изграждане | Не | Да (дълго) | Не |
| Хардуер | NVIDIA + AMD | Само NVIDIA | NVIDIA + AMD |
Избор между трите
vLLM остава изборът по подразбиране и с добра причина: стартирате бързо, разполагате с API, съвместимо с OpenAI, и можете да превключвате модели, без да преизграждате нищо. Екип, който все още е във фаза на проучване, няма интерес да си налага нищо друго.
TensorRT-LLM е оправдан в конкретен сценарий: фиксиран модел, обслужван в производство при много висока пропускателна способност, изключително на хардуер на NVIDIA, с екип по MLOps, способен да управлява пайплайна за изграждане. Ако липсва който и да е от тези четири елемента, печалбата от производителност от 30% до 50% ще бъде погълната от времето, прекарано в поддържане на компилацията.
Накрая, TGI е естественият избор, ако вече живеете в екосистемата на Hugging Face, искате квантуване без допълнителна конфигурация и търсите просто Docker решение, което екип без специализация в изводите може да приеме.
Ключови изводи
- TensorRT-LLM предлага най-добрата производителност, но изисква специфично изграждане за всяка GPU
- TGI е инструментариумът на Hugging Face с вградено квантуване, тензорен паралелизъм и пакетиране
- vLLM остава най-добрият компромис между производителност и простота за повечето случаи на употреба
- И трите двигателя излагат API, съвместимо с OpenAI (директно или чрез Triton)
- Вашият избор зависи от Вашия обем, хардуер и толерантност към сложност