Премини към основното съдържание
Български— Изберете език
Меню

TensorRT-LLM и TGI

Урок 12 от 14 Обновен 29 юли 2026 г. Напреднало
На тази страница
  1. Алтернативи на vLLM
  2. TensorRT-LLM
  3. TGI (Text Generation Inference)
  4. Сравнение на трите двигателя
  5. Избор между трите
  6. Ключови изводи

Алтернативи на vLLM

Въпреки че vLLM е препоръчителният двигател по подразбиране, две алтернативи заслужават Вашето внимание: TensorRT-LLM на NVIDIA за максимална производителност и TGI (Text Generation Inference) на Hugging Face за неговата интегрирана екосистема. И двете обслужват едни и същи модели на Mistral, но с противоположни философии – едното компилира, другото изпълнява. Този избор ангажира Вашата организация далеч отвъд първоначалното внедряване.

TensorRT-LLM

TensorRT-LLM е рамката за оптимизация на изводите (inference) на NVIDIA. Тя прави повече от простото зареждане на модел: компилира го в „двигател“, оптимизиран специално за Вашата GPU, осигурявайки най-добрата възможна производителност на хардуер на NVIDIA. Работният поток следователно се състои от две отделни стъпки: фаза на изграждане (build), която произвежда двигателя на TensorRT, последвана от фаза на обслужване (serve), която го внедрява чрез Triton Inference Server. Това разделение е ключът към всичко, което следва: печелите производителност по време на изграждането, а не по време на изпълнение.

# Step 1: Clone the TensorRT-LLM repository
git clone https://github.com/NVIDIA/TensorRT-LLM.git
cd TensorRT-LLM

# Step 2: Build the engine (Mistral 7B example)
# Mistral models use the LLaMA example from the repository
python examples/llama/convert_checkpoint.py \
    --model_dir mistralai/Mistral-7B-Instruct-v0.3 \
    --output_dir ./checkpoint \
    --dtype float16

python -m tensorrt_llm.commands.build \
    --checkpoint_dir ./checkpoint \
    --output_dir ./engine \
    --gemm_plugin float16

Ползите са измерими: в зависимост от случая на употреба, TensorRT-LLM се оказва с 30% до 50% по-бърз от vLLM. Той прилага оптимизации на ядрото, специфични за всяка GPU архитектура – Ampere, Hopper, Blackwell, предлага разширено квантуване във FP8, INT8 и INT4 с автоматична калибрация и обработва пакетиране в реално време (inflight batching) за максимизиране на пропускателната способност.

Компромисът е реален. Всеки модел трябва да бъде компилиран за Вашата конкретна GPU, а това компилиране отнема от тридесет минути до няколко часа в зависимост от модела. Промяната на моделите изисква ново изграждане, което прави процеса болезнен, ако все още тествате различни опции. Освен това работи само на хардуер на NVIDIA: няма преносимост към AMD или други платформи. От организационна гледна точка това означава, че екип, който итерира своя модел всяка седмица, ще прекарва повече време в компилиране, отколкото в обслужване.

След като двигателят е изграден, Triton поема контрола и излага услугата:

# Launch Triton Inference Server with the engine
docker run --rm --gpus all \
    -v ./engine:/models/mistral/1 \
    -p 8000:8000 \
    nvcr.io/nvidia/tritonserver:latest \
    tritonserver --model-repository=/models

TGI (Text Generation Inference)

TGI е инструментариумът за изводи на Hugging Face. Той заема междинна позиция: по-малко оптимизиран от TensorRT-LLM, но по-лесен за настройка и перфектно интегриран в екосистемата на Hugging Face, от която вероятно вече изтегляте теглата си. Внедряването изисква само една Docker команда:

docker run --gpus all --shm-size 1g \
    -p 8080:80 \
    -e HUGGING_FACE_HUB_TOKEN=$HF_TOKEN \
    ghcr.io/huggingface/text-generation-inference:2.0.3 \
    --model-id mistralai/Mistral-7B-Instruct-v0.3

Сървърът става достъпен на порт 8080, след като моделът се зареди. Той идва с вградено квантуване (GPTQ, AWQ, bitsandbytes), тензорен паралелизъм за разпределение на модела върху множество GPU, потоково предаване токен по токен и непрекъснато пакетиране (continuous batching), което автоматично групира едновременни заявки, вместо да ги обработва една след друга.

В производствена среда няколко допълнителни настройки помагат за ограничаване на потреблението на памет:

docker run --gpus all --shm-size 1g \
    -p 8080:80 \
    -e HUGGING_FACE_HUB_TOKEN=$HF_TOKEN \
    ghcr.io/huggingface/text-generation-inference:2.0.3 \
    --model-id mistralai/Mistral-7B-Instruct-v0.3 \
    --max-input-length 4096 \
    --max-total-tokens 8192 \
    --max-batch-prefill-tokens 4096 \
    --quantize awq

--max-input-length задава максималната дължина на подканата (prompt), --max-total-tokens ограничава комбинираната дължина на подканата и генерацията, а --quantize активира квантуването за намаляване на отпечатъка върху GPU. Прецизната настройка на тези стойности Ви предпазва от необичайно дълга заявка, която би могла да насити паметта и да спре услугата за всички.

От страна на клиента, TGI излага API, съвместим както с клиента на Mistral, така и с клиента на OpenAI, позволявайки Ви да използвате повторно съществуващ код:

# Using the OpenAI client
from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:8080/v1",
    api_key="not-needed"
)

response = client.chat.completions.create(
    model="mistralai/Mistral-7B-Instruct-v0.3",
    messages=[{"role": "user", "content": "Explain continuous batching."}],
    max_tokens=512
)
print(response.choices[0].message.content)

Налично е и родно API за интеграции, които не използват SDK:

# Using curl (TGI native API)
curl http://localhost:8080/generate \
    -H "Content-Type: application/json" \
    -d '{
        "inputs": "Explain continuous batching.",
        "parameters": {"max_new_tokens": 512}
    }'

Сравнение на трите двигателя

КритерийvLLMTensorRT-LLMTGI
ПроизводителностОтличнаМаксималнаДобра
Леснота на използванеПростаСложнаПроста
OpenAI APIРодноЧрез TritonРодно
КвантуванеFP8, AWQFP8, INT8, INT4GPTQ, AWQ
Множество GPUТензорен паралелизъмТензорен + ПайплайнТензорен паралелизъм
Необходимо изгражданеНеДа (дълго)Не
ХардуерNVIDIA + AMDСамо NVIDIANVIDIA + AMD

Избор между трите

vLLM остава изборът по подразбиране и с добра причина: стартирате бързо, разполагате с API, съвместимо с OpenAI, и можете да превключвате модели, без да преизграждате нищо. Екип, който все още е във фаза на проучване, няма интерес да си налага нищо друго.

TensorRT-LLM е оправдан в конкретен сценарий: фиксиран модел, обслужван в производство при много висока пропускателна способност, изключително на хардуер на NVIDIA, с екип по MLOps, способен да управлява пайплайна за изграждане. Ако липсва който и да е от тези четири елемента, печалбата от производителност от 30% до 50% ще бъде погълната от времето, прекарано в поддържане на компилацията.

Накрая, TGI е естественият избор, ако вече живеете в екосистемата на Hugging Face, искате квантуване без допълнителна конфигурация и търсите просто Docker решение, което екип без специализация в изводите може да приеме.

Ключови изводи

  • TensorRT-LLM предлага най-добрата производителност, но изисква специфично изграждане за всяка GPU
  • TGI е инструментариумът на Hugging Face с вградено квантуване, тензорен паралелизъм и пакетиране
  • vLLM остава най-добрият компромис между производителност и простота за повечето случаи на употреба
  • И трите двигателя излагат API, съвместимо с OpenAI (директно или чрез Triton)
  • Вашият избор зависи от Вашия обем, хардуер и толерантност към сложност