Μετάβαση στο κύριο περιεχόμενο
Ελληνικά— Επιλέξτε γλώσσα
Μενού

TensorRT-LLM και TGI

Μάθημα 12 / 14 Ενημερώθηκε 29 Ιουλίου 2026 Προχωρημένος
Σε αυτήν τη σελίδα
  1. Εναλλακτικές λύσεις έναντι του vLLM
  2. TensorRT-LLM
  3. TGI (Text Generation Inference)
  4. Σύγκριση των Τριών Μηχανών
  5. Επιλογή Μεταξύ των Τριών
  6. Βασικά σημεία

Εναλλακτικές λύσεις έναντι του vLLM

Παρόλο που το vLLM αποτελεί την προτεινόμενη προεπιλογή, δύο εναλλακτικές αξίζουν την προσοχή σας: το TensorRT-LLM της NVIDIA για μέγιστη απόδοση και το TGI (Text Generation Inference) της Hugging Face για το ολοκληρωμένο οικοσύστημά του. Και τα δύο εξυπηρετούν τα ίδια μοντέλα Mistral, αλλά ακολουθούν αντίθετες φιλοσοφίες: το ένα μεταγλωττίζει, το άλλο εκτελεί. Η επιλογή αυτή δεσμεύει τον οργανισμό σας πολύ πέρα από την αρχική ανάπτυξη.

TensorRT-LLM

Το TensorRT-LLM είναι το πλαίσιο βελτιστοποίησης συμπερασμάτων (inference) της NVIDIA. Δεν περιορίζεται στην απλή φόρτωση ενός μοντέλου: το μεταγλωττίζει σε έναν «μηχανισμό» (engine) βελτιστοποιημένο ειδικά για την κάρτα γραφικών σας, προσφέροντας την καλύτερη δυνατή απόδοση σε υλικό NVIDIA. Η ροή εργασίας αποτελείται επομένως από δύο διακριτά βήματα: μια φάση build που παράγει τον μηχανισμό TensorRT, ακολουθούμενη από μια φάση serve που τον αναπτύσσει μέσω του Triton Inference Server. Αυτός ο διαχωρισμός είναι καθοριστικός για ό,τι ακολουθεί: κερδίζετε απόδοση κατά τη μεταγλώττιση, όχι κατά τον χρόνο εκτέλεσης.

# Step 1: Clone the TensorRT-LLM repository
git clone https://github.com/NVIDIA/TensorRT-LLM.git
cd TensorRT-LLM

# Step 2: Build the engine (Mistral 7B example)
# Mistral models use the LLaMA example from the repository
python examples/llama/convert_checkpoint.py \
    --model_dir mistralai/Mistral-7B-Instruct-v0.3 \
    --output_dir ./checkpoint \
    --dtype float16

python -m tensorrt_llm.commands.build \
    --checkpoint_dir ./checkpoint \
    --output_dir ./engine \
    --gemm_plugin float16

Τα οφέλη είναι μετρήσιμα: ανάλογα με τη χρήση, το TensorRT-LLM αποδεικνύεται 30% έως 50% ταχύτερο από το vLLM. Εφαρμόζει βελτιστοποιήσεις πυρήνα (kernels) ειδικές για κάθε αρχιτεκτονική GPU—Ampere, Hopper, Blackwell—προσφέρει προηγμένη κβάντωση σε FP8, INT8 και INT4 με αυτόματη βαθμονόμηση και διαχειρίζεται το inflight batching για τη μεγιστοποίηση της απόδοσης.

Το αντάλλαγμα είναι υπαρκτό. Κάθε μοντέλο πρέπει να μεταγλωττίζεται για τη συγκεκριμένη GPU σας και αυτή η διαδικασία διαρκεί από τριάντα λεπτά έως αρκετές ώρες, ανάλογα με το μοντέλο. Η αλλαγή μοντέλου απαιτεί νέα μεταγλώττιση, καθιστώντας τη διαδικασία επώδυνη εάν δοκιμάζετε ακόμη διαφορετικές επιλογές. Επιπλέον, λειτουργεί μόνο σε υλικό NVIDIA: δεν υπάρχει φορητότητα σε πλατφόρμες AMD ή άλλες. Σε οργανωτικούς όρους, αυτό σημαίνει ότι μια ομάδα που επαναλαμβάνει το μοντέλο της κάθε εβδομάδα θα ξοδεύει περισσότερο χρόνο στη μεταγλώττιση παρά στην εξυπηρέτηση.

Μόλις χτιστεί ο μηχανισμός, το Triton αναλαμβάνει και εκθέτει την υπηρεσία:

# Launch Triton Inference Server with the engine
docker run --rm --gpus all \
    -v ./engine:/models/mistral/1 \
    -p 8000:8000 \
    nvcr.io/nvidia/tritonserver:latest \
    tritonserver --model-repository=/models

TGI (Text Generation Inference)

Το TGI είναι το εργαλείο συμπερασμάτων της Hugging Face. Καταλαμβάνει μια ενδιάμεση θέση: λιγότερο βελτιστοποιημένο από το TensorRT-LLM, αλλά απλούστερο στη ρύθμιση και απόλυτα ενσωματωμένο στο οικοσύστημα της Hugging Face, από το οποίο πιθανότατα λαμβάνετε ήδη τα βάρη σας. Η ανάπτυξη απαιτεί μόνο μία εντολή Docker:

docker run --gpus all --shm-size 1g \
    -p 8080:80 \
    -e HUGGING_FACE_HUB_TOKEN=$HF_TOKEN \
    ghcr.io/huggingface/text-generation-inference:2.0.3 \
    --model-id mistralai/Mistral-7B-Instruct-v0.3

Ο διακομιστής γίνεται προσβάσιμος στη θύρα 8080 μόλις φορτώσει το μοντέλο. Διαθέτει ενσωματωμένη κβάντωση (GPTQ, AWQ, bitsandbytes), παραλληλισμό τανυστών (tensor parallelism) για την κατανομή του μοντέλου σε πολλαπλές GPU, ροή token-by-token και συνεχή ομαδοποίηση (continuous batching), η οποία ομαδοποιεί αυτόματα τα ταυτόχρονα αιτήματα αντί να τα επεξεργάζεται το ένα μετά το άλλο.

Σε περιβάλλον παραγωγής, μερικές πρόσθετες ρυθμίσεις βοηθούν στον περιορισμό της κατανάλωσης μνήμης:

docker run --gpus all --shm-size 1g \
    -p 8080:80 \
    -e HUGGING_FACE_HUB_TOKEN=$HF_TOKEN \
    ghcr.io/huggingface/text-generation-inference:2.0.3 \
    --model-id mistralai/Mistral-7B-Instruct-v0.3 \
    --max-input-length 4096 \
    --max-total-tokens 8192 \
    --max-batch-prefill-tokens 4096 \
    --quantize awq

Το --max-input-length ορίζει το μέγιστο μήκος prompt, το --max-total-tokens θέτει όριο στον συνδυασμό prompt και παραγωγής, και το --quantize ενεργοποιεί την κβάντωση για τη μείωση του αποτυπώματος στη GPU. Η ακριβής ρύθμιση αυτών των τιμών σας προστατεύει από ασυνήθιστα μεγάλα αιτήματα που θα μπορούσαν να κορέσουν τη μνήμη και να διακόψουν την υπηρεσία για όλους.

Στην πλευρά του πελάτη, το TGI εκθέτει ένα API συμβατό τόσο με τον πελάτη Mistral όσο και με τον πελάτη OpenAI, επιτρέποντάς σας να επαναχρησιμοποιήσετε υπάρχοντα κώδικα:

# Using the OpenAI client
from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:8080/v1",
    api_key="not-needed"
)

response = client.chat.completions.create(
    model="mistralai/Mistral-7B-Instruct-v0.3",
    messages=[{"role": "user", "content": "Explain continuous batching."}],
    max_tokens=512
)
print(response.choices[0].message.content)

Διατίθεται επίσης ένα εγγενές API για ενσωματώσεις που δεν χρησιμοποιούν SDK:

# Using curl (TGI native API)
curl http://localhost:8080/generate \
    -H "Content-Type: application/json" \
    -d '{
        "inputs": "Explain continuous batching.",
        "parameters": {"max_new_tokens": 512}
    }'

Σύγκριση των Τριών Μηχανών

ΚριτήριοvLLMTensorRT-LLMTGI
ΑπόδοσηΕξαιρετικήΜέγιστηΚαλή
Ευκολία ΧρήσηςΑπλήΣύνθετηΑπλή
OpenAI APIΕγγενέςΜέσω TritonΕγγενές
ΚβάντωσηFP8, AWQFP8, INT8, INT4GPTQ, AWQ
Πολλαπλές GPUΠαραλληλισμός τανυστώνΤανυστής + PipelineΠαραλληλισμός τανυστών
Απαιτείται BuildΌχιΝαι (μακρύ)Όχι
ΥλικόNVIDIA + AMDΜόνο NVIDIANVIDIA + AMD

Επιλογή Μεταξύ των Τριών

Το vLLM παραμένει η προεπιλεγμένη επιλογή, και για καλό λόγο: ξεκινάτε γρήγορα, έχετε ένα API συμβατό με το OpenAI και μπορείτε να αλλάζετε μοντέλα χωρίς να ξαναχτίζετε τίποτα. Μια ομάδα που βρίσκεται ακόμη σε φάση εξερεύνησης δεν έχει κανένα συμφέρον να επιβάλει κάτι άλλο στον εαυτό της.

Το TensorRT-LLM δικαιολογείται σε ένα συγκεκριμένο σενάριο: ένα σταθερό μοντέλο που εξυπηρετείται σε παραγωγή με πολύ υψηλή απόδοση, σε αποκλειστικά υλικό NVIDIA, με μια ομάδα MLOps ικανή να διαχειριστεί τη ροή μεταγλώττισης. Εάν λείπει έστω και ένα από αυτά τα τέσσερα στοιχεία, το κέρδος απόδοσης 30% έως 50% θα καταναλωθεί από τον χρόνο που δαπανάται για τη συντήρηση της μεταγλώττισης.

Τέλος, το TGI είναι η φυσική επιλογή εάν ζείτε ήδη στο οικοσύστημα της Hugging Face, θέλετε κβάντωση χωρίς πρόσθετη διαμόρφωση και αναζητάτε μια απλή λύση Docker που μπορεί να υιοθετήσει μια ομάδα χωρίς εξειδίκευση στα συμπεράσματα.

Βασικά σημεία

  • Το TensorRT-LLM προσφέρει την καλύτερη απόδοση αλλά απαιτεί συγκεκριμένη μεταγλώττιση ανά GPU
  • Το TGI είναι το εργαλείο της Hugging Face με ενσωματωμένη κβάντωση, παραλληλισμό τανυστών και ομαδοποίηση
  • Το vLLM παραμένει ο καλύτερος συμβιβασμός μεταξύ απόδοσης και απλότητας για τις περισσότερες περιπτώσεις χρήσης
  • Και οι τρεις μηχανές εκθέτουν ένα API συμβατό με το OpenAI (άμεσα ή μέσω Triton)
  • Η επιλογή σας εξαρτάται από τον όγκο, το υλικό και την ανοχή σας στην πολυπλοκότητα