Ir al contenido principal
Español— Elegir un idioma
Menú

TensorRT-LLM y TGI

Lección 12 de 14 Actualizado el 29 de julio de 2026 Avanzado
En esta página
  1. Alternativas a vLLM
  2. TensorRT-LLM
  3. TGI (Text Generation Inference)
  4. Comparación de los tres motores
  5. Cómo elegir entre los tres
  6. Puntos clave

Alternativas a vLLM

Aunque vLLM es el motor predeterminado recomendado, hay dos alternativas que merecen tu atención: TensorRT-LLM de NVIDIA, para obtener el máximo rendimiento, y TGI (Text Generation Inference) de Hugging Face, por su ecosistema integrado. Ambos sirven los mismos modelos de Mistral, pero con filosofías opuestas: uno compila, el otro ejecuta. Esta elección compromete a tu organización mucho más allá del despliegue inicial.

TensorRT-LLM

TensorRT-LLM es el marco de optimización de inferencia de NVIDIA. No se limita a cargar un modelo: lo compila en un «motor» optimizado específicamente para tu GPU, ofreciendo el mejor rendimiento posible en hardware de NVIDIA. Por tanto, el flujo de trabajo consta de dos pasos diferenciados: una fase de construcción que genera el motor TensorRT, seguida de una fase de servicio que lo despliega mediante Triton Inference Server. Esta separación es la clave de todo lo que sigue: ganas rendimiento en tiempo de construcción, no en tiempo de ejecución.

# Paso 1: Clonar el repositorio de TensorRT-LLM
git clone https://github.com/NVIDIA/TensorRT-LLM.git
cd TensorRT-LLM

# Paso 2: Construir el motor (ejemplo con Mistral 7B)
# Los modelos Mistral usan el ejemplo LLaMA del repositorio
python examples/llama/convert_checkpoint.py \
    --model_dir mistralai/Mistral-7B-Instruct-v0.3 \
    --output_dir ./checkpoint \
    --dtype float16

python -m tensorrt_llm.commands.build \
    --checkpoint_dir ./checkpoint \
    --output_dir ./engine \
    --gemm_plugin float16

Las ganancias son medibles: según el caso de uso, TensorRT-LLM demuestra ser entre un 30 % y un 50 % más rápido que vLLM. Aplica optimizaciones de kernel específicas para cada arquitectura de GPU (Ampere, Hopper, Blackwell), ofrece cuantización avanzada en FP8, INT8 e INT4 con calibración automática y gestiona el agrupamiento en vuelo (inflight batching) para maximizar el rendimiento.

La contrapartida es real. Cada modelo debe compilarse para tu GPU específica, y esta compilación tarda desde treinta minutos hasta varias horas, dependiendo del modelo. Cambiar de modelo exige una nueva construcción, lo que hace el proceso tedioso si aún estás probando distintas opciones. Además, solo funciona en hardware de NVIDIA: no hay portabilidad a AMD ni a otras plataformas. En términos organizativos, esto significa que un equipo que itere sobre su modelo cada semana pasará más tiempo compilando que sirviendo.

Una vez construido el motor, Triton toma el relevo y expone el servicio:

# Iniciar Triton Inference Server con el motor
docker run --rm --gpus all \
    -v ./engine:/models/mistral/1 \
    -p 8000:8000 \
    nvcr.io/nvidia/tritonserver:latest \
    tritonserver --model-repository=/models

TGI (Text Generation Inference)

TGI es el kit de herramientas de inferencia de Hugging Face. Ocupa un punto intermedio: menos optimizado que TensorRT-LLM, pero más sencillo de configurar y perfectamente integrado en el ecosistema de Hugging Face, del que probablemente ya descargas los pesos. El despliegue requiere un único comando de Docker:

docker run --gpus all --shm-size 1g \
    -p 8080:80 \
    -e HUGGING_FACE_HUB_TOKEN=$HF_TOKEN \
    ghcr.io/huggingface/text-generation-inference:2.0.3 \
    --model-id mistralai/Mistral-7B-Instruct-v0.3

El servidor queda accesible en el puerto 8080 una vez cargado el modelo. Incluye cuantización integrada (GPTQ, AWQ, bitsandbytes), paralelismo de tensores para distribuir el modelo entre varias GPU, transmisión token a token y agrupamiento continuo (continuous batching), que agrupa automáticamente las solicitudes concurrentes en lugar de procesarlas una tras otra.

En producción, algunos ajustes adicionales ayudan a limitar el consumo de memoria:

docker run --gpus all --shm-size 1g \
    -p 8080:80 \
    -e HUGGING_FACE_HUB_TOKEN=$HF_TOKEN \
    ghcr.io/huggingface/text-generation-inference:2.0.3 \
    --model-id mistralai/Mistral-7B-Instruct-v0.3 \
    --max-input-length 4096 \
    --max-total-tokens 8192 \
    --max-batch-prefill-tokens 4096 \
    --quantize awq

--max-input-length establece la longitud máxima del prompt, --max-total-tokens limita la suma del prompt y la generación, y --quantize activa la cuantización para reducir la huella en la GPU. Ajustar estos valores con precisión te protege de una solicitud inusualmente larga que podría saturar la memoria y dejar el servicio inoperativo para todos.

En el lado del cliente, TGI expone una API compatible tanto con el cliente de Mistral como con el de OpenAI, lo que te permite reutilizar código existente:

# Uso del cliente de OpenAI
from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:8080/v1",
    api_key="not-needed"
)

response = client.chat.completions.create(
    model="mistralai/Mistral-7B-Instruct-v0.3",
    messages=[{"role": "user", "content": "Explica el agrupamiento continuo."}],
    max_tokens=512
)
print(response.choices[0].message.content)

También está disponible una API nativa para integraciones que no usen un SDK:

# Uso de curl (API nativa de TGI)
curl http://localhost:8080/generate \
    -H "Content-Type: application/json" \
    -d '{
        "inputs": "Explica el agrupamiento continuo.",
        "parameters": {"max_new_tokens": 512}
    }'

Comparación de los tres motores

CriteriovLLMTensorRT-LLMTGI
RendimientoExcelenteMáximoBueno
Facilidad de usoSencillaComplejaSencilla
API de OpenAINativaVía TritonNativa
CuantizaciónFP8, AWQFP8, INT8, INT4GPTQ, AWQ
Varias GPUParalelismo de tensoresTensores + CanalizaciónParalelismo de tensores
Construcción necesariaNoSí (larga)No
HardwareNVIDIA + AMDSolo NVIDIANVIDIA + AMD

Cómo elegir entre los tres

vLLM sigue siendo la opción predeterminada, y con buena razón: te pones en marcha rápidamente, dispones de una API compatible con OpenAI y puedes cambiar de modelo sin necesidad de reconstruir nada. Un equipo que aún esté en fase de exploración no tiene interés en imponerse ninguna otra opción.

TensorRT-LLM se justifica en un escenario concreto: un modelo fijo servido en producción con un rendimiento muy alto, exclusivamente en hardware de NVIDIA y con un equipo de MLOps capaz de gestionar la canalización de construcción. Si falta cualquiera de estos cuatro elementos, la ganancia de rendimiento del 30 % al 50 % se verá compensada por el tiempo dedicado a mantener la compilación.

Por último, TGI es la elección natural si ya trabajas en el ecosistema de Hugging Face, quieres cuantización sin configuración adicional y buscas una solución sencilla basada en Docker que pueda adoptar un equipo sin especialización en inferencia.

Puntos clave

  • TensorRT-LLM ofrece el mejor rendimiento, pero requiere una construcción específica por GPU
  • TGI es el kit de herramientas de Hugging Face con cuantización integrada, paralelismo de tensores y agrupamiento
  • vLLM sigue siendo el mejor compromiso entre rendimiento y sencillez para la mayoría de los casos de uso
  • Los tres motores exponen una API compatible con OpenAI (directamente o mediante Triton)
  • Tu elección depende de tu volumen, hardware y tolerancia a la complejidad