Ir al contenido principal
Español— Elegir un idioma
Menú

Infraestructura y GPU

Lección 13 de 14 Actualizado el 29 de julio de 2026 Avanzado
En esta página
  1. Dimensionamiento de tu infraestructura de GPU
  2. Requisitos de cada modelo
  3. Cuantización: intercambiando precisión por memoria
  4. SkyPilot: orquestación multi-nube
  5. Cerebrium: GPU sin servidor
  6. Gestión de la carga de producción
  7. Puntos clave

Dimensionamiento de tu infraestructura de GPU

Elegir la GPU adecuada, la capacidad de memoria y la herramienta de orquestación es un paso crítico en el autoalojamiento. Un modelo infra-dimensionado no se degrada con elegancia: se niega a arrancar o se bloquea ante la primera carga real de trabajo. Cubriremos los requisitos de hardware para los modelos de Mistral, las técnicas de cuantización que reducen las necesidades de memoria y dos herramientas de orquestación: SkyPilot y Cerebrium.

Requisitos de cada modelo

La siguiente tabla enumera los requisitos en FP16 sin cuantización, la base para cualquier cálculo de dimensionamiento.

ModeloParámetrosVRAM mínimaGPU recomendada
Mistral 7B7B16 GB1x A10G / L4
Mistral Nemo12B24 GB1x A10G / RTX 4090
Mixtral 8x7B46.7B100 GB2x A100-80GB
Mixtral 8x22B141B300 GB4x A100-80GB
Mistral Large 2123B250 GB4x A100-80GB
Codestral22B48 GB1x A100-80GB

No necesitas esta tabla para estimar un modelo que no esté listado. En FP16, presupuesta aproximadamente 2 GB de VRAM por cada mil millones de parámetros: para un modelo de 7B, 7 x 2 = 14 GB mínimos, más la sobrecarga para la caché KV y el motor de inferencia, razón por la que la tabla muestra 16 GB. Este margen explica por qué una tarjeta de 16 GB apenas maneja Mistral 7B y por qué no será suficiente una vez que sirvas contextos largos a múltiples usuarios simultáneos.

Cuantización: intercambiando precisión por memoria

La cuantización reduce la precisión de los pesos del modelo para disminuir el consumo de memoria, a menudo con un impacto mínimo en la calidad. En FP8 (ocho bits por peso), el uso de memoria se reduce a la mitad en comparación con FP16, y la activación encaja con un argumento sencillo:

# Servir un modelo en FP8 con vLLM
vllm serve mistralai/Mistral-Nemo-Instruct-2407 \
    --tokenizer_mode mistral \
    --config_format mistral \
    --load_format mistral \
    --dtype float8_e4m3fn
ModeloFP16FP8Reducción
Mistral 7B14 GB7 GB-50%
Mistral Nemo24 GB12 GB-50%
Mixtral 8x7B100 GB50 GB-50%

La consecuencia práctica es clara: un Mixtral 8x7B que requería dos tarjetas A100-80GB en FP16 cabe en una sola tarjeta en FP8, reduciendo tu factura horaria a la mitad. INT4 (cuatro bits) va aún más lejos, pero el impacto en la calidad se vuelve notable; está habilitado en TGI mediante un argumento dedicado:

# Cuantización AWQ con TGI
docker run --gpus all --shm-size 1g \
    -p 8080:80 \
    -e HUGGING_FACE_HUB_TOKEN=$HF_TOKEN \
    ghcr.io/huggingface/text-generation-inference:2.0.3 \
    --model-id mistralai/Mistral-7B-Instruct-v0.3 \
    --quantize awq
PrecisiónMemoriaCalidadVelocidad
FP16BaseBaseBase
FP8-50%-1 a -2%+10-20%
INT4-75%-3 a -5%+30-50%

En la práctica, recomendamos FP8 para producción; la pérdida de calidad es despreciable. INT4 funciona para prototipado o entornos con restricciones de memoria, típicamente una demostración en una estación de trabajo con una GPU de consumo.

SkyPilot: orquestación multi-nube

SkyPilot es un framework de código abierto para desplegar LLM en cualquier nube: AWS, GCP, Azure, Lambda Labs y otros. Selecciona automáticamente la GPU más barata y gestiona el aprovisionamiento, por lo que no tienes que comparar manualmente los precios spot en tres proveedores antes de cada lanzamiento. Mistral proporciona archivos YAML listos para usar cuya estructura describe la máquina, la configuración y el comando de servicio:

# mistral-7b.yaml
resources:
  accelerators: A10G:1
  cloud: aws

setup: |
  pip install vllm

run: |
  vllm serve mistralai/Mistral-7B-Instruct-v0.3 \
      --tokenizer_mode mistral \
      --config_format mistral \
      --load_format mistral

Todo el ciclo de vida de un clúster se reduce entonces a cuatro comandos:

# Instalar SkyPilot
pip install "skypilot[aws,gcp,azure]"

# Lanzar el clúster
sky launch -c mistral-7b mistral-7b.yaml --region us-east-1

# Comprobar estado
sky status

# Detener (para ahorrar dinero)
sky stop mistral-7b

# Eliminar
sky down mistral-7b

Esos dos últimos comandos son los que la gente olvida. Un clúster A10G dejado ejecutándose durante un fin de semana cuesta tanto como un mes de uso de la API para cargas de trabajo moderadas, razón por la que importa conocer las cifras aproximadas:

ModeloConfiguración SkyPilotCoste estimado en la nube
Mistral 7BA10G:1~1 $/h
Mixtral 8x7BA100-80GB:2~6 $/h
Mixtral 8x22BA100-80GB:4~12 $/h

Un último punto merece tu atención: SkyPilot crea máquinas virtuales con puertos abiertos por defecto. En producción, restringe el acceso a la red con Grupos de Seguridad o Reglas de Firewall, coloca un equilibrador de carga con autenticación delante del servicio y nunca dejes el puerto 8000 expuesto a internet. Un servidor vLLM sin autenticación accesible públicamente es una GPU que estás pagando en nombre de otra persona.

Cerebrium: GPU sin servidor

Cerebrium adopta el enfoque opuesto al de SkyPilot: en lugar de gestionar máquinas, describes un servicio y pagas solo por el cómputo que realmente usas, con autoescalado. Empezar requiere tres comandos:

pip install cerebrium
cerebrium login
cerebrium init mistral-vllm

Todo el despliegue se describe entonces en un archivo cerebrium.toml:

[cerebrium.deployment]
name = "mistral-nemo"
python_version = "3.11"

[cerebrium.hardware]
gpu = "AMPERE_A10"
cpu = 4
memory = 16

[cerebrium.scaling]
min_replicas = 0
max_replicas = 5
cooldown = 60

[cerebrium.dependencies.pip]
vllm = "latest"

La configuración min_replicas = 0 es la ventaja clave de este enfoque: cuando nadie llama al servicio, no cuesta nada. La contrapartida es que la primera solicitud tras un periodo de inactividad debe esperar a que se inicie una instancia. El comando cerebrium deploy es todo lo que necesitas para publicar; la plataforma se encarga del aprovisionamiento de la GPU, el autoescalado de cero a N réplicas, el equilibrio de carga y la monitorización.

Gestión de la carga de producción

Para aumentar el rendimiento, no busques una GPU más grande; multiplica las instancias detrás de un equilibrador de carga, sirviendo cada una el mismo modelo en su propia tarjeta:

                    ┌─── Instancia vLLM 1 (GPU A)
Equilibrador de carga ──────┼─── Instancia vLLM 2 (GPU B)
                    └─── Instancia vLLM 3 (GPU C)

Cinco métricas son suficientes para gestionar toda la configuración: los tokens por segundo miden el rendimiento de generación; el TTFB (Time To First Byte) indica la latencia antes del primer token, que es lo que percibe el usuario; la utilización de la GPU debe superar el 80% bajo carga, de lo contrario estás pagando por hardware inactivo; monitoriza la memoria de la GPU para anticipar errores OOM; y la profundidad de la cola, el número de solicitudes pendientes, señala la saturación antes de que los usuarios se quejen. En una sola máquina, una simple actualización continua ya te da lo esencial:

# Monitorizar utilización de GPU
watch -n 1 nvidia-smi

Puntos clave

  • Presupuesta ~2 GB de VRAM por cada mil millones de parámetros en FP16
  • La cuantización FP8 reduce el uso de memoria a la mitad con un impacto de calidad despreciable
  • SkyPilot simplifica el despliegue multi-nube con configuraciones YAML listas para usar
  • Cerebrium ofrece GPU sin servidor con autoescalado (pago por cómputo)
  • En producción, añade un equilibrador de carga y monitoriza las métricas de la GPU continuamente