Infraestructura y GPU
En esta página
Dimensionamiento de tu infraestructura de GPU
Elegir la GPU adecuada, la capacidad de memoria y la herramienta de orquestación es un paso crítico en el autoalojamiento. Un modelo infra-dimensionado no se degrada con elegancia: se niega a arrancar o se bloquea ante la primera carga real de trabajo. Cubriremos los requisitos de hardware para los modelos de Mistral, las técnicas de cuantización que reducen las necesidades de memoria y dos herramientas de orquestación: SkyPilot y Cerebrium.
Requisitos de cada modelo
La siguiente tabla enumera los requisitos en FP16 sin cuantización, la base para cualquier cálculo de dimensionamiento.
| Modelo | Parámetros | VRAM mínima | GPU recomendada |
|---|---|---|---|
| Mistral 7B | 7B | 16 GB | 1x A10G / L4 |
| Mistral Nemo | 12B | 24 GB | 1x A10G / RTX 4090 |
| Mixtral 8x7B | 46.7B | 100 GB | 2x A100-80GB |
| Mixtral 8x22B | 141B | 300 GB | 4x A100-80GB |
| Mistral Large 2 | 123B | 250 GB | 4x A100-80GB |
| Codestral | 22B | 48 GB | 1x A100-80GB |
No necesitas esta tabla para estimar un modelo que no esté listado. En FP16, presupuesta aproximadamente 2 GB de VRAM por cada mil millones de parámetros: para un modelo de 7B, 7 x 2 = 14 GB mínimos, más la sobrecarga para la caché KV y el motor de inferencia, razón por la que la tabla muestra 16 GB. Este margen explica por qué una tarjeta de 16 GB apenas maneja Mistral 7B y por qué no será suficiente una vez que sirvas contextos largos a múltiples usuarios simultáneos.
Cuantización: intercambiando precisión por memoria
La cuantización reduce la precisión de los pesos del modelo para disminuir el consumo de memoria, a menudo con un impacto mínimo en la calidad. En FP8 (ocho bits por peso), el uso de memoria se reduce a la mitad en comparación con FP16, y la activación encaja con un argumento sencillo:
# Servir un modelo en FP8 con vLLM
vllm serve mistralai/Mistral-Nemo-Instruct-2407 \
--tokenizer_mode mistral \
--config_format mistral \
--load_format mistral \
--dtype float8_e4m3fn
| Modelo | FP16 | FP8 | Reducción |
|---|---|---|---|
| Mistral 7B | 14 GB | 7 GB | -50% |
| Mistral Nemo | 24 GB | 12 GB | -50% |
| Mixtral 8x7B | 100 GB | 50 GB | -50% |
La consecuencia práctica es clara: un Mixtral 8x7B que requería dos tarjetas A100-80GB en FP16 cabe en una sola tarjeta en FP8, reduciendo tu factura horaria a la mitad. INT4 (cuatro bits) va aún más lejos, pero el impacto en la calidad se vuelve notable; está habilitado en TGI mediante un argumento dedicado:
# Cuantización AWQ con TGI
docker run --gpus all --shm-size 1g \
-p 8080:80 \
-e HUGGING_FACE_HUB_TOKEN=$HF_TOKEN \
ghcr.io/huggingface/text-generation-inference:2.0.3 \
--model-id mistralai/Mistral-7B-Instruct-v0.3 \
--quantize awq
| Precisión | Memoria | Calidad | Velocidad |
|---|---|---|---|
| FP16 | Base | Base | Base |
| FP8 | -50% | -1 a -2% | +10-20% |
| INT4 | -75% | -3 a -5% | +30-50% |
En la práctica, recomendamos FP8 para producción; la pérdida de calidad es despreciable. INT4 funciona para prototipado o entornos con restricciones de memoria, típicamente una demostración en una estación de trabajo con una GPU de consumo.
SkyPilot: orquestación multi-nube
SkyPilot es un framework de código abierto para desplegar LLM en cualquier nube: AWS, GCP, Azure, Lambda Labs y otros. Selecciona automáticamente la GPU más barata y gestiona el aprovisionamiento, por lo que no tienes que comparar manualmente los precios spot en tres proveedores antes de cada lanzamiento. Mistral proporciona archivos YAML listos para usar cuya estructura describe la máquina, la configuración y el comando de servicio:
# mistral-7b.yaml
resources:
accelerators: A10G:1
cloud: aws
setup: |
pip install vllm
run: |
vllm serve mistralai/Mistral-7B-Instruct-v0.3 \
--tokenizer_mode mistral \
--config_format mistral \
--load_format mistral
Todo el ciclo de vida de un clúster se reduce entonces a cuatro comandos:
# Instalar SkyPilot
pip install "skypilot[aws,gcp,azure]"
# Lanzar el clúster
sky launch -c mistral-7b mistral-7b.yaml --region us-east-1
# Comprobar estado
sky status
# Detener (para ahorrar dinero)
sky stop mistral-7b
# Eliminar
sky down mistral-7b
Esos dos últimos comandos son los que la gente olvida. Un clúster A10G dejado ejecutándose durante un fin de semana cuesta tanto como un mes de uso de la API para cargas de trabajo moderadas, razón por la que importa conocer las cifras aproximadas:
| Modelo | Configuración SkyPilot | Coste estimado en la nube |
|---|---|---|
| Mistral 7B | A10G:1 | ~1 $/h |
| Mixtral 8x7B | A100-80GB:2 | ~6 $/h |
| Mixtral 8x22B | A100-80GB:4 | ~12 $/h |
Un último punto merece tu atención: SkyPilot crea máquinas virtuales con puertos abiertos por defecto. En producción, restringe el acceso a la red con Grupos de Seguridad o Reglas de Firewall, coloca un equilibrador de carga con autenticación delante del servicio y nunca dejes el puerto 8000 expuesto a internet. Un servidor vLLM sin autenticación accesible públicamente es una GPU que estás pagando en nombre de otra persona.
Cerebrium: GPU sin servidor
Cerebrium adopta el enfoque opuesto al de SkyPilot: en lugar de gestionar máquinas, describes un servicio y pagas solo por el cómputo que realmente usas, con autoescalado. Empezar requiere tres comandos:
pip install cerebrium
cerebrium login
cerebrium init mistral-vllm
Todo el despliegue se describe entonces en un archivo cerebrium.toml:
[cerebrium.deployment]
name = "mistral-nemo"
python_version = "3.11"
[cerebrium.hardware]
gpu = "AMPERE_A10"
cpu = 4
memory = 16
[cerebrium.scaling]
min_replicas = 0
max_replicas = 5
cooldown = 60
[cerebrium.dependencies.pip]
vllm = "latest"
La configuración min_replicas = 0 es la ventaja clave de este enfoque: cuando nadie llama al servicio, no cuesta nada. La contrapartida es que la primera solicitud tras un periodo de inactividad debe esperar a que se inicie una instancia. El comando cerebrium deploy es todo lo que necesitas para publicar; la plataforma se encarga del aprovisionamiento de la GPU, el autoescalado de cero a N réplicas, el equilibrio de carga y la monitorización.
Gestión de la carga de producción
Para aumentar el rendimiento, no busques una GPU más grande; multiplica las instancias detrás de un equilibrador de carga, sirviendo cada una el mismo modelo en su propia tarjeta:
┌─── Instancia vLLM 1 (GPU A)
Equilibrador de carga ──────┼─── Instancia vLLM 2 (GPU B)
└─── Instancia vLLM 3 (GPU C)
Cinco métricas son suficientes para gestionar toda la configuración: los tokens por segundo miden el rendimiento de generación; el TTFB (Time To First Byte) indica la latencia antes del primer token, que es lo que percibe el usuario; la utilización de la GPU debe superar el 80% bajo carga, de lo contrario estás pagando por hardware inactivo; monitoriza la memoria de la GPU para anticipar errores OOM; y la profundidad de la cola, el número de solicitudes pendientes, señala la saturación antes de que los usuarios se quejen. En una sola máquina, una simple actualización continua ya te da lo esencial:
# Monitorizar utilización de GPU
watch -n 1 nvidia-smi
Puntos clave
- Presupuesta ~2 GB de VRAM por cada mil millones de parámetros en FP16
- La cuantización FP8 reduce el uso de memoria a la mitad con un impacto de calidad despreciable
- SkyPilot simplifica el despliegue multi-nube con configuraciones YAML listas para usar
- Cerebrium ofrece GPU sin servidor con autoescalado (pago por cómputo)
- En producción, añade un equilibrador de carga y monitoriza las métricas de la GPU continuamente