API por lotes y lista de comprobación para producción
En esta página
La alternativa de la API por lotes: un 20 % de descuento en tokens
Cuando el procesamiento en tiempo real no es un requisito, la API por lotes (Batch API) de xAI ofrece una reducción del 20 % en todos los tokens para los modelos de texto elegibles (desde grok-4.3 hasta grok-4.7 a fecha de 2 de noviembre de 2026, según los precios de la API por lotes de xAI). En lugar de enviar solicitudes una a una y gestionar la concurrencia, envías tus peticiones en lotes mediante la API o en un archivo JSONL, y recuperas los resultados a medida que finaliza el procesamiento, normalmente en un plazo de 24 horas. Las solicitudes por lotes no cuentan para los límites de tasa. El curso API por lotes: procesamiento masivo detalla el flujo de trabajo.
Cuándo utilizar la API por lotes
- Procesamiento de catálogos de productos (miles de descripciones)
- Clasificación masiva de tickets de soporte
- Generación de resúmenes para una base documental
- Cualquier tarea en la que sea aceptable un retraso de unas pocas horas
Cuándo mantener el enfoque asíncrono clásico
- Chatbot interactivo (respuesta en tiempo real)
- Canalización donde cada paso depende del anterior
- Monitorización y alertas en tiempo real
- Cualquier caso en el que el retraso de la API por lotes sea inaceptable
Comparación de enfoques
| Criterio | Asíncrono + Semáforo | API por lotes |
|---|---|---|
| Coste | Tarifa estándar | -20 % en tokens para modelos elegibles |
| Latencia | De segundos a minutos | De minutos a horas |
| Control | Tiempo real, errores inmediatos | Resultados según finaliza el procesamiento, errores por solicitud |
| Complejidad | Semáforo, retroceso exponencial, gather | Lote de solicitudes o archivo JSONL, seguimiento de contadores |
| Límites de tasa | Sujeto a RPM/TPM | Gestionado por xAI |
Lista de comprobación para producción
Antes de desplegar tu sistema de solicitudes asíncronas en producción, verifica cada punto de esta lista:
Configuración
- El tiempo de espera (timeout) está establecido en 3600 segundos para los modelos de razonamiento
- El semáforo está dimensionado en función de tus límites de tasa reales (no de estimaciones)
- El retroceso exponencial (exponential backoff) está implementado con jitter para errores 429
- Las claves de API se cargan desde variables de entorno, nunca se codifican directamente en el código
- Se utiliza la cabecera
x-grok-conv-idpara conversaciones de varios turnos
Gestión de errores
- Se utiliza
return_exceptions=Trueenasyncio.gatherpara aislar errores - Los errores 429, de tiempo de espera y de conexión desencadenan un reintento
- Los errores de solicitud no válida (
BadRequestError) no desencadenan un reintento - Las solicitudes fallidas se identifican y pueden reintentarse
- Los registros (logs) incluyen el tipo de error, el número de intento y el retraso del reintento
Monitorización
- El número de tokens consumidos se rastrea mediante
response.usage - La tasa de aciertos de caché se mide para validar el uso de
x-grok-conv-id - Los costes se estiman en tiempo real con
cost_in_usd_ticks - Los límites de tasa restantes se monitorizan para ajustar el semáforo dinámicamente
Rendimiento
- Se utiliza el fragmentado (chunking) para lotes superiores a 100 solicitudes
- Los resultados intermedios se guardan entre sublotes
- Se muestra el progreso para trabajos de larga duración
- El semáforo se ajusta según el modelo utilizado (razonamiento = menor)
Seguridad
- Las claves de API no se exponen en registros ni mensajes de error
- Las respuestas que contienen datos sensibles se procesan en memoria, no se escriben en disco
- El almacenamiento remoto (
store_messages) está desactivado para datos confidenciales use_encrypted_contentestá activado cuando se requiere confidencialidad en el razonamiento
Arquitectura recomendada
import os
import asyncio
import uuid
from asyncio import Semaphore
from openai import AsyncOpenAI, RateLimitError, APITimeoutError
import httpx
class GrokAsyncProcessor:
def __init__(self, max_concurrent: int = 5):
self.client = AsyncOpenAI(
api_key=os.getenv("XAI_API_KEY"),
base_url="https://api.x.ai/v1",
timeout=httpx.Timeout(3600.0)
)
self.sem = Semaphore(max_concurrent)
self.conv_id = str(uuid.uuid4())
async def request(self, prompt: str, max_retries: int = 5) -> str:
async with self.sem:
for attempt in range(max_retries):
try:
response = await self.client.chat.completions.create(
model="grok-4.5",
messages=[{"role": "user", "content": prompt}],
extra_headers={"x-grok-conv-id": self.conv_id}
)
return response.choices[0].message.content
except RateLimitError:
if attempt == max_retries - 1:
raise
await asyncio.sleep(2 ** attempt)
except APITimeoutError:
if attempt == max_retries - 1:
raise
await asyncio.sleep(2 ** attempt)
async def batch(self, prompts: list[str]) -> list[str | Exception]:
tasks = [self.request(p) for p in prompts]
return await asyncio.gather(*tasks, return_exceptions=True)
Esta clase encapsula todos los patrones cubiertos en este curso: cliente asíncrono, semáforo, retroceso exponencial, caché y gestión de errores. Proporciona un punto de partida sólido para tus proyectos en producción.
Puntos clave
- La API por lotes ofrece un 20 % de descuento en modelos elegibles, pero impone un retraso en el procesamiento
- Elige entre el modo asíncrono en tiempo real y el modo por lotes en función de tus restricciones de latencia
- La lista de comprobación para producción abarca configuración, errores, monitorización, rendimiento y seguridad
- La clase
GrokAsyncProcessorencapsula todos los patrones del curso en una única abstracción - Prueba siempre tu configuración con un lote pequeño antes de lanzar el procesamiento masivo
Pon a prueba tus conocimientos
Asincronía, límites, caché: patrones de producción en cinco preguntas.
1. ¿Cuándo prevalece el enfoque asíncrono sobre el síncrono?
Respuesta: Siempre que se gestionen múltiples solicitudes independientes: el AsyncClient (o AsyncOpenAI) solapa las esperas de red; el rendimiento se multiplica sin multiplicar los hilos.
2. ¿Cómo procesas un lote sin alcanzar los límites?
Respuesta: asyncio.gather para el paralelismo, un semáforo para limitar las solicitudes concurrentes y retroceso exponencial en HTTP 429, respetando los límites RPM/TPM de la consola.
3. ¿Cómo gestionas el contexto de varios turnos a gran escala?
Respuesta: Mediante el almacenamiento de respuestas en el servidor y el reutilización del razonamiento cifrado; el estado reside en el lado de la API, tu código solo rastrea identificadores.
4. ¿Qué necesitas saber sobre la caché y los tiempos de espera?
Respuesta: La caché de conversación (x-grok-conv-id) acelera los hilos seguidos, y las solicitudes de razonamiento requieren tiempos de espera adaptados; dos configuraciones que transforman la producción.
5. ¿Qué contiene la lista de comprobación para producción del curso?
Respuesta: Dominio de la asincronía, respeto de los límites (semáforo + retroceso), lotes para volumen en frío, configuración de tiempos de espera y reintentos, seguimiento de costes; robustez como lista de comprobación.
Concurrencia acotada, fallos planificados, estado en el servidor: los patrones asíncronos transforman tus scripts en servicios; la lista de comprobación final los asegura.