Ir al contenido principal
Español— Elegir un idioma
Menú

API por lotes y lista de comprobación para producción

Lección 12 de 12 Actualizado el 2 de noviembre de 2026 Avanzado
En esta página
  1. La alternativa de la API por lotes: un 20 % de descuento en tokens
  2. Comparación de enfoques
  3. Lista de comprobación para producción
  4. Arquitectura recomendada
  5. Puntos clave
  6. Pon a prueba tus conocimientos

La alternativa de la API por lotes: un 20 % de descuento en tokens

Cuando el procesamiento en tiempo real no es un requisito, la API por lotes (Batch API) de xAI ofrece una reducción del 20 % en todos los tokens para los modelos de texto elegibles (desde grok-4.3 hasta grok-4.7 a fecha de 2 de noviembre de 2026, según los precios de la API por lotes de xAI). En lugar de enviar solicitudes una a una y gestionar la concurrencia, envías tus peticiones en lotes mediante la API o en un archivo JSONL, y recuperas los resultados a medida que finaliza el procesamiento, normalmente en un plazo de 24 horas. Las solicitudes por lotes no cuentan para los límites de tasa. El curso API por lotes: procesamiento masivo detalla el flujo de trabajo.

Cuándo utilizar la API por lotes

  • Procesamiento de catálogos de productos (miles de descripciones)
  • Clasificación masiva de tickets de soporte
  • Generación de resúmenes para una base documental
  • Cualquier tarea en la que sea aceptable un retraso de unas pocas horas

Cuándo mantener el enfoque asíncrono clásico

  • Chatbot interactivo (respuesta en tiempo real)
  • Canalización donde cada paso depende del anterior
  • Monitorización y alertas en tiempo real
  • Cualquier caso en el que el retraso de la API por lotes sea inaceptable

Comparación de enfoques

Criterio Asíncrono + Semáforo API por lotes
Coste Tarifa estándar -20 % en tokens para modelos elegibles
Latencia De segundos a minutos De minutos a horas
Control Tiempo real, errores inmediatos Resultados según finaliza el procesamiento, errores por solicitud
Complejidad Semáforo, retroceso exponencial, gather Lote de solicitudes o archivo JSONL, seguimiento de contadores
Límites de tasa Sujeto a RPM/TPM Gestionado por xAI

Lista de comprobación para producción

Antes de desplegar tu sistema de solicitudes asíncronas en producción, verifica cada punto de esta lista:

Configuración

  • El tiempo de espera (timeout) está establecido en 3600 segundos para los modelos de razonamiento
  • El semáforo está dimensionado en función de tus límites de tasa reales (no de estimaciones)
  • El retroceso exponencial (exponential backoff) está implementado con jitter para errores 429
  • Las claves de API se cargan desde variables de entorno, nunca se codifican directamente en el código
  • Se utiliza la cabecera x-grok-conv-id para conversaciones de varios turnos

Gestión de errores

  • Se utiliza return_exceptions=True en asyncio.gather para aislar errores
  • Los errores 429, de tiempo de espera y de conexión desencadenan un reintento
  • Los errores de solicitud no válida (BadRequestError) no desencadenan un reintento
  • Las solicitudes fallidas se identifican y pueden reintentarse
  • Los registros (logs) incluyen el tipo de error, el número de intento y el retraso del reintento

Monitorización

  • El número de tokens consumidos se rastrea mediante response.usage
  • La tasa de aciertos de caché se mide para validar el uso de x-grok-conv-id
  • Los costes se estiman en tiempo real con cost_in_usd_ticks
  • Los límites de tasa restantes se monitorizan para ajustar el semáforo dinámicamente

Rendimiento

  • Se utiliza el fragmentado (chunking) para lotes superiores a 100 solicitudes
  • Los resultados intermedios se guardan entre sublotes
  • Se muestra el progreso para trabajos de larga duración
  • El semáforo se ajusta según el modelo utilizado (razonamiento = menor)

Seguridad

  • Las claves de API no se exponen en registros ni mensajes de error
  • Las respuestas que contienen datos sensibles se procesan en memoria, no se escriben en disco
  • El almacenamiento remoto (store_messages) está desactivado para datos confidenciales
  • use_encrypted_content está activado cuando se requiere confidencialidad en el razonamiento

Arquitectura recomendada

import os
import asyncio
import uuid
from asyncio import Semaphore
from openai import AsyncOpenAI, RateLimitError, APITimeoutError
import httpx

class GrokAsyncProcessor:
    def __init__(self, max_concurrent: int = 5):
        self.client = AsyncOpenAI(
            api_key=os.getenv("XAI_API_KEY"),
            base_url="https://api.x.ai/v1",
            timeout=httpx.Timeout(3600.0)
        )
        self.sem = Semaphore(max_concurrent)
        self.conv_id = str(uuid.uuid4())

    async def request(self, prompt: str, max_retries: int = 5) -> str:
        async with self.sem:
            for attempt in range(max_retries):
                try:
                    response = await self.client.chat.completions.create(
                        model="grok-4.5",
                        messages=[{"role": "user", "content": prompt}],
                        extra_headers={"x-grok-conv-id": self.conv_id}
                    )
                    return response.choices[0].message.content
                except RateLimitError:
                    if attempt == max_retries - 1:
                        raise
                    await asyncio.sleep(2 ** attempt)
                except APITimeoutError:
                    if attempt == max_retries - 1:
                        raise
                    await asyncio.sleep(2 ** attempt)

    async def batch(self, prompts: list[str]) -> list[str | Exception]:
        tasks = [self.request(p) for p in prompts]
        return await asyncio.gather(*tasks, return_exceptions=True)

Esta clase encapsula todos los patrones cubiertos en este curso: cliente asíncrono, semáforo, retroceso exponencial, caché y gestión de errores. Proporciona un punto de partida sólido para tus proyectos en producción.

Puntos clave

  • La API por lotes ofrece un 20 % de descuento en modelos elegibles, pero impone un retraso en el procesamiento
  • Elige entre el modo asíncrono en tiempo real y el modo por lotes en función de tus restricciones de latencia
  • La lista de comprobación para producción abarca configuración, errores, monitorización, rendimiento y seguridad
  • La clase GrokAsyncProcessor encapsula todos los patrones del curso en una única abstracción
  • Prueba siempre tu configuración con un lote pequeño antes de lanzar el procesamiento masivo

Pon a prueba tus conocimientos

Asincronía, límites, caché: patrones de producción en cinco preguntas.

1. ¿Cuándo prevalece el enfoque asíncrono sobre el síncrono?

Respuesta: Siempre que se gestionen múltiples solicitudes independientes: el AsyncClient (o AsyncOpenAI) solapa las esperas de red; el rendimiento se multiplica sin multiplicar los hilos.

2. ¿Cómo procesas un lote sin alcanzar los límites?

Respuesta: asyncio.gather para el paralelismo, un semáforo para limitar las solicitudes concurrentes y retroceso exponencial en HTTP 429, respetando los límites RPM/TPM de la consola.

3. ¿Cómo gestionas el contexto de varios turnos a gran escala?

Respuesta: Mediante el almacenamiento de respuestas en el servidor y el reutilización del razonamiento cifrado; el estado reside en el lado de la API, tu código solo rastrea identificadores.

4. ¿Qué necesitas saber sobre la caché y los tiempos de espera?

Respuesta: La caché de conversación (x-grok-conv-id) acelera los hilos seguidos, y las solicitudes de razonamiento requieren tiempos de espera adaptados; dos configuraciones que transforman la producción.

5. ¿Qué contiene la lista de comprobación para producción del curso?

Respuesta: Dominio de la asincronía, respeto de los límites (semáforo + retroceso), lotes para volumen en frío, configuración de tiempos de espera y reintentos, seguimiento de costes; robustez como lista de comprobación.

Concurrencia acotada, fallos planificados, estado en el servidor: los patrones asíncronos transforman tus scripts en servicios; la lista de comprobación final los asegura.