HTTP 429 y retroceso exponencial
En esta página
Gestión de superaciones de límite
En cuanto tu aplicación alcanza sus límites de RPM o TPM, la API de Grok responde con un código de estado HTTP 429 (Too Many Requests). Interpreta este código tal cual es: no indica una interrupción del servicio, sino una señal de control de flujo. La API te está diciendo «baja el ritmo», no «algo está roto». La diferencia entre una integración robusta y una frágil radica en cómo tu código interpreta esta distinción. Un error 429 mal gestionado nunca permanece aislado: se propaga por la cola de mensajes, afecta a los servicios llamadores y acaba convirtiéndose en un incidente visible para el usuario final.
Qué no hacer
La reacción instintiva ante el fallo de una solicitud es reenviarla de inmediato. Este es exactamente el movimiento equivocado. Ya has superado tu cuota; al reenviar inmediatamente, consumes una llamada adicional que también fallará y prolongas el periodo de bloqueo en lugar de acortarlo. Un reintento infinito empeora la situación al ocupar hilos de ejecución sin propósito alguno. Por el contrario, tratar el 429 como un error permanente y rendirse priva a tu usuario de un resultado que habría llegado unos segundos después. El enfoque correcto se sitúa entre ambos extremos: reintenta, pero espera, y aumenta el tiempo de espera en cada intento.
Retroceso exponencial
El principio consiste en duplicar el retraso tras cada intento fallido, añadiendo una variación aleatoria denominada jitter.
import time
import random
def call_with_retry(request, max_retries=5):
for attempt in range(max_retries):
response = send_request(request)
if response.status_code != 429:
return response
base_delay = 2 ** attempt # 1, 2, 4, 8, 16 segundos
jitter = random.uniform(0, base_delay * 0.5)
delay = base_delay + jitter
time.sleep(delay)
raise Exception("Límite de reintentos alcanzado")
El jitter merece atención especial, pues suele ser la línea que se elimina primero bajo la suposición de que complica el código innecesariamente. Imagina treinta instancias de tu servicio recibiendo un 429 en el mismo segundo. Sin jitter, todas calculan el mismo retraso y reintentan exactamente al mismo tiempo: has reproducido el pico de carga idénticamente, un segundo después, luego dos, luego cuatro. Este es el fenómeno de la manada atronadora (thundering herd). La aleatorización distribuye los intentos en el tiempo y rompe esta sincronización involuntaria. Observa también que el retraso base comienza en un segundo: nunca bajes de este valor para el primer intento.
Escalado: regula antes de fallar
En una aplicación de alto volumen, reaccionar a los errores 429 ya no es suficiente; es preferible evitarlos. Un limitador de tasa del lado del cliente restringe el número de llamadas concurrentes y impone un espaciado mínimo entre envíos, de modo que la carga saliente se mantiene por debajo del techo en lugar de probarlo constantemente.
import asyncio
from asyncio import Semaphore
# Límite de 25 solicitudes/segundo (margen por debajo de las 30 req/s permitidas)
semaphore = Semaphore(25)
async def limited_request(payload):
async with semaphore:
response = await send_request_async(payload)
await asyncio.sleep(1.0 / 25) # espaciado mínimo
return response
Observa el margen deliberado: 25 solicitudes por segundo en lugar de las 30 permitidas. Esta reserva absorbe las irregularidades de la red y los picos de tráfico sin llegar nunca al límite máximo.
El disyuntor (circuit breaker) completa la configuración interrumpiendo las llamadas cuando los fallos se acumulan. Mientras está cerrado, las solicitudes pasan con normalidad. Tras un número determinado de fallos consecutivos, se abre y rechaza localmente todas las solicitudes durante un tiempo configurado: dejas de machacar una API que te está rechazando y tus hilos permanecen disponibles para el resto de la aplicación. Cuando expira el retraso, pasa a estado semiabierto (half-open) y deja pasar una única solicitud de prueba; si tiene éxito, el tráfico normal se reanuda; en caso contrario, el contador se reinicia. Este mecanismo protege tanto tu servicio como a la API del otro extremo.
Trata el 429 como una métrica
Un último reflejo, a menudo ausente en las integraciones: instrumenta la tasa de errores 429. Esta cifra no mide la calidad de tu código de reintentos; mide el ajuste entre tu nivel de servicio y tu tráfico real. Una curva que asciende semana tras semana señala un dimensionamiento insuficiente mucho antes de que los usuarios se quejen, y te da tiempo para actuar con calma —distribuir la carga, presupuestar una actualización de nivel— en lugar de improvisar un viernes por la noche.
Puntos clave
- El código HTTP 429 indica una superación del límite de RPM o TPM
- El retroceso exponencial con jitter es la estrategia recomendada por xAI
- En producción, complementa el retroceso con un limitador de tasa del lado del cliente y un disyuntor
- Nunca reintentes inmediatamente: espera al menos 1 segundo antes del primer reintento
- Supervisa la tasa de errores 429 en tus métricas como indicador de un dimensionamiento insuficiente