Vremenska ograničenja i robusnost u produkcijskom okruženju
Na ovoj stranici
Pripremi svoju aplikaciju za stvarni svijet
U produkcijskom okruženju zahtjevi upućeni Responses API-ju mogu trajati dugo – posebno kod modela za rezoniranje koji opsežno razmišljaju prije nego što odgovore. Loše rukovanje vremenskim ograničenjima (timeout) može uzrokovati tihe kvarove ili narušiti korisničko iskustvo.
Vremensko ograničenje od 3600 sekundi
xAI preporučuje minimalno vremensko ograničenje od 3600 sekundi (1 sat) za zahtjeve upućene modelima za rezoniranje. To je znatno dulje nego kod standardnih API-ja, što utječe na tvoju arhitekturu.
Zašto tako dugo?
Modeli za rezoniranje Grok-4.5 mogu potrošiti stotine tisuća internih tokena za rezoniranje prije generiranja odgovora. Kod složenih problema (napredna matematika, analiza koda, višekorakno rezoniranje), model može razmišljati nekoliko minuta.
Konfiguracija na strani klijenta
import httpx
from openai import OpenAI
# OpenAI SDK s produženim vremenskim ograničenjem
client = OpenAI(
api_key="xai-...",
base_url="https://api.x.ai/v1",
timeout=httpx.Timeout(3600.0, connect=10.0)
)
U curlu:
curl --max-time 3600 https://api.x.ai/v1/responses \
-H "Authorization: Bearer $XAI_API_KEY" \
-H "Content-Type: application/json" \
-d '{...}'
Rukovanje greškama
Uobičajene greške
| HTTP kod | Uzrok | Radnja |
|---|---|---|
| 401 | Neispravan API ključ | Provjeri ključ |
| 429 | Dosegnuto ograničenje broja zahtjeva | Ponovi pokušaj s eksponencijalnim kašnjenjem |
| 500 | Greška na xAI poslužitelju | Ponovi pokušaj nakon nekoliko sekundi |
| 503 | Usluga nedostupna | Ponovi pokušaj nakon 30 sekundi |
| Timeout | Zahtjev predug | Povećaj vremensko ograničenje ili pojednostavni upit |
Uzorak ponovnog pokušaja s kašnjenjem
import time
def call_with_retry(client, max_retries=3, **kwargs):
for attempt in range(max_retries):
try:
return client.responses.create(**kwargs)
except Exception as e:
if attempt == max_retries - 1:
raise
wait = 2 ** attempt # 1s, 2s, 4s
print(f"Error: {e}. Retrying in {wait}s...")
time.sleep(wait)
Ograničenje broja zahtjeva (Rate Limiting)
xAI provodi ograničenja broja zahtjeva temeljem tvog plana. Implementiraj ograničivač na strani klijenta:
import time
from collections import deque
class RateLimiter:
def __init__(self, max_requests_per_minute=60):
self.max_rpm = max_requests_per_minute
self.timestamps = deque()
def wait_if_needed(self):
now = time.time()
# Ukloni vremenske oznake starije od jedne minute
while self.timestamps and self.timestamps[0] < now - 60:
self.timestamps.popleft()
if len(self.timestamps) >= self.max_rpm:
sleep_time = 60 - (now - self.timestamps[0])
time.sleep(max(0, sleep_time))
self.timestamps.append(time.time())
Asinkrona arhitektura
Za web aplikacije nemoj blokirati glavnu nit (thread) na 3600 sekundi. Koristi asinkronu arhitekturu:
import asyncio
from openai import AsyncOpenAI
client = AsyncOpenAI(
api_key="xai-...",
base_url="https://api.x.ai/v1"
)
async def process_request(user_input):
response = await client.responses.create(
model="grok-4.20-0309-reasoning",
input=user_input,
stream=True
)
async for event in response:
if event.type == "response.output_text.delta":
yield event.delta
Strimovanje (streaming) najbolji je pristup za interaktivne aplikacije: korisnici vide prve tokene unutar nekoliko sekundi, čak i ako potpuno generiranje traje dulje.
Circuit Breaker (Osigurač kruga)
Za zaštitu svoje aplikacije od prekida rada xAI API-ja:
class CircuitBreaker:
def __init__(self, failure_threshold=5, reset_timeout=60):
self.failures = 0
self.threshold = failure_threshold
self.reset_timeout = reset_timeout
self.last_failure = 0
self.is_open = False
def call(self, func, *args, **kwargs):
if self.is_open:
if time.time() - self.last_failure > self.reset_timeout:
self.is_open = False
self.failures = 0
else:
raise Exception("Circuit open — API unavailable")
try:
result = func(*args, **kwargs)
self.failures = 0
return result
except Exception as e:
self.failures += 1
self.last_failure = time.time()
if self.failures >= self.threshold:
self.is_open = True
raise
Ključne točke
- Konfiguriraj minimalno vremensko ograničenje od 3600 sekundi za modele za rezoniranje
- Implementiraj ponovne pokušaje s eksponencijalnim kašnjenjem za greške 429 i 500
- Koristi strimovanje za interaktivne aplikacije – korisnici odmah vide tokene
- Rukuj ograničenjem broja zahtjeva na strani klijenta kako bi izbjegao greške 429
- Razmotri upotrebu circuit breakera za zaštitu aplikacije od prekida rada API-ja