Aqbeż għall-kontenut ewlieni
Malti— Agħżel lingwa
Menu

Timeout u Robustezza fil-Produzzjoni

Lezzjoni 15 / 16 Aġġornat 30 ta’ Lulju 2026 Zviluppatur
F'din il-paġna
  1. Ipprepara l-Applikazzjoni Tiegħek għad-Dinja Reali
  2. It-Timeout ta’ 3600 Sekonda
  3. Ġestjoni tal-Iżbalji
  4. Arkitettura Asinkrona
  5. Circuit Breaker
  6. Punti Ewlenin

Ipprepara l-Applikazzjoni Tiegħek għad-Dinja Reali

Fil-produzzjoni, it-talbiet lill-API tar-Risposti jistgħu jieħdu ż-żmien—speċjalment ma’ mudelli ta’ raġunament li jaħsbu b’mod estensiv qabel ma jwieġbu. Ġestjoni fqira tat-timeout tista’ tikkawża fallimenti silenzjużi jew esperjenza tal-utent degradat.

It-Timeout ta’ 3600 Sekonda

xAI jirrakkomanda timeout minimu ta’ 3600 sekonda (siegħa) għat-talbiet lill-mudelli ta’ raġunament. Dan huwa ferm itwal mill-APIs standard, li jaffettwa l-arkitettura tiegħek.

Għaliex Daqshekk Twil?

Il-mudelli ta’ raġunament Grok-4.5 jistgħu jużaw mijiet ta’ eluf ta’ tokens interni ta’ raġunament qabel ma jipproduċu tweġiba. Fuq problemi kumplessi (matematika avvanzata, analiżi tal-kodiċi, raġunament f’diversi passi), il-mudell jista’ jaħseb għal diversi minuti.

Konfigurazzjoni fuq in-Naħa tal-Klijent

import httpx
from openai import OpenAI

# OpenAI SDK b'timeout estiż
client = OpenAI(
    api_key="xai-...",
    base_url="https://api.x.ai/v1",
    timeout=httpx.Timeout(3600.0, connect=10.0)
)

F’curl:

curl --max-time 3600 https://api.x.ai/v1/responses \
  -H "Authorization: Bearer $XAI_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{...}'

Ġestjoni tal-Iżbalji

Żbalji Komuni

Kodiċi HTTPKawżaAzzjoni
401Miftaħ API invaliduIvvverifika l-miftaħ
429Limitu ta’ rata milħuqErġa’ pprova b’backoff esponenzjali
500Żball tas-server ta’ xAIErġa’ pprova wara ftit sekondi
503Servizz mhux disponibbliErġa’ pprova wara 30 sekonda
TimeoutTalba twila wisqŻid it-timeout jew issimplifika l-prompt

Mudell ta’ Riprovazzjoni b’Backoff

import time

def call_with_retry(client, max_retries=3, **kwargs):
    for attempt in range(max_retries):
        try:
            return client.responses.create(**kwargs)
        except Exception as e:
            if attempt == max_retries - 1:
                raise
            wait = 2 ** attempt  # 1s, 2s, 4s
            print(f"Error: {e}. Retrying in {wait}s...")
            time.sleep(wait)

Limitazzjoni tar-Rata (Rate Limiting)

xAI jinfurża limiti ta’ rata bbażati fuq il-pjan tiegħek. Implimenta limitatur tar-rata fuq in-naħa tal-klijent:

import time
from collections import deque

class RateLimiter:
    def __init__(self, max_requests_per_minute=60):
        self.max_rpm = max_requests_per_minute
        self.timestamps = deque()

    def wait_if_needed(self):
        now = time.time()
        # Neħħi t-timestamps aktar antiki minn minuta
        while self.timestamps and self.timestamps[0] < now - 60:
            self.timestamps.popleft()
        if len(self.timestamps) >= self.max_rpm:
            sleep_time = 60 - (now - self.timestamps[0])
            time.sleep(max(0, sleep_time))
        self.timestamps.append(time.time())

Arkitettura Asinkrona

Għall-applikazzjonijiet web, timblukkax il-thread prinċipali għal 3600 sekonda. Uża arkitettura asinkrona:

import asyncio
from openai import AsyncOpenAI

client = AsyncOpenAI(
    api_key="xai-...",
    base_url="https://api.x.ai/v1"
)

async def process_request(user_input):
    response = await client.responses.create(
        model="grok-4.20-0309-reasoning",
        input=user_input,
        stream=True
    )
    async for event in response:
        if event.type == "response.output_text.delta":
            yield event.delta

L-istreamjar huwa l-aħjar approċċ għall-applikazzjonijiet interattivi: l-utenti jaraw l-ewwel tokens fi żmien sekondi, anke jekk il-ġenerazzjoni sħiħa tieħu aktar żmien.

Circuit Breaker

Biex tipproteġi l-applikazzjoni tiegħek minn interruzzjonijiet tal-API ta’ xAI:

class CircuitBreaker:
    def __init__(self, failure_threshold=5, reset_timeout=60):
        self.failures = 0
        self.threshold = failure_threshold
        self.reset_timeout = reset_timeout
        self.last_failure = 0
        self.is_open = False

    def call(self, func, *args, **kwargs):
        if self.is_open:
            if time.time() - self.last_failure > self.reset_timeout:
                self.is_open = False
                self.failures = 0
            else:
                raise Exception("Circuit open — API unavailable")

        try:
            result = func(*args, **kwargs)
            self.failures = 0
            return result
        except Exception as e:
            self.failures += 1
            self.last_failure = time.time()
            if self.failures >= self.threshold:
                self.is_open = True
            raise

Punti Ewlenin

  • Ikkonfigura timeout minimu ta’ 3600 sekonda għall-mudelli ta’ raġunament
  • Implimenta riprovazzjoni b’backoff esponenzjali għall-iżbalji 429 u 500
  • Uża l-istreamjar għall-applikazzjonijiet interattivi — l-utenti jaraw it-tokens immedjatament
  • Immaniġġja l-limitazzjoni tar-rata fuq in-naħa tal-klijent biex tevita żbalji 429
  • Ikkunsidra circuit breaker biex tipproteġi l-applikazzjoni tiegħek minn interruzzjonijiet tal-API