Batch API i kontrolni popis za produkciju
Na ovoj stranici
Alternativa Batch API-ja: 20 % uštede na tokenima
Kada obrada u stvarnom vremenu nije obavezna, xAI-jev Batch API nudi smanjenje cijene od 20 % za sve tokene kod podržanih tekstualnih modela (od grok-4.3 do grok-4.7 zaključno s 2. studenog 2026., prema cjeniku xAI za batch). Umjesto slanja zahtjeva jedan po jedan i upravljanja konkurentnošću, zahtjeve šalješ u serijama putem API-ja ili u JSONL datoteci, a rezultate dohvaćaš kako se obrada završava – obično unutar 24 sata. Batch zahtjevi ne ulaze u ograničenja stope (rate limits). Tečaj Batch API: Bulk Processing detaljno opisuje tijek rada.
Kada koristiti Batch API
- Obrada kataloga proizvoda (tisuće opisa)
- Masovna klasifikacija tiketa za podršku
- Generiranje sažetaka za bazu dokumenata
- Bilo koji zadatak gdje je kašnjenje od nekoliko sati prihvatljivo
Kada se držati klasičnog asinkronog pristupa
- Interaktivni chatbot (odgovor u stvarnom vremenu)
- Pipeline gdje svaki korak ovisi o prethodnom
- Nadzor i alerti u stvarnom vremenu
- Bilo koji slučaj gdje je kašnjenje Batch API-ja neprihvatljivo
Usporedba pristupa
| Kriterij | Async + Semaphore | Batch API |
|---|---|---|
| Trošak | Standardna stopa | -20 % na tokene za podržane modele |
| Latencija | Sekunde do minute | Minute do sati |
| Kontrola | Stvarno vrijeme, trenutne greške | Rezultati po završetku obrade, greške po zahtjevu |
| Složenost | Semaphore, backoff, gather | Serija zahtjeva ili JSONL datoteka, praćenje brojača |
| Ograničenja stope | Podliježe RPM/TPM | Upravlja xAI |
Kontrolni popis za produkciju
Prije nego što svoj sustav asinkronih zahtjeva uvedeš u produkciju, provjeri svaku točku na ovom popisu:
Konfiguracija
- Timeout je postavljen na 3600 sekundi za modele za rezoniranje
- Semaphore je dimenzioniran prema tvojim stvarnim ograničenjima stope (ne procjenama)
- Eksponencijalni backoff implementiran je s jitterom za greške 429
- API ključevi učitavaju se iz varijabli okruženja, nikad nisu hardkodirani u kodu
- Zaglavlje
x-grok-conv-idkoristi se za razgovore u više koraka
Rukovanje greškama
return_exceptions=Truekoristi se uasyncio.gatherza izolaciju grešaka- Greške 429, timeout i greške veze pokreću ponovni pokušaj
- Greške neispravnog zahtjeva (
BadRequestError) ne pokreću ponovni pokušaj - Neuspjeli zahtjevi identificiraju se i mogu se ponoviti
- Logovi uključuju vrstu greške, broj pokušaja i kašnjenje prije ponovnog pokušaja
Nadzor
- Broj potrošenih tokena prati se putem
response.usage - Stopa pogodaka u cacheu mjeri se radi validacije korištenja
x-grok-conv-id - Troškovi se procjenjuju u stvarnom vremenu s
cost_in_usd_ticks - Preostala ograničenja stope prate se radi dinamičkog prilagođavanja semaphorea
Performanse
- Chunking se koristi za serije veće od 100 zahtjeva
- Međurezultati se spremaju između pod-serija
- Napredak se prikazuje za dugotrajne zadatke
- Semaphore se prilagođava ovisno o korištenom modelu (rezoniranje = niže)
Sigurnost
- API ključevi nisu izloženi u logovima ili porukama o greškama
- Odgovori koji sadrže osjetljive podatke obrađuju se u memoriji, ne zapisuju se na disk
- Pohrana na udaljenoj lokaciji (
store_messages) onemogućena je za povjerljive podatke use_encrypted_contentomogućeno je kada je potrebna povjerljivost rezoniranja
Preporučena arhitektura
import os
import asyncio
import uuid
from asyncio import Semaphore
from openai import AsyncOpenAI, RateLimitError, APITimeoutError
import httpx
class GrokAsyncProcessor:
def __init__(self, max_concurrent: int = 5):
self.client = AsyncOpenAI(
api_key=os.getenv("XAI_API_KEY"),
base_url="https://api.x.ai/v1",
timeout=httpx.Timeout(3600.0)
)
self.sem = Semaphore(max_concurrent)
self.conv_id = str(uuid.uuid4())
async def request(self, prompt: str, max_retries: int = 5) -> str:
async with self.sem:
for attempt in range(max_retries):
try:
response = await self.client.chat.completions.create(
model="grok-4.5",
messages=[{"role": "user", "content": prompt}],
extra_headers={"x-grok-conv-id": self.conv_id}
)
return response.choices[0].message.content
except RateLimitError:
if attempt == max_retries - 1:
raise
await asyncio.sleep(2 ** attempt)
except APITimeoutError:
if attempt == max_retries - 1:
raise
await asyncio.sleep(2 ** attempt)
async def batch(self, prompts: list[str]) -> list[str | Exception]:
tasks = [self.request(p) for p in prompts]
return await asyncio.gather(*tasks, return_exceptions=True)
Ova klasa obuhvaća sve obrasce obrađene u ovom tečaju: asinkroni klijent, semaphore, backoff, cache i rukovanje greškama. Pruža čvrstu polaznu točku za tvoje projekte u produkciji.
Ključne točke
- Batch API nudi 20 % popusta na podržane modele, ali nameće kašnjenje u obradi
- Odaberi između asinkronog rada u stvarnom vremenu i batcha ovisno o svojim ograničenjima latencije
- Kontrolni popis za produkciju pokriva konfiguraciju, greške, nadzor, performanse i sigurnost
- Klasa
GrokAsyncProcessorobjedinjuje sve obrasce iz tečaja u jednu apstrakciju - Uvijek testiraj svoju konfiguraciju s malom serijom prije pokretanja masovne obrade
Provjeri svoje znanje
Async, ograničenja, cache: obrasci za produkciju u pet pitanja.
1. Kada async pobjeđuje sync?
Odgovor: Kad god obrađuješ više neovisnih zahtjeva: AsyncClient (ili AsyncOpenAI) preklapa čekanja na mreži – propusnost se množi bez množenja niti.
2. Kako obraditi seriju a da ne udariš u ograničenja?
Odgovor: asyncio.gather za paralelizam, semaphore za ograničavanje istodobnih zahtjeva i eksponencijalni backoff na HTTP 429 – poštujući RPM/TPM ograničenja iz konzole.
3. Kako rukovati kontekstom u više koraka u velikom obujmu?
Odgovor: Kroz pohranu odgovora na strani poslužitelja i ponovno korištenje šifriranog rezoniranja – stanje živi na strani API-ja, tvoj kod samo prati identifikatore.
4. Što trebaš znati o cacheu i timeoutovima?
Odgovor: Cache razgovora (x-grok-conv-id) ubrzava praćene niti, a zahtjevi za rezoniranje zahtijevaju prilagođene timeoutove – dvije postavke koje transformiraju produkciju.
5. Što sadrži kontrolni popis za produkciju iz tečaja?
Odgovor: Savladan async, poštovana ograničenja (semaphore + backoff), batch za hladni obujam, konfigurirani timeoutovi i ponovni pokušaji, praćeni troškovi – robusnost kao kontrolni popis.
Ograničena konkurentnost, planirani kvarovi, stanje na strani poslužitelja: async obrasci transformiraju tvoje skripte u usluge – konačni kontrolni popis ih učvršćuje.