Batch API a kontrolný zoznam pre nasadenie do prevádzky
Na tejto strane
Alternatíva Batch API: Zľava 20 % na tokeny
Keď nie je spracovanie v reálnom čase obmedzujúcim faktorom, Batch API od xAI ponúka 20 % zľavu na všetky tokeny pre spôsobilé textové modely (od grok-4.3 po grok-4.7 k 2. novembru 2026, podľa cenníka Batch API od xAI). Namiesto odosielania požiadaviek jednu po druhej a manažovania súbežnosti odovzdáš svoje požiadavky v dávkach prostredníctvom API alebo v súbore JSONL a výsledky získaš po dokončení spracovania – zvyčajne do 24 hodín. Dávkové požiadavky sa nezapočítavajú do limitov rýchlosti. Kurz Batch API: Hromadné spracovanie podrobne opisuje tento pracovný postup.
Kedy použiť Batch API
- Spracovanie katalógov produktov (tisíce popisov)
- Hromadná klasifikácia tiketov podpory
- Generovanie zhrnutí pre dokumentovú základňu
- Akákoľvek úloha, kde je oneskorenie niekoľkých hodín prijateľné
Kedy zostať pri klasickej asynchrónnej komunikácii
- Interaktívny chatbot (odpoveď v reálnom čase)
- Pipeline, kde každý krok závisí od predchádzajúceho
- Monitorovanie a alerty v reálnom čase
- Akýkoľvek prípad, kde je oneskorenie Batch API neprijateľné
Porovnanie prístupov
| Kritérium | Async + Semaphore | Batch API |
|---|---|---|
| Náklady | Štandardná sadzba | -20 % na tokeny pre spôsobilé modely |
| Latencia | Sekundy až minúty | Minúty až hodiny |
| Kontrola | Reálny čas, okamžité chyby | Výsledky po dokončení spracovania, chyby na úrovni požiadavky |
| Zložitosť | Semaphore, backoff, gather | Dávka požiadaviek alebo súbor JSONL, sledovanie počítadla |
| Limity rýchlosti | Podlieha RPM/TPM | Spravované xAI |
Kontrolný zoznam pre nasadenie do prevádzky
Pred nasadením svojho systému asynchrónnych požiadaviek do prevádzky skontroluj každú položku v tomto zozname:
Konfigurácia
- Časový limit je nastavený na 3600 sekúnd pre modely s usudzovaním
- Semaphore je dimenzovaná na základe tvojich skutočných limitov rýchlosti (nie odhadov)
- Exponenciálny backoff je implementovaný s jitterom pre chyby 429
- API kľúče sa načítavajú z premenných prostredia, nikdy nie sú natvrdo zakódované v kóde
- Hlavička
x-grok-conv-idsa používa pre konverzácie s viacerými kolami
Spracovanie chýb
- V
asyncio.gathersa používareturn_exceptions=Truena izoláciu chýb - Chyby 429, časový limit a chyby pripojenia spúšťajú opakovanie
- Chyby neplatnej požiadavky (
BadRequestError) nespúšťajú opakovanie - Neúspešné požiadavky sú identifikované a môžu sa opakovať
- Logy obsahujú typ chyby, číslo pokusu a oneskorenie opakovania
Monitorovanie
- Počet spotrebovaných tokenov sa sleduje cez
response.usage - Miera zásahu cache sa meria na overenie použitia
x-grok-conv-id - Náklady sa odhadujú v reálnom čase pomocou
cost_in_usd_ticks - Zostávajúce limity rýchlosti sa monitorujú na dynamické prispôsobenie semaphore
Výkon
- Na dávky väčšie ako 100 požiadaviek sa používa chunking (rozdelenie na časti)
- Medzivýsledky sa ukladajú medzi poddávkami
- Pre dlho bežiace úlohy sa zobrazuje priebeh
- Semaphore sa upravuje podľa použitého modelu (usudzovanie = nižšia hodnota)
Bezpečnosť
- API kľúče nie sú vystavené v logoch ani chybových správach
- Odpovede obsahujúce citlivé údaje sa spracúvajú v pamäti, nie sa zapisujú na disk
- Vzdialené úložisko (
store_messages) je pre dôverné údaje zakázané use_encrypted_contentje povolené, keď sa vyžaduje dôvernosť usudzovania
Odporúčaná architektúra
import os
import asyncio
import uuid
from asyncio import Semaphore
from openai import AsyncOpenAI, RateLimitError, APITimeoutError
import httpx
class GrokAsyncProcessor:
def __init__(self, max_concurrent: int = 5):
self.client = AsyncOpenAI(
api_key=os.getenv("XAI_API_KEY"),
base_url="https://api.x.ai/v1",
timeout=httpx.Timeout(3600.0)
)
self.sem = Semaphore(max_concurrent)
self.conv_id = str(uuid.uuid4())
async def request(self, prompt: str, max_retries: int = 5) -> str:
async with self.sem:
for attempt in range(max_retries):
try:
response = await self.client.chat.completions.create(
model="grok-4.5",
messages=[{"role": "user", "content": prompt}],
extra_headers={"x-grok-conv-id": self.conv_id}
)
return response.choices[0].message.content
except RateLimitError:
if attempt == max_retries - 1:
raise
await asyncio.sleep(2 ** attempt)
except APITimeoutError:
if attempt == max_retries - 1:
raise
await asyncio.sleep(2 ** attempt)
async def batch(self, prompts: list[str]) -> list[str | Exception]:
tasks = [self.request(p) for p in prompts]
return await asyncio.gather(*tasks, return_exceptions=True)
Táto trieda zapuzdruje všetky vzory prebrané v tomto kurze: asynchrónny klient, semaphore, backoff, cache a spracovanie chýb. Poskytuje pevný východiskový bod pre tvoje produkčné projekty.
Kľúčové poznatky
- Batch API ponúka 20 % zľavu na spôsobilé modely, ale ukladá oneskorenie spracovania
- Vyber si medzi asynchrónnym spracovaním v reálnom čase a dávkovým spracovaním na základe tvojich obmedzení latencie
- Kontrolný zoznam pre nasadenie do prevádzky pokrýva konfiguráciu, chyby, monitorovanie, výkon a bezpečnosť
- Trieda
GrokAsyncProcessorzapuzdruje všetky vzory z kurzu do jednej abstrakcie - Pred spustením hromadného spracovania vždy otestuj svoju konfiguráciu na malej dávke
Otestuj si svoje vedomosti
Async, limity, cache: produkčné vzory v piatich otázkach.
1. Kedy má async prednosť pred sync?
Odpoveď: Vždy pri spracovaní viacerých nezávislých požiadaviek: AsyncClient (alebo AsyncOpenAI) prekrýva čakanie na sieť – priepustnosť sa násobí bez násobenia vlákien.
2. Ako spracovať dávku bez dosiahnutia limitov?
Odpoveď: asyncio.gather pre paralelizmus, semaphore na obmedzenie súbežných požiadaviek a exponenciálny backoff pri HTTP 429 – rešpektujúc limity RPM/TPM v konzole.
3. Ako riešiť kontext viacerých kôl vo veľkom meradle?
Odpoveď: Prostredníctvom ukladania odpovedí na strane servera a opätovného použitia šifrovaného usudzovania – stav žije na strane API, tvoj kód sleduje iba identifikátory.
4. Čo potrebuješ vedieť o cache a časových limitoch?
Odpoveď: Cache konverzácie (x-grok-conv-id) urýchľuje nasledujúce vlákna a požiadavky na usudzovanie vyžadujú prispôsobené časové limity – dve nastavenia, ktoré transformujú produkciu.
5. Čo obsahuje produkčný kontrolný zoznam z kurzu?
Odpoveď: Zvládnutý async, rešpektované limity (semaphore + backoff), batch pre studený objem, nakonfigurované časové limity a opakovania, sledované náklady – robustnosť ako kontrolný zoznam.
Obmedzená súbežnosť, plánované zlyhania, stav na strane servera: asynchrónne vzory transformujú tvoje skripty na služby – finálny kontrolný zoznam ich uzamkne.