Batch API ir gamybos kontrolinis sąrašas
Šiame puslapyje
„Batch API“ alternatyva: 20 % nuolaida tokenams
Kai realaus laiko apdorojimas nėra būtinas, xAI „Batch API“ siūlo 20 % nuolaidą visiems tinkamų tekstinių modelių tokenams (nuo grok-4.3 iki grok-4.7 pagal 2026 m. lapkričio 2 d. duomenis, žr. xAI kainodarą batch API). Užuot siuntęs užklausas vieną po kitos ir valdęs lygiagretumą, tu pateiki savo užklausas grupėmis per API arba JSONL failu, o rezultatus gauni baigus apdorojimą – paprastai per 24 valandas. Grupinės užklausos neskaičiuojamos į dažnio ribas. Kursas „Batch API“: masinis apdorojimas išsamiai aprašo šį darbo eigą.
Kada naudoti „Batch API“
- Produktų katalogų apdorojimas (tūkstančiai aprašymų)
- Masinis pagalbos bilietų klasifikavimas
- Santraukų generavimas dokumentų bazei
- Bet kokia užduotis, kuriai priimtinas kelių valandų delsos laikas
Kada laikytis klasikinio asinchroninio metodo
- Interaktyvus pokalbių robotas (realaus laiko atsakas)
- Vamzdynas, kuriame kiekvienas žingsnis priklauso nuo ankstesnio
- Realaus laiko stebėsena ir įspėjimai
- Bet kuris atvejis, kai „Batch API“ delsa yra nepriimtina
Požiūrių palyginimas
| Kriterijus | Async + Semaphore | Batch API |
|---|---|---|
| Kaina | Standartinis tarifas | -20 % tokenams tinkamiems modeliams |
| Delsa | Nuo sekundžių iki minučių | Nuo minučių iki valandų |
| Kontrolė | Realaus laiko, momentinės klaidos | Rezultatai baigus apdorojimą, klaidos kiekvienai užklausai |
| Sudėtingumas | Semaphore, backoff, gather | Užklausų grupė arba JSONL failas, skaitliuko sekimas |
| Dažnio ribos | Taikomos RPM/TPM ribos | Valdo xAI |
Gamybos kontrolinis sąrašas
Prieš diegdami asinchroninių užklausų sistemą į gamybinę aplinką, patikrinkite kiekvieną šio sąrašo punktą:
Konfigūracija
- Nustatyta 3600 sekundžių laiko limitas samprotavimo modeliams
- „Semaphore“ dydis pritaikytas pagal faktines dažnio ribas (ne pagal įverčius)
- Eksponentinis atsitraukimas (backoff) su trikdžiu (jitter) įgyvendintas 429 klaidoms
- API raktai užkraunami iš aplinkos kintamųjų, niekada nekoduojami tiesiai kode
- Naudojama antraštė
x-grok-conv-idkelių ėjimų pokalbiams
Klaidų apdorojimas
asyncio.gathernaudojamas parametrasreturn_exceptions=Trueklaidoms izoliuoti- 429, laiko limito viršijimo ir ryšio klaidos inicijuoja kartojimą
- Neteisingos užklausos klaidos (
BadRequestError) neinicijuoja kartojimo - Nepavykusios užklausos identifikuojamos ir gali būti kartojamos
- Žurnaluose įrašomas klaidos tipas, bandymo numeris ir kartojimo delsos laikas
Stebėsena
- Sunaudotų tokenų skaičius stebimas per
response.usage - Talpyklos pasiekimų rodiklis matuojamas norint patvirtinti
x-grok-conv-idnaudojimą - Išlaidos vertinamos realiuoju laiku naudojant
cost_in_usd_ticks - Likusios dažnio ribos stebimos dinamiškam „semaphore“ reguliavimui
Našumas
- Skaidymas į dalis (chunking) naudojamas grupėms, didesnėms nei 100 užklausų
- Tarpiniai rezultatai išsaugomi tarp pogrupių
- Ilgai trunkantiems darbams rodoma eiga
- „Semaphore“ reguliuojamas pagal naudojamą modelį (samprotavimas = mažesnis)
Saugumas
- API raktai nerodomi žurnaluose ar klaidų pranešimuose
- Atsakymai, kuriuose yra konfidencialių duomenų, apdorojami operatyviojoje atmintyje, nerašomi į diską
- Nuotolinė saugykla (
store_messages) išjungta konfidencialiems duomenims - Įjungtas
use_encrypted_content, kai reikalingas samprotavimo konfidencialumas
Rekomenduojama architektūra
import os
import asyncio
import uuid
from asyncio import Semaphore
from openai import AsyncOpenAI, RateLimitError, APITimeoutError
import httpx
class GrokAsyncProcessor:
def __init__(self, max_concurrent: int = 5):
self.client = AsyncOpenAI(
api_key=os.getenv("XAI_API_KEY"),
base_url="https://api.x.ai/v1",
timeout=httpx.Timeout(3600.0)
)
self.sem = Semaphore(max_concurrent)
self.conv_id = str(uuid.uuid4())
async def request(self, prompt: str, max_retries: int = 5) -> str:
async with self.sem:
for attempt in range(max_retries):
try:
response = await self.client.chat.completions.create(
model="grok-4.5",
messages=[{"role": "user", "content": prompt}],
extra_headers={"x-grok-conv-id": self.conv_id}
)
return response.choices[0].message.content
except RateLimitError:
if attempt == max_retries - 1:
raise
await asyncio.sleep(2 ** attempt)
except APITimeoutError:
if attempt == max_retries - 1:
raise
await asyncio.sleep(2 ** attempt)
async def batch(self, prompts: list[str]) -> list[str | Exception]:
tasks = [self.request(p) for p in prompts]
return await asyncio.gather(*tasks, return_exceptions=True)
Ši klasė apima visus šiame kurse nagrinėtus šablonus: asinchroninis klientas, „semaphore“, atsitraukimas (backoff), talpykla ir klaidų apdorojimas. Ji suteikia tvirtą starto tašką tavo gamybiniams projektams.
Svarbiausi punktai
- „Batch API“ siūlo 20 % nuolaidą tinkamiems modeliams, tačiau nustato apdorojimo delsą
- Pasirink tarp realaus laiko asinchroninio metodo ir grupinio apdorojimo pagal savo delsos reikalavimus
- Gamybos kontrolinis sąrašas apima konfigūraciją, klaidas, stebėseną, našumą ir saugumą
GrokAsyncProcessorklasė apjungia visus kurso šablonus vienoje abstrakcijoje- Visada išbandyk savo konfigūraciją su maža grupe prieš paleisdami masinį apdorojimą
Patikrink savo žinias
Async, ribos, talpykla: gamybos šablonai penkiuose klausimuose.
1. Kada async nusveria sync?
Atsakymas: Kai apdorojamos kelios nepriklausomos užklausos: „AsyncClient“ (arba „AsyncOpenAI“) persidengia tinklo laukimo laikais – našumas dauginasi nedauginant gijų.
2. Kaip apdoroti grupę nepažeidžiant ribų?
Atsakymas: „asyncio.gather“ lygiagretumui, „semaphore“ lygiagrečių užklausų ribojimui ir eksponentinis atsitraukimas esant HTTP 429 – gerbiant konsolės RPM/TPM ribas.
3. Kaip valdyti kelių ėjimų kontekstą dideliu mastu?
Atsakymas: Per serverio pusės atsakymų saugojimą ir pakartotinai naudojamą šifruotą samprotavimą – būsena lieka API pusėje, tavo kodas tik seka identifikatorius.
4. Ką reikia žinoti apie talpyklą ir laiko limitus?
Atsakymas: Pokalbių talpykla (x-grok-conv-id) pagreitina tolesnes temas, o samprotavimo užklausoms reikia pritaikytų laiko limitų – du nustatymai, kurie transformuoja gamybą.
5. Ką apima kurso gamybos kontrolinis sąrašas?
Atsakymas: Įvaldytas async, laikomasi ribų (semaphore + backoff), grupinis apdorojimas šaltam tūriui, sukonfigūruoti laiko limitai ir kartojimai, stebimos išlaidos – patikimumas kaip kontrolinis sąrašas.
Apribotas lygiagretumas, suplanuoti gedimai, serverio pusės būsena: asinchroniniai šablonai tavo scenarijus paverčia paslaugomis – galutinis kontrolinis sąrašas jas užrakina.