Batch API kontseptsioon
Sellel lehel
Uuendatud 2. novembril 2026, lähtudes xAI dokumentatsioonist: soodustus pakettidele on 20% sobivatele teksti mudelitele (mitte 50%), näited järgivad REST API-t ja ametlikku
xai-sdk-d (client.batch.*; xAI Batch API ei kasuta OpenAI vormingut, seega OpenAI SDK ei sobi), ning Responses API eelneb Chat Completionsile, mis on xAI-s iganenud lõpp-punkt. Allikad: Batch API · REST viide · Pakettide hinnakiri.
Asünkroonne hulgatöötlus
xAI Batch API võimaldab sul saata tuhandeid päringuid ühe toiminguna ja tulemused kätte saada alles pärast töötlemise lõppu. Erinevalt sünkroonsetest päringutest, kus ootad iga vastuse järele, töötab pakettrežiim asünkroonselt: saadad paketi, jätkad oma tegevust ja pöördud tulemuste järele hiljem tagasi.
See lähenemine lahendab reaalse probleemi. Kui sul on vaja kokku võtta 10 000 artiklit, liigitada 50 000 tugiteenuse pöördumist või kirjutada tootekataloogi kirjeldusi, oleks päringute ükshaaval saatmine aeglane, kallis ja viiks kiiresti kasutuspiiranguteni. Pakett-päringuid nende piirangute arvestusse ei võeta.
20% soodustus sobivatele mudelitele
Majanduslik eelis on reaalne, kuid tagasihoidlikum, kui mõned allikad väidavad. xAI rakendab 20% soodustust pakett-päringutele oma sobivatele teksti mudelitele – seisuga 2. november 2026: grok-4.7, grok-4.6, grok-4.5, grok-4.3 ja kolm grok-4.20-0309 varianti – kõigi tokenite tüüpide puhul: sisend, väljund, vahemälu ja arutlemine. Sellesse nimekirja kuulumatud mudelid soodustust ei saa, isegi kui nad pakette aktsepteerivad.
Pildi ja video genereerimine toimub paketina, kuid tavahinnaga. Mitte iga mudel ei toeta pakette: iga mudeli lehel on märgitud, kas see on võimalik, ja sobimatule mudelile saadetud päring lükatakse tagasi veateatega not supported for batch processing.
Neljaastmeline töövoog
Batch API järgib lihtsat ja ennustatavat mustrit:
- Loo nimeline pakett kasutades
POST /v1/batches - Lisa päringud, kas järjestikuste kutsetega või korraga JSONL-faili kaudu
- Jälgi edenemist paketi loendurite abil
- Hangi tulemused, kui need on kättesaadavad, või protsessi lõpus
See töövoog eraldab esitamise töötlemisest: sul pole vaja hoida ühendust avatuna, samal ajal kui Grok töötab. Enamik pakette töödeldakse alla 24 tunni, kuid xAI ei garanteeri seda: tarneaeg varieerub sõltuvalt koormusest ja paketi suurusest.
Toetatud lõpp-punktid
Batch API ei piirdu ainult tekstiga. Üks pakett võib sisaldada päringuid järgmistele lõpp-punktidele:
/v1/responses— Responses API, koos serveripoolsete tööriistadega (veebiotsing, X-i otsing, koodi täitmine, MCP)/v1/chat/completions— Chat Completions API, mis on xAI-s iganenud lõpp-punkt/v1/images/generationsja/v1/images/edits— piltide genereerimine ja muutmine/v1/videos/generations(või/v1/videos),/v1/videos/editsja/v1/videos/extensions— videote genereerimine, muutmine ja pikendamine
Näiteks saad samas paketis kirjutada tootekirjeldused ja genereerida nende visuaalid.
Millal kasutada Batch API-t
Batch API sobib hästi olukordadesse, kus tulemus võib oodata:
- Hulgiandmete töötlemine: tuhandete dokumentide liigitamine, ekstraheerimine ja kokkuvõtmine
- Hindamine: tuhandete testpromptide käivitamine mudelis
- Andmetorustikud: andmebaasi rikastamine, sisu järjekorra modereerimine ja ühe ööga ette valmistatud aruanded
Kui sinu kasutusjuhtum nõuab viivitamatut vastust (vestlusrobot, reaalaja assistent), siis Batch API ei sobi: see on mõeldud töökoormustele, kus mõnetunnine viivitus on vastuvõetav.
Peamised punktid
- Batch API töötleb päringuid asünkroonselt, enamik neist alla 24 tunni, kuid garantiid pole
- 20% soodustus kõigile tokenitele sobivate teksti mudelite puhul; pildid ja videod tavahinnaga
- Töövoog koosneb neljast sammust: loo, lisa, jälgi, hangi
- Tekst, pildid ja videod võivad eksisteerida samas paketis
- Pakett-päringuid ei arvestata kasutuspiirangutesse, kuid need ei sobi reaalajaks