Lähe põhisisu juurde
Eesti— Vali keel
Menüü

Batch API kontseptsioon

Õppetund 1 / 12 Värskendatud 2. november 2026 Arendajatele
Sellel lehel
  1. Asünkroonne hulgatöötlus
  2. 20% soodustus sobivatele mudelitele
  3. Neljaastmeline töövoog
  4. Toetatud lõpp-punktid
  5. Millal kasutada Batch API-t
  6. Peamised punktid

Uuendatud 2. novembril 2026, lähtudes xAI dokumentatsioonist: soodustus pakettidele on 20% sobivatele teksti mudelitele (mitte 50%), näited järgivad REST API-t ja ametlikku xai-sdk-d (client.batch.*; xAI Batch API ei kasuta OpenAI vormingut, seega OpenAI SDK ei sobi), ning Responses API eelneb Chat Completionsile, mis on xAI-s iganenud lõpp-punkt. Allikad: Batch API · REST viide · Pakettide hinnakiri.

Asünkroonne hulgatöötlus

xAI Batch API võimaldab sul saata tuhandeid päringuid ühe toiminguna ja tulemused kätte saada alles pärast töötlemise lõppu. Erinevalt sünkroonsetest päringutest, kus ootad iga vastuse järele, töötab pakettrežiim asünkroonselt: saadad paketi, jätkad oma tegevust ja pöördud tulemuste järele hiljem tagasi.

See lähenemine lahendab reaalse probleemi. Kui sul on vaja kokku võtta 10 000 artiklit, liigitada 50 000 tugiteenuse pöördumist või kirjutada tootekataloogi kirjeldusi, oleks päringute ükshaaval saatmine aeglane, kallis ja viiks kiiresti kasutuspiiranguteni. Pakett-päringuid nende piirangute arvestusse ei võeta.

20% soodustus sobivatele mudelitele

Majanduslik eelis on reaalne, kuid tagasihoidlikum, kui mõned allikad väidavad. xAI rakendab 20% soodustust pakett-päringutele oma sobivatele teksti mudelitele – seisuga 2. november 2026: grok-4.7, grok-4.6, grok-4.5, grok-4.3 ja kolm grok-4.20-0309 varianti – kõigi tokenite tüüpide puhul: sisend, väljund, vahemälu ja arutlemine. Sellesse nimekirja kuulumatud mudelid soodustust ei saa, isegi kui nad pakette aktsepteerivad.

Pildi ja video genereerimine toimub paketina, kuid tavahinnaga. Mitte iga mudel ei toeta pakette: iga mudeli lehel on märgitud, kas see on võimalik, ja sobimatule mudelile saadetud päring lükatakse tagasi veateatega not supported for batch processing.

-20%
Tokenid sobivatele mudelitele
24h
Tüüpiline tarneaeg, pole garanteeritud
50K
Päringuid faili kohta
200 MB
JSONL maksimaalne suurus

Neljaastmeline töövoog

Batch API järgib lihtsat ja ennustatavat mustrit:

  1. Loo nimeline pakett kasutades POST /v1/batches
  2. Lisa päringud, kas järjestikuste kutsetega või korraga JSONL-faili kaudu
  3. Jälgi edenemist paketi loendurite abil
  4. Hangi tulemused, kui need on kättesaadavad, või protsessi lõpus

See töövoog eraldab esitamise töötlemisest: sul pole vaja hoida ühendust avatuna, samal ajal kui Grok töötab. Enamik pakette töödeldakse alla 24 tunni, kuid xAI ei garanteeri seda: tarneaeg varieerub sõltuvalt koormusest ja paketi suurusest.

Toetatud lõpp-punktid

Batch API ei piirdu ainult tekstiga. Üks pakett võib sisaldada päringuid järgmistele lõpp-punktidele:

  • /v1/responses — Responses API, koos serveripoolsete tööriistadega (veebiotsing, X-i otsing, koodi täitmine, MCP)
  • /v1/chat/completions — Chat Completions API, mis on xAI-s iganenud lõpp-punkt
  • /v1/images/generations ja /v1/images/edits — piltide genereerimine ja muutmine
  • /v1/videos/generations (või /v1/videos), /v1/videos/edits ja /v1/videos/extensions — videote genereerimine, muutmine ja pikendamine

Näiteks saad samas paketis kirjutada tootekirjeldused ja genereerida nende visuaalid.

Millal kasutada Batch API-t

Batch API sobib hästi olukordadesse, kus tulemus võib oodata:

  • Hulgiandmete töötlemine: tuhandete dokumentide liigitamine, ekstraheerimine ja kokkuvõtmine
  • Hindamine: tuhandete testpromptide käivitamine mudelis
  • Andmetorustikud: andmebaasi rikastamine, sisu järjekorra modereerimine ja ühe ööga ette valmistatud aruanded

Kui sinu kasutusjuhtum nõuab viivitamatut vastust (vestlusrobot, reaalaja assistent), siis Batch API ei sobi: see on mõeldud töökoormustele, kus mõnetunnine viivitus on vastuvõetav.

Peamised punktid

  • Batch API töötleb päringuid asünkroonselt, enamik neist alla 24 tunni, kuid garantiid pole
  • 20% soodustus kõigile tokenitele sobivate teksti mudelite puhul; pildid ja videod tavahinnaga
  • Töövoog koosneb neljast sammust: loo, lisa, jälgi, hangi
  • Tekst, pildid ja videod võivad eksisteerida samas paketis
  • Pakett-päringuid ei arvestata kasutuspiirangutesse, kuid need ei sobi reaalajaks