Batch API koncepcija
Šiame puslapyje
Atnaujinta 2026 m. lapkričio 2 d. pagal xAI dokumentaciją: nuolaida partijoms („batch“) yra 20 % tinkamiems teksto modeliams (ne 50 %), pavyzdžiai atitinka REST API ir oficialųjį
xai-sdk(client.batch.*; xAI „Batch API“ nenaudoja „OpenAI“ formato, todėl „OpenAI SDK“ netinka), o „Responses API“ eina prieš „Chat Completions“, kuris xAI sistemoje yra pasenusi galutinė sąsaja. Šaltiniai: Batch API · REST nuoroda · Partijų kainodara.
Asinchronis masinis apdorojimas
xAI „Batch API“ leidžia viena operacija išsiųsti tūkstančius užklausų, o rezultatus gauti baigus apdorojimą. Skirtingai nei sinchroniniai kvietimai, kai tenka laukti kiekvieno atsakymo, partijų režimas veikia asinchroniškai: pateiki partiją, toliau dirbi savo darbus ir prie rezultatų grįžti vėliau.
Šis požiūris sprendžia realų poreikį. Jei reikia apibendrinti 10 000 straipsnių, klasifikuoti 50 000 palaikymo bilietų arba sugeneruoti katalogo aprašymų, užklausų siuntimas po vieną būtų lėtas, brangus ir greitai pasiektum užklausų ribas. Partijų užklausos į šias ribas neįskaičiuojamos.
20 % nuolaida tinkamiems modeliams
Ekonominė nauda yra reali, tačiau kuklesnė, nei teigia kai kurie šaltiniai. xAI taiko 20 % nuolaidą partijų užklausoms savo tinkamiems teksto modeliams – 2026 m. lapkričio 2 d. duomenimis: grok-4.7, grok-4.6, grok-4.5, grok-4.3 ir trys grok-4.20-0309 variantai – visiems žetonų tipams: įvesties, išvesties, talpyklos ir samprotavimo. Modeliams, kurių nėra šiame sąraše, nuolaida netaikoma, net jei jie priima partijų užklausas.
Vaizdų ir vaizdo įrašų generavimas veikia partijų režimu, tačiau taikoma standartinė kainodara. Ne kiekvienas modelis priima partijas: kiekvieno modelio puslapyje nurodyta, ar jis tai palaiko, o užklausa netinkamam modeliui bus atmesta su klaidos pranešimu not supported for batch processing.
Keturių žingsnių darbo eiga
„Batch API“ laikosi paprasto ir nuspėjamo modelio:
- Sukurk įvardytą partiją naudodamas
POST /v1/batches - Pridėk užklausas – arba pakopomis, arba visas iš karto naudodamas JSONL failą
- Stebėk eigą naudodamas partijų skaitiklius
- Gauk rezultatus, kai jie tampa prieinami, arba procesui pasibaigus
Ši darbo eiga atskiria pateikimą nuo apdorojimo: tau nereikia laikyti atviro ryšio, kol „Grok“ dirba. Dauguma partijų apdorojamos per mažiau nei 24 valandas, tačiau xAI to negarantuoja: trukmė priklauso nuo apkrovos ir partijos dydžio.
Palaikomos galutinės sąsajos
„Batch API“ neapsiriboja tik tekstu. Vienoje partijoje galima maišyti užklausas į:
/v1/responses– „Responses API“ su serverio pusės įrankiais (interneto paieška, „X“ paieška, kodo vykdymas, MCP)/v1/chat/completions– „Chat Completions API“, pasenusi galutinė sąsaja xAI sistemoje/v1/images/generationsir/v1/images/edits– vaizdų generavimas ir redagavimas/v1/videos/generations(arba/v1/videos),/v1/videos/editsir/v1/videos/extensions– vaizdo įrašų generavimas, redagavimas ir pratęsimas
Pavyzdžiui, toje pačioje partijoje gali sugeneruoti produktų aprašymus ir jiems skirtus vaizdus.
Kada naudoti „Batch API“
„Batch API“ puikiai tinka tais atvejais, kai rezultato galima palaukti:
- Masinis duomenų apdorojimas: tūkstančių dokumentų klasifikavimas, informacijos ištraukimas ir santraukų kūrimas
- Vertinimas: tūkstančių bandomųjų užklausų paleidimas per modelį
- Duomenų vamzdynai: duomenų bazės praturtinimas, turinio backlogo moderavimas ir ataskaitų rengimas nakties metu
Jei tavo scenarijus reikalauja momentalaus atsakymo (pokalbių robotas, realiuoju laiku veikiantis asistentas), „Batch API“ netinka: jis skirtas darbo krūviams, kuriems priimtinas kelių valandų delsos laikas.
Svarbiausi punktai
- „Batch API“ užklausas apdoroja asinchroniškai, daugumą – per mažiau nei 24 val., tačiau tai negarantuojama
- 20 % nuolaida visiems žetonams tinkamiems teksto modeliams; vaizdams ir vaizdo įrašams taikoma standartinė kainodara
- Darbo eigą sudaro keturi žingsniai: sukurti, pridėti, stebėti, gauti
- Tekstas, vaizdai ir vaizdo įrašai gali egzistuoti toje pačioje partijoje
- Partijų užklausos neįskaičiuojamos į užklausų ribas, tačiau jos netinka realiojo laiko scenarijams