Terveik pipeline otsast otsani
Sellel lehel
Kursust uuendati 2. novembril 2026 vastavalt xAI dokumentatsioonile: soodustus partii töötlemisel on 20% sobivate teksti mudelite puhul (mitte 50%), näited järgivad REST API-t ja ametlikku
xai-sdk-d (client.batch.*; xAI partii API ei ühti OpenAI vorminguga, seega OpenAI SDK ei kehti) ning Responses API-l on eelis Chat Completionsi ees, mis on xAI puhul iganenud lõpp-punkt. Allikad: Batch API · REST Reference · Batch Pricing.
Tükkide kokkupanek
Eelmistes tundides käsitlesime iga sammu eraldi. Selles tunnis paneme need kokku terviklikuks pipeline’iks, alates andmete ettevalmistamisest kuni tulemuste töötlemiseni. Lõpuks on sul skript, mida saad oma kasutusjuhu jaoks kohandada.
Täielik Pythoni pipeline
import json
import time
from xai_sdk import Client
client = Client() # võti loetakse XAI_API_KEY-st
# --- 1. samm: andmete ettevalmistamine ---
documents = [
{"id": f"doc-{i}", "text": f"Dokumendi sisu {i}..."}
for i in range(100)
]
# --- 2. samm: JSONL-faili kirjutamine ---
with open("batch_requests.jsonl", "w", encoding="utf-8") as f:
for doc in documents:
ligne = {
"custom_id": doc["id"],
"method": "POST",
"url": "/v1/responses",
"body": {
"model": "grok-4.3",
"input": [
{"role": "system", "content": "Tee kahe lausega kokkuvõte."},
{"role": "user", "content": doc["text"]},
],
"max_output_tokens": 200,
},
}
f.write(json.dumps(ligne, ensure_ascii=False) + "\n")
# --- 3. samm: faili üleslaadimine ---
with open("batch_requests.jsonl", "rb") as f:
fichier = client.files.upload(f, filename="batch_requests.jsonl")
# --- 4. samm: partii loomine failist (nüüd on see lukustatud) ---
batch = client.batch.create(batch_name="resumes_documents", input_file_id=fichier.id)
print(f"Partii loodud: {batch.batch_id}")
# --- 5. samm: oota töötlemise lõppemist ---
while True:
batch = client.batch.get(batch_id=batch.batch_id)
etat = batch.state
if batch.cancel_by_xai_message:
raise RuntimeError(f"xAI tühistas partii: {batch.cancel_by_xai_message}")
if etat.num_requests > 0 and etat.num_pending == 0:
break
print(f"{etat.num_success + etat.num_error}/{etat.num_requests} päringut töödeldud")
time.sleep(300) # iga 5 minuti järel
# --- 6. samm: tulemuste hankimine lehe kaupa ---
resultats, echecs = {}, []
jeton = None
while True:
page = client.batch.list_batch_results(
batch_id=batch.batch_id, limit=100, pagination_token=jeton
)
for r in page.succeeded:
resultats[r.batch_request_id] = r.response.content
echecs.extend(page.failed)
if page.pagination_token is None:
break
jeton = page.pagination_token
with open("batch_results.json", "w", encoding="utf-8") as f:
json.dump(resultats, f, ensure_ascii=False, indent=2)
print(f"{len(resultats)} tulemust, {len(echecs)} tõrget")
print("Kogukulu: $%.4f" % (batch.cost_breakdown.total_cost_usd_ticks / 1e10))
Kolm detaili on olulised. Lõpetamise tingimus nõuab num_requests > 0, sest failist loodud partii loetakse taustal: kohe pärast loomist võivad selle loendurid olla endiselt nullid. Väli cancel_by_xai_message annab märku xAI-poolsest tühistamisest, näiteks vigase rea tõttu. Kulu väljendatakse tickides, mis on dollari kümnemiljardikud.
cURLi pipeline samm-sammult
Kui eelistad käsurida, on siin cURLi ekvivalent (kasutades jq vastuste lugemiseks):
# 1. Laadi JSONL-fail üles
FILE_ID=$(curl -s -X POST https://api.x.ai/v1/files \
-H "Authorization: Bearer $XAI_API_KEY" \
-F file="@batch_requests.jsonl" | jq -r '.id')
echo "Fail: $FILE_ID"
# 2. Loo partii failist
BATCH_ID=$(curl -s -X POST https://api.x.ai/v1/batches \
-H "Authorization: Bearer $XAI_API_KEY" \
-H "Content-Type: application/json" \
-d "{\"name\": \"resumes_documents\", \"input_file_id\": \"$FILE_ID\"}" | jq -r '.batch_id')
echo "Partii: $BATCH_ID"
# 3. Loe loendureid
curl -s "https://api.x.ai/v1/batches/$BATCH_ID" \
-H "Authorization: Bearer $XAI_API_KEY" | jq '.state'
# 4. Hangi tulemuste esimene leht
curl -s "https://api.x.ai/v1/batches/$BATCH_ID/results?limit=100" \
-H "Authorization: Bearer $XAI_API_KEY" > results-page-1.json
Järgmiste lehtede hankimiseks lisa &pagination_token=…, kasutades eelmise lehe tagastatud väärtust.
Veakäsitlus tootmises
Tugev pipeline eristab kolme vealiiki:
Esitamise vead: faili üleslaadimine või partii loomine ebaõnnestub. Korda ajutisi vigu (aegumine, kiirusepiirang, serveriviga) kasvava viitega: 1 s, 2 s, 4 s, 8 s.
Töötlemise vead: mõned päringud partii sees ebaõnnestuvad. Need ilmuvad välja page.failed koos oma sõnumiga; esita need uuesti, ja ainult need, uues partiis.
Aegumine ja aegumistähtaeg: 24-tunnine aken on soovituslik, mitte garanteeritud. Mis on halastamatu, on aegumistähtaeg (expire_time): pärast seda punkti pole tulemused enam kättesaadavad. Hangi need saabumise järjekorras, mitte kõik korraga lõpus.
# Ebaõnnestunud päringud: tuvasta need uues partiis uuesti esitamiseks
for r in echecs:
print(f"Tõrge: {r.batch_request_id} — {r.error_message}")
a_relancer = {r.batch_request_id for r in echecs}
Kulude optimeerimine
Säästud kuhjuvad nelja hoovaga. Mudeli valik on esikohal, kaugelt võimsaim: 2. novembri 2026. aasta tavahinnaga maksab grok-4.3 1,25 dollarit miljoni sisendtokeni kohta ja 2,50 dollarit väljundi eest, võrreldes grok-4.7 hindadega 2 ja 6 dollarit (vihjed alla 200 000 tokeni). Klassifitseerimiseks või lühikeseks ekstraheerimiseks piisab sageli kergemast mudelist ja 20% partii soodustus kehtib mõlemale. Vastuse pikkus on järgmine: max_output_tokens hoiab ära maksmise ebavajalikult pikkade väljundite eest – klassifitseerimiseks piisab mõnest tokenist. Vihjed: kümne tokeni eemaldamine vihjest, mida korratakse 50 000 korda, säästab 500 000 sisendtokenit. Lõpuks vahemälu: xAI vahemällu salvestab automaatselt identsete päringute algused ja partii soodustus kehtib ka vahemälust serveeritud tokenitele; seega paiguta ühised juhised iga päringu algusesse, enne muutuvat osa.
Peamised punktid
- Täielik pipeline hõlmab kuut sammu: ettevalmistus, JSONL, üleslaadimine, loomine, jälgimine, hankimine
- Failist pärit partii loetakse taustal: oota
num_requests > 0, enne kui järeldad, et see on lõppenud - Käitle kolme vealiiki: esitamine, töötlemine, aegumine ja aegumistähtaeg
- Hangi ja salvesta tulemused saabumise järjekorras, enne
expire_timei - Mudeli valik, väljundi pikkus, lühikesed vihjed ja ühised prefiksid maksimeerivad sääste