Pabeigts end-to-end konveijers
Šajā lapā
Kurss atjaunināts 2026. gada 2. novembrī, balstoties uz xAI dokumentāciju: atlaide par partijas apstrādi ir 20 % atbilstošajiem teksta modeļiem (nevis 50 %), piemēri seko REST API un oficiālajam
xai-sdk(client.batch.*; xAI partijas API neatbilst OpenAI formātam, tāpēc OpenAI SDK nav piemērojams), un Responses API ir prioritārs pār Chat Completions, kas xAI ir novecojis galapunkts. Avoti: Batch API · REST Reference · Batch Pricing.
Daļu apvienošana
Iepriekšējās nodarbībās katrs solis tika aplūkots atsevišķi. Šajā nodarbībā mēs tos apvienojam vienotā konveijerā – no datu sagatavošanas līdz rezultātu apstrādei. Rezultātā tev būs skripts, ko vari pielāgot savam lietojumam.
Pilns Python konveijers
import json
import time
from xai_sdk import Client
client = Client() # atslēga tiek nolasīta no XAI_API_KEY
# --- 1. solis: datu sagatavošana ---
documents = [
{"id": f"doc-{i}", "text": f"Dokumenta saturs {i}..."}
for i in range(100)
]
# --- 2. solis: JSONL faila rakstīšana ---
with open("batch_requests.jsonl", "w", encoding="utf-8") as f:
for doc in documents:
ligne = {
"custom_id": doc["id"],
"method": "POST",
"url": "/v1/responses",
"body": {
"model": "grok-4.3",
"input": [
{"role": "system", "content": "Apkopojiet divos teikumos."},
{"role": "user", "content": doc["text"]},
],
"max_output_tokens": 200,
},
}
f.write(json.dumps(ligne, ensure_ascii=False) + "\n")
# --- 3. solis: faila augšupielāde ---
with open("batch_requests.jsonl", "rb") as f:
fichier = client.files.upload(f, filename="batch_requests.jsonl")
# --- 4. solis: partijas izveide no faila (tagad tas ir noslēgts) ---
batch = client.batch.create(batch_name="resumes_documents", input_file_id=fichier.id)
print(f"Partija izveidota: {batch.batch_id}")
# --- 5. solis: gaidīt, līdz apstrāde pabeigta ---
while True:
batch = client.batch.get(batch_id=batch.batch_id)
etat = batch.state
if batch.cancel_by_xai_message:
raise RuntimeError(f"Partiju atcēla xAI: {batch.cancel_by_xai_message}")
if etat.num_requests > 0 and etat.num_pending == 0:
break
print(f"{etat.num_success + etat.num_error}/{etat.num_requests} pieprasījumi apstrādāti")
time.sleep(300) # ik pēc 5 minūtēm
# --- 6. solis: rezultātu iegūšana, lapa pa lapai ---
resultats, echecs = {}, []
jeton = None
while True:
page = client.batch.list_batch_results(
batch_id=batch.batch_id, limit=100, pagination_token=jeton
)
for r in page.succeeded:
resultats[r.batch_request_id] = r.response.content
echecs.extend(page.failed)
if page.pagination_token is None:
break
jeton = page.pagination_token
with open("batch_results.json", "w", encoding="utf-8") as f:
json.dump(resultats, f, ensure_ascii=False, indent=2)
print(f"{len(resultats)} rezultāti, {len(echecs)} kļūmes")
print("Kopējās izmaksas: $%.4f" % (batch.cost_breakdown.total_cost_usd_ticks / 1e10))
Trīs detaļas ir īpaši svarīgas. Apturēšanas nosacījumam ir jābūt num_requests > 0, jo partija, kas izveidota no faila, tiek lasīta fonā: tūlīt pēc izveides tās skaitītāji vēl var būt nulles vērtībā. Lauks cancel_by_xai_message signalizē par xAI veiktu atcelšanu, piemēram, nederīgas rindas dēļ. Un izmaksas ir izteiktas tikos – viena dolāra desmitmiljardajās daļās.
Soli pa solim veidots cURL konveijers
Ja dod priekšroku komandrindai, lūk, cURL ekvivalents (izmantojot jq, lai nolasītu atbildes):
# 1. Augšupielādēt JSONL failu
FILE_ID=$(curl -s -X POST https://api.x.ai/v1/files \
-H "Authorization: Bearer $XAI_API_KEY" \
-F file="@batch_requests.jsonl" | jq -r '.id')
echo "Fails: $FILE_ID"
# 2. Izveidot partiju no faila
BATCH_ID=$(curl -s -X POST https://api.x.ai/v1/batches \
-H "Authorization: Bearer $XAI_API_KEY" \
-H "Content-Type: application/json" \
-d "{\"name\": \"resumes_documents\", \"input_file_id\": \"$FILE_ID\"}" | jq -r '.batch_id')
echo "Partija: $BATCH_ID"
# 3. Nolasīt skaitītājus
curl -s "https://api.x.ai/v1/batches/$BATCH_ID" \
-H "Authorization: Bearer $XAI_API_KEY" | jq '.state'
# 4. Iegūt pirmo rezultātu lapu
curl -s "https://api.x.ai/v1/batches/$BATCH_ID/results?limit=100" \
-H "Authorization: Bearer $XAI_API_KEY" > results-page-1.json
Lai iegūtu nākamās lapas, pievieno &pagination_token=… ar iepriekšējās lapas atgriezto vērtību.
Kļūdu apstrāde ražošanas vidē
Stabils konveijers nošķir trīs kļūdu veidus:
Iesniegšanas kļūdas: faila augšupielāde vai partijas izveide neizdodas. Pārejošas kļūdas (noildze, ātruma ierobežojums, servera kļūda) atkārto ar pieaugošu aizturi: 1 s, 2 s, 4 s, 8 s.
Apstrādes kļūdas: daži pieprasījumi partijas ietvaros neizdodas. Tie parādās page.failed kopā ar to ziņojumu; atkārtoti iesniedz tikai tos jaunā partijā.
Noildze un termiņa beigas: 24 stundu logs ir orientējošs, nevis garantēts. Neatlaidīgs ir termiņš (expire_time): pēc šī brīža rezultāti vairs nav pieejami. Iegūsti tos, tiklīdz tie pienāk, nevis visus vienlaikus beigās.
# Neizdevušies pieprasījumi: identificē tos, lai atkārtoti iesniegtu jaunā partijā
for r in echecs:
print(f"Kļūme: {r.batch_request_id} — {r.error_message}")
a_relancer = {r.batch_request_id for r in echecs}
Izmaksu optimizēšana
Ietaupījumi uzkrājas, izmantojot četrus sviras punktus. Modeļa izvēle ir pirmā un tālu visspēcīgākā: pēc standarta tarifa 2026. gada 2. novembrī grok-4.3 maksā 1,25 USD par miljonu ievades tokenus un 2,50 USD par izvades tokeniem, savukārt grok-4.7 – attiecīgi 2 USD un 6 USD (uzvednēm, kas īsākas par 200 000 tokeniem). Klasifikācijai vai īsai ekstrakcijai bieži vien pietiek ar vieglāko modeli, un 20 % partijas atlaide attiecas uz abiem. Nākamais ir atbildes garums: max_output_tokens novērš maksāšanu par nevajadzīgi gariem izvadiem – klasifikācijai pietiek ar dažiem tokeniem. Uzvednes: izsvītrojot desmit tokenus no uzvednes, kas atkārtojas 50 000 reižu, ietaupi 500 000 ievades tokenus. Visbeidzot, kešatmiņa: xAI automātiski kešo identiskus pieprasījumu sākumus, un partijas atlaide attiecas arī uz tokeniem, kas pasniegti no kešatmiņas; tāpēc kopīgas instrukcijas izvieto katra pieprasījuma sākumā, pirms mainīgās daļas.
Galvenās atziņas
- Pilns konveijers ietver sešus soļus: sagatavošana, JSONL, augšupielāde, izveide, uzraudzība, iegūšana
- Partija, kas izveidota no faila, tiek lasīta fonā: pirms secini, ka tā ir pabeigta, pagaidi, līdz
num_requests > 0 - Apstrādā trīs kļūdu veidus: iesniegšana, apstrāde, noildze un termiņa beigas
- Iegūsti un saglabā rezultātus, tiklīdz tie pienāk, pirms iestājas
expire_time - Modeļa izvēle, izvades garums, īsas uzvednes un kopīgi prefiksi maksimāli palielina ietaupījumus