Kompletný end-to-end pipeline
Na tejto strane
Kurz aktualizovaný 2. novembra 2026 na základe dokumentácie xAI: zľava pre batch je 20 % na oprávnené textové modely (nie 50 %), príklady nasledujú REST API a oficiálny
xai-sdk(client.batch.*; Batch API od xAI nezodpovedá formátu OpenAI, takže SDK od OpenAI nie je použiteľné) a Responses API má prednosť pred Chat Completions, čo je zastaraný koncový bod v xAI. Zdroje: Batch API · REST Reference · Batch Pricing.
Spojenie dielov dohromady
Predchádzajúce lekcie pokrývali každý krok samostatne. Táto lekcia ich spája do kompletného pipeline, od prípravy dát až po spracovanie výsledkov. Na konci budeš mať skript, ktorý môžeš prispôsobiť svojmu prípadu použitia.
Kompletný Python pipeline
import json
import time
from xai_sdk import Client
client = Client() # kľúč sa číta z XAI_API_KEY
# --- Krok 1: príprava dát ---
documents = [
{"id": f"doc-{i}", "text": f"Obsah dokumentu {i}..."}
for i in range(100)
]
# --- Krok 2: zápis súboru JSONL ---
with open("batch_requests.jsonl", "w", encoding="utf-8") as f:
for doc in documents:
ligne = {
"custom_id": doc["id"],
"method": "POST",
"url": "/v1/responses",
"body": {
"model": "grok-4.3",
"input": [
{"role": "system", "content": "Zhrň do dvoch viet."},
{"role": "user", "content": doc["text"]},
],
"max_output_tokens": 200,
},
}
f.write(json.dumps(ligne, ensure_ascii=False) + "\n")
# --- Krok 3: nahranie súboru ---
with open("batch_requests.jsonl", "rb") as f:
fichier = client.files.upload(f, filename="batch_requests.jsonl")
# --- Krok 4: vytvorenie batch zo súboru (teraz je uzavretý) ---
batch = client.batch.create(batch_name="resumes_documents", input_file_id=fichier.id)
print(f"Batch vytvorený: {batch.batch_id}")
# --- Krok 5: čakanie na dokončenie spracovania ---
while True:
batch = client.batch.get(batch_id=batch.batch_id)
etat = batch.state
if batch.cancel_by_xai_message:
raise RuntimeError(f"Batch zrušený xAI: {batch.cancel_by_xai_message}")
if etat.num_requests > 0 and etat.num_pending == 0:
break
print(f"{etat.num_success + etat.num_error}/{etat.num_requests} požiadaviek spracovaných")
time.sleep(300) # každých 5 minút
# --- Krok 6: získanie výsledkov, stránka po stránke ---
resultats, echecs = {}, []
jeton = None
while True:
page = client.batch.list_batch_results(
batch_id=batch.batch_id, limit=100, pagination_token=jeton
)
for r in page.succeeded:
resultats[r.batch_request_id] = r.response.content
echecs.extend(page.failed)
if page.pagination_token is None:
break
jeton = page.pagination_token
with open("batch_results.json", "w", encoding="utf-8") as f:
json.dump(resultats, f, ensure_ascii=False, indent=2)
print(f"{len(resultats)} výsledkov, {len(echecs)} zlyhaní")
print("Celkové náklady: $%.4f" % (batch.cost_breakdown.total_cost_usd_ticks / 1e10))
Tri detaily sú kľúčové. Podmienka zastavenia vyžaduje num_requests > 0, pretože batch vytvorený zo súboru sa číta na pozadí: hneď po vytvorení môžu byť jeho počítadlá stále nulové. Pole cancel_by_xai_message signalizuje zrušenie zo strany xAI, napríklad kvôli neplatnému riadku. A náklady sú vyjadrené v tickoch, čo sú desetimiliardtiny dolára.
Postupný cURL pipeline
Ak preferuješ príkazový riadok, tu je ekvivalent v cURL (používajúci jq na čítanie odpovedí):
# 1. Nahranie súboru JSONL
FILE_ID=$(curl -s -X POST https://api.x.ai/v1/files \
-H "Authorization: Bearer $XAI_API_KEY" \
-F file="@batch_requests.jsonl" | jq -r '.id')
echo "Súbor: $FILE_ID"
# 2. Vytvorenie batch zo súboru
BATCH_ID=$(curl -s -X POST https://api.x.ai/v1/batches \
-H "Authorization: Bearer $XAI_API_KEY" \
-H "Content-Type: application/json" \
-d "{\"name\": \"resumes_documents\", \"input_file_id\": \"$FILE_ID\"}" | jq -r '.batch_id')
echo "Batch: $BATCH_ID"
# 3. Čítanie počítadiel
curl -s "https://api.x.ai/v1/batches/$BATCH_ID" \
-H "Authorization: Bearer $XAI_API_KEY" | jq '.state'
# 4. Získanie prvej stránky výsledkov
curl -s "https://api.x.ai/v1/batches/$BATCH_ID/results?limit=100" \
-H "Authorization: Bearer $XAI_API_KEY" > results-page-1.json
Ďalšie stránky získaš pridaním &pagination_token=… s hodnotou vrátenou predchádzajúcou stránkou.
Spracovanie chýb v produkcii
Robustný pipeline rozlišuje tri rodiny chýb:
Chyby odoslania: nahranie súboru alebo vytvorenie batch zlyhá. Pre prechodné chyby (časový limit, obmedzenie rýchlosti, chyba servera) opakuj pokus so zvyšujúcim sa oneskorením: 1 s, 2 s, 4 s, 8 s.
Chyby spracovania: niektoré požiadavky v rámci batch zlyhajú. Objavia sa v page.failed so svojou správou; znovu ich odošli, a len ich, v novom batch.
Časové limity a expirácia: 24-hodinové okno je orientačné, nie garantované. Neúprosná je expirácia (expire_time): po tomto čase už výsledky nie sú dostupné. Získavaj ich priebežne, ako prichádzajú, namiesto toho, aby si čakal na všetky naraz na konci.
# Zlyhané požiadavky: identifikuj ich na opätovné odoslanie v novom batch
for r in echecs:
print(f"Zlyhanie: {r.batch_request_id} — {r.error_message}")
a_relancer = {r.batch_request_id for r in echecs}
Optimalizácia nákladov
Úspory sa kumulujú cez štyri páky. Výber modelu je prvá a zďaleka najvýkonnejšia: pri štandardnej sadzbe k 2. novembru 2026 stojí grok-4.3 1,25 $ za milión vstupných tokenov a 2,50 $ za výstupné, oproti 2 $ a 6 $ za grok-4.7 (pre prompty pod 200 000 tokenov). Pre klasifikáciu alebo krátku extrakciu často stačí ľahší model a 20 % batch zľava platí pre oba. Dĺžka odpovede je ďalšia: max_output_tokens zabraňuje plateniu za zbytočne dlhé výstupy – pre klasifikáciu stačí niekoľko tokenov. Prompty: odstránenie desiatich tokenov z promptu opakovaného 50 000-krát ušetrí 500 000 vstupných tokenov. Nakoniec, cache: xAI automaticky ukladá do cache identické začiatky požiadaviek a batch zľava platí aj pre tokeny obsluhované z cache; umiestni teda spoločné inštrukcie na začiatok každej požiadavky, pred meniacu sa časť.
Kľúčové poznatky
- Kompletný pipeline pokrýva šesť krokov: príprava, JSONL, nahranie, vytvorenie, monitorovanie, získanie
- Batch zo súboru sa číta na pozadí: pred záverom, že je hotový, počkaj, kým
num_requests > 0 - Spracúvaj tri rodiny chýb: odoslanie, spracovanie, časový limit a expirácia
- Získavaj a ukladaj výsledky priebežne, pred uplynutím
expire_time - Výber modelu, dĺžka výstupu, krátke prompty a spoločné prefixy maximalizujú úspory