Prejsť na hlavný obsah
Slovenčina— Vyberte jazyk
Menu

Kompletný end-to-end pipeline

Lekcia 7 z 12 Aktualizované 2. novembra 2026 Vývojár
Na tejto strane
  1. Spojenie dielov dohromady
  2. Kompletný Python pipeline
  3. Postupný cURL pipeline
  4. Spracovanie chýb v produkcii
  5. Optimalizácia nákladov
  6. Kľúčové poznatky

Kurz aktualizovaný 2. novembra 2026 na základe dokumentácie xAI: zľava pre batch je 20 % na oprávnené textové modely (nie 50 %), príklady nasledujú REST API a oficiálny xai-sdk (client.batch.*; Batch API od xAI nezodpovedá formátu OpenAI, takže SDK od OpenAI nie je použiteľné) a Responses API má prednosť pred Chat Completions, čo je zastaraný koncový bod v xAI. Zdroje: Batch API · REST Reference · Batch Pricing.

Spojenie dielov dohromady

Predchádzajúce lekcie pokrývali každý krok samostatne. Táto lekcia ich spája do kompletného pipeline, od prípravy dát až po spracovanie výsledkov. Na konci budeš mať skript, ktorý môžeš prispôsobiť svojmu prípadu použitia.

Kompletný Python pipeline

import json
import time

from xai_sdk import Client

client = Client()  # kľúč sa číta z XAI_API_KEY

# --- Krok 1: príprava dát ---
documents = [
    {"id": f"doc-{i}", "text": f"Obsah dokumentu {i}..."}
    for i in range(100)
]

# --- Krok 2: zápis súboru JSONL ---
with open("batch_requests.jsonl", "w", encoding="utf-8") as f:
    for doc in documents:
        ligne = {
            "custom_id": doc["id"],
            "method": "POST",
            "url": "/v1/responses",
            "body": {
                "model": "grok-4.3",
                "input": [
                    {"role": "system", "content": "Zhrň do dvoch viet."},
                    {"role": "user", "content": doc["text"]},
                ],
                "max_output_tokens": 200,
            },
        }
        f.write(json.dumps(ligne, ensure_ascii=False) + "\n")

# --- Krok 3: nahranie súboru ---
with open("batch_requests.jsonl", "rb") as f:
    fichier = client.files.upload(f, filename="batch_requests.jsonl")

# --- Krok 4: vytvorenie batch zo súboru (teraz je uzavretý) ---
batch = client.batch.create(batch_name="resumes_documents", input_file_id=fichier.id)
print(f"Batch vytvorený: {batch.batch_id}")

# --- Krok 5: čakanie na dokončenie spracovania ---
while True:
    batch = client.batch.get(batch_id=batch.batch_id)
    etat = batch.state
    if batch.cancel_by_xai_message:
        raise RuntimeError(f"Batch zrušený xAI: {batch.cancel_by_xai_message}")
    if etat.num_requests > 0 and etat.num_pending == 0:
        break
    print(f"{etat.num_success + etat.num_error}/{etat.num_requests} požiadaviek spracovaných")
    time.sleep(300)  # každých 5 minút

# --- Krok 6: získanie výsledkov, stránka po stránke ---
resultats, echecs = {}, []
jeton = None
while True:
    page = client.batch.list_batch_results(
        batch_id=batch.batch_id, limit=100, pagination_token=jeton
    )
    for r in page.succeeded:
        resultats[r.batch_request_id] = r.response.content
    echecs.extend(page.failed)
    if page.pagination_token is None:
        break
    jeton = page.pagination_token

with open("batch_results.json", "w", encoding="utf-8") as f:
    json.dump(resultats, f, ensure_ascii=False, indent=2)

print(f"{len(resultats)} výsledkov, {len(echecs)} zlyhaní")
print("Celkové náklady: $%.4f" % (batch.cost_breakdown.total_cost_usd_ticks / 1e10))

Tri detaily sú kľúčové. Podmienka zastavenia vyžaduje num_requests > 0, pretože batch vytvorený zo súboru sa číta na pozadí: hneď po vytvorení môžu byť jeho počítadlá stále nulové. Pole cancel_by_xai_message signalizuje zrušenie zo strany xAI, napríklad kvôli neplatnému riadku. A náklady sú vyjadrené v tickoch, čo sú desetimiliardtiny dolára.

Postupný cURL pipeline

Ak preferuješ príkazový riadok, tu je ekvivalent v cURL (používajúci jq na čítanie odpovedí):

# 1. Nahranie súboru JSONL
FILE_ID=$(curl -s -X POST https://api.x.ai/v1/files \
  -H "Authorization: Bearer $XAI_API_KEY" \
  -F file="@batch_requests.jsonl" | jq -r '.id')
echo "Súbor: $FILE_ID"

# 2. Vytvorenie batch zo súboru
BATCH_ID=$(curl -s -X POST https://api.x.ai/v1/batches \
  -H "Authorization: Bearer $XAI_API_KEY" \
  -H "Content-Type: application/json" \
  -d "{\"name\": \"resumes_documents\", \"input_file_id\": \"$FILE_ID\"}" | jq -r '.batch_id')
echo "Batch: $BATCH_ID"

# 3. Čítanie počítadiel
curl -s "https://api.x.ai/v1/batches/$BATCH_ID" \
  -H "Authorization: Bearer $XAI_API_KEY" | jq '.state'

# 4. Získanie prvej stránky výsledkov
curl -s "https://api.x.ai/v1/batches/$BATCH_ID/results?limit=100" \
  -H "Authorization: Bearer $XAI_API_KEY" > results-page-1.json

Ďalšie stránky získaš pridaním &pagination_token=… s hodnotou vrátenou predchádzajúcou stránkou.

Spracovanie chýb v produkcii

Robustný pipeline rozlišuje tri rodiny chýb:

Chyby odoslania: nahranie súboru alebo vytvorenie batch zlyhá. Pre prechodné chyby (časový limit, obmedzenie rýchlosti, chyba servera) opakuj pokus so zvyšujúcim sa oneskorením: 1 s, 2 s, 4 s, 8 s.

Chyby spracovania: niektoré požiadavky v rámci batch zlyhajú. Objavia sa v page.failed so svojou správou; znovu ich odošli, a len ich, v novom batch.

Časové limity a expirácia: 24-hodinové okno je orientačné, nie garantované. Neúprosná je expirácia (expire_time): po tomto čase už výsledky nie sú dostupné. Získavaj ich priebežne, ako prichádzajú, namiesto toho, aby si čakal na všetky naraz na konci.

# Zlyhané požiadavky: identifikuj ich na opätovné odoslanie v novom batch
for r in echecs:
    print(f"Zlyhanie: {r.batch_request_id} — {r.error_message}")
a_relancer = {r.batch_request_id for r in echecs}

Optimalizácia nákladov

Úspory sa kumulujú cez štyri páky. Výber modelu je prvá a zďaleka najvýkonnejšia: pri štandardnej sadzbe k 2. novembru 2026 stojí grok-4.3 1,25 $ za milión vstupných tokenov a 2,50 $ za výstupné, oproti 2 $ a 6 $ za grok-4.7 (pre prompty pod 200 000 tokenov). Pre klasifikáciu alebo krátku extrakciu často stačí ľahší model a 20 % batch zľava platí pre oba. Dĺžka odpovede je ďalšia: max_output_tokens zabraňuje plateniu za zbytočne dlhé výstupy – pre klasifikáciu stačí niekoľko tokenov. Prompty: odstránenie desiatich tokenov z promptu opakovaného 50 000-krát ušetrí 500 000 vstupných tokenov. Nakoniec, cache: xAI automaticky ukladá do cache identické začiatky požiadaviek a batch zľava platí aj pre tokeny obsluhované z cache; umiestni teda spoločné inštrukcie na začiatok každej požiadavky, pred meniacu sa časť.

Kľúčové poznatky

  • Kompletný pipeline pokrýva šesť krokov: príprava, JSONL, nahranie, vytvorenie, monitorovanie, získanie
  • Batch zo súboru sa číta na pozadí: pred záverom, že je hotový, počkaj, kým num_requests > 0
  • Spracúvaj tri rodiny chýb: odoslanie, spracovanie, časový limit a expirácia
  • Získavaj a ukladaj výsledky priebežne, pred uplynutím expire_time
  • Výber modelu, dĺžka výstupu, krátke prompty a spoločné prefixy maximalizujú úspory