Přejít na hlavní obsah
Čeština— Vyberte jazyk
Menu

Kompletní end-to-end pipeline

Lekce 7 z 12 Aktualizováno 2. listopadu 2026 Vývojář
Na této stránce
  1. Složení dílů dohromady
  2. Kompletní pipeline v Pythonu
  3. Pipeline v cURL krok za krokem
  4. Zpracování chyb v produkci
  5. Optimalizace nákladů
  6. Klíčové poznatky

Kurz aktualizován 2. listopadu 2026 na základě dokumentace xAI: sleva pro batch je 20 % u způsobilých textových modelů (nikoli 50 %), příklady následují REST API a oficiální xai-sdk (client.batch.*; Batch API od xAI neodpovídá formátu OpenAI, takže SDK od OpenAI nelze použít) a API Responses má přednost před Chat Completions, což je u xAI zastaralý koncový bod. Zdroje: Batch API · REST Reference · Batch Pricing.

Složení dílů dohromady

Předchozí lekce pokrývaly každý krok izolovaně. Tato lekce je spojuje do kompletní pipeline, od přípravy dat až po zpracování výsledků. Na konci budeš mít skript, který můžeš přizpůsobit svému případu použití.

Kompletní pipeline v Pythonu

import json
import time

from xai_sdk import Client

client = Client()  # klíč načten z XAI_API_KEY

# --- Krok 1: příprava dat ---
documents = [
    {"id": f"doc-{i}", "text": f"Obsah dokumentu {i}..."}
    for i in range(100)
]

# --- Krok 2: zápis souboru JSONL ---
with open("batch_requests.jsonl", "w", encoding="utf-8") as f:
    for doc in documents:
        ligne = {
            "custom_id": doc["id"],
            "method": "POST",
            "url": "/v1/responses",
            "body": {
                "model": "grok-4.3",
                "input": [
                    {"role": "system", "content": "Shrň ve dvou větách."},
                    {"role": "user", "content": doc["text"]},
                ],
                "max_output_tokens": 200,
            },
        }
        f.write(json.dumps(ligne, ensure_ascii=False) + "\n")

# --- Krok 3: nahrání souboru ---
with open("batch_requests.jsonl", "rb") as f:
    fichier = client.files.upload(f, filename="batch_requests.jsonl")

# --- Krok 4: vytvoření batche ze souboru (nyní je uzavřen) ---
batch = client.batch.create(batch_name="resumes_documents", input_file_id=fichier.id)
print(f"Batch vytvořen: {batch.batch_id}")

# --- Krok 5: čekání na dokončení zpracování ---
while True:
    batch = client.batch.get(batch_id=batch.batch_id)
    etat = batch.state
    if batch.cancel_by_xai_message:
        raise RuntimeError(f"Batch zrušen xAI: {batch.cancel_by_xai_message}")
    if etat.num_requests > 0 and etat.num_pending == 0:
        break
    print(f"{etat.num_success + etat.num_error}/{etat.num_requests} požadavků zpracováno")
    time.sleep(300)  # každých 5 minut

# --- Krok 6: získání výsledků, stránka po stránce ---
resultats, echecs = {}, []
jeton = None
while True:
    page = client.batch.list_batch_results(
        batch_id=batch.batch_id, limit=100, pagination_token=jeton
    )
    for r in page.succeeded:
        resultats[r.batch_request_id] = r.response.content
    echecs.extend(page.failed)
    if page.pagination_token is None:
        break
    jeton = page.pagination_token

with open("batch_results.json", "w", encoding="utf-8") as f:
    json.dump(resultats, f, ensure_ascii=False, indent=2)

print(f"{len(resultats)} výsledků, {len(echecs)} selhání")
print("Celkové náklady: $%.4f" % (batch.cost_breakdown.total_cost_usd_ticks / 1e10))

Záleží na třech detailech. Podmínka ukončení vyžaduje num_requests > 0, protože batch vytvořený ze souboru se čte na pozadí: hned po vytvoření mohou být jeho čítače stále všechny nulové. Pole cancel_by_xai_message signalizuje zrušení ze strany xAI, například kvůli neplatnému řádku. A náklady jsou vyjádřeny v ticích, což jsou desetmiliardtiny dolaru.

Pipeline v cURL krok za krokem

Pokud preferuješ příkazový řádek, zde je ekvivalent v cURL (s použitím jq pro čtení odpovědí):

# 1. Nahrání souboru JSONL
FILE_ID=$(curl -s -X POST https://api.x.ai/v1/files \
  -H "Authorization: Bearer $XAI_API_KEY" \
  -F file="@batch_requests.jsonl" | jq -r '.id')
echo "Soubor: $FILE_ID"

# 2. Vytvoření batche ze souboru
BATCH_ID=$(curl -s -X POST https://api.x.ai/v1/batches \
  -H "Authorization: Bearer $XAI_API_KEY" \
  -H "Content-Type: application/json" \
  -d "{\"name\": \"resumes_documents\", \"input_file_id\": \"$FILE_ID\"}" | jq -r '.batch_id')
echo "Batch: $BATCH_ID"

# 3. Čtení čítačů
curl -s "https://api.x.ai/v1/batches/$BATCH_ID" \
  -H "Authorization: Bearer $XAI_API_KEY" | jq '.state'

# 4. Získání první stránky výsledků
curl -s "https://api.x.ai/v1/batches/$BATCH_ID/results?limit=100" \
  -H "Authorization: Bearer $XAI_API_KEY" > results-page-1.json

Další stránky získáš přidáním &pagination_token=… s hodnotou vrácenou předchozí stránkou.

Zpracování chyb v produkci

Robustní pipeline rozlišuje tři rodiny chyb:

Chyby při odesílání: nahrání souboru nebo vytvoření batche selže. U přechodných chyb (časový limit, omezení rychlosti, chyba serveru) opakuj akci s rostoucím zpožděním: 1 s, 2 s, 4 s, 8 s.

Chyby při zpracování: některé požadavky uvnitř batche selžou. Objevují se v page.failed se svou zprávou; znovu je odešli, a pouze je, v novém batchi.

Časové limity a vypršení: 24hodinové okno je orientační, nikoli garantované. Co je neúprosné, je vypršení (expire_time): po tomto okamžiku již nejsou výsledky dostupné. Získávej je průběžně, jak přicházejí, místo abyš je stahoval všechny najednou na konci.

# Selhavší požadavky: identifikuj je pro opětovné odeslání v novém batchi
for r in echecs:
    print(f"Selhání: {r.batch_request_id} — {r.error_message}")
a_relancer = {r.batch_request_id for r in echecs}

Optimalizace nákladů

Úspory se kumulují prostřednictvím čtyř pák. Výběr modelu je první a zdaleka nejsilnější: při standardní sazbě k 2. listopadu 2026 stojí grok-4.3 1,25 $ za milion vstupních tokenů a 2,50 $ za výstupní, oproti 2 $ a 6 $ u grok-4.7 (pro prompty pod 200 000 tokenů). Pro klasifikaci nebo krátkou extrakci často stačí lehčí model a sleva 20 % pro batch platí pro oba. Délka odpovědi je další: max_output_tokens zabraňuje placení za zbytečně dlouhé výstupy – pro klasifikaci stačí několik tokenů. Prompty: odstranění deseti tokenů z promptu opakovaného 50 000× ušetří 500 000 vstupních tokenů. Nakonec cache: xAI automaticky ukládá do mezipaměti identické začátky požadavků a sleva pro batch platí i pro tokeny obsloužené z cache; umísti tedy společné instrukce na začátek každého požadavku, před proměnnou část.

Klíčové poznatky

  • Kompletní pipeline pokrývá šest kroků: příprava, JSONL, nahrání, vytvoření, monitorování, získání
  • Batch ze souboru se čte na pozadí: před závěrem, že je hotovo, počkej, až num_requests > 0
  • Ošetři tři rodiny chyb: odesílání, zpracování, časový limit a vypršení
  • Získávej a ukládej výsledky průběžně, před okamžikem expire_time
  • Výběr modelu, délka výstupu, krátké prompty a společné prefixy maximalizují úspory