Komplet end-to-end-pipeline
På denne side
Kursus opdateret 2. november 2026 baseret på xAI-dokumentation: batch-rabatten er 20 % på berettigede tekstmodeller (ikke 50 %), eksemplerne følger REST API’en og det officielle
xai-sdk(client.batch.*; xAI’s Batch API matcher ikke OpenAI’s format, så OpenAI SDK’en gælder ikke), og Responses API’en har forrang frem for Chat Completions, som er et forældet endpoint hos xAI. Kilder: Batch API · REST Reference · Batch Pricing.
Samling af brikkerne
Tidligere lektioner har dækket hvert trin isoleret. Denne lektion samler dem til en komplet pipeline, fra dataforberedelse til behandling af resultaterne. Du ender med et script, som du kan tilpasse dit brugstilfælde.
Komplet Python-pipeline
import json
import time
from xai_sdk import Client
client = Client() # nøgle læses fra XAI_API_KEY
# --- Trin 1: Forbered data ---
documents = [
{"id": f"doc-{i}", "text": f"Dokumentindhold {i}..."}
for i in range(100)
]
# --- Trin 2: Skriv JSONL-filen ---
with open("batch_requests.jsonl", "w", encoding="utf-8") as f:
for doc in documents:
ligne = {
"custom_id": doc["id"],
"method": "POST",
"url": "/v1/responses",
"body": {
"model": "grok-4.3",
"input": [
{"role": "system", "content": "Opsummer i to sætninger."},
{"role": "user", "content": doc["text"]},
],
"max_output_tokens": 200,
},
}
f.write(json.dumps(ligne, ensure_ascii=False) + "\n")
# --- Trin 3: Upload filen ---
with open("batch_requests.jsonl", "rb") as f:
fichier = client.files.upload(f, filename="batch_requests.jsonl")
# --- Trin 4: Opret batch fra filen (den er nu låst) ---
batch = client.batch.create(batch_name="resumes_documents", input_file_id=fichier.id)
print(f"Batch oprettet: {batch.batch_id}")
# --- Trin 5: Vent på, at behandlingen er færdig ---
while True:
batch = client.batch.get(batch_id=batch.batch_id)
etat = batch.state
if batch.cancel_by_xai_message:
raise RuntimeError(f"Batch annulleret af xAI: {batch.cancel_by_xai_message}")
if etat.num_requests > 0 and etat.num_pending == 0:
break
print(f"{etat.num_success + etat.num_error}/{etat.num_requests} anmodninger behandlet")
time.sleep(300) # hvert 5. minut
# --- Trin 6: Hent resultater side for side ---
resultats, echecs = {}, []
jeton = None
while True:
page = client.batch.list_batch_results(
batch_id=batch.batch_id, limit=100, pagination_token=jeton
)
for r in page.succeeded:
resultats[r.batch_request_id] = r.response.content
echecs.extend(page.failed)
if page.pagination_token is None:
break
jeton = page.pagination_token
with open("batch_results.json", "w", encoding="utf-8") as f:
json.dump(resultats, f, ensure_ascii=False, indent=2)
print(f"{len(resultats)} resultater, {len(echecs)} fejl")
print("Samlede omkostninger: $%.4f" % (batch.cost_breakdown.total_cost_usd_ticks / 1e10))
Tre detaljer er afgørende. Stopbetingelsen kræver num_requests > 0, fordi et batch oprettet fra en fil læses i baggrunden: lige efter oprettelsen kan dens tællere stadig alle være nul. Feltet cancel_by_xai_message signalerer annullering fra xAI, f.eks. på grund af en ugyldig linje. Og omkostninger udtrykkes i ticks, ti-milliardtedele af en dollar.
Trin-for-trin cURL-pipeline
Hvis du foretrækker kommandolinjen, er her cURL-ækvivalenten (ved brug af jq til at læse svar):
# 1. Upload JSONL-filen
FILE_ID=$(curl -s -X POST https://api.x.ai/v1/files \
-H "Authorization: Bearer $XAI_API_KEY" \
-F file="@batch_requests.jsonl" | jq -r '.id')
echo "Fil: $FILE_ID"
# 2. Opret batch fra filen
BATCH_ID=$(curl -s -X POST https://api.x.ai/v1/batches \
-H "Authorization: Bearer $XAI_API_KEY" \
-H "Content-Type: application/json" \
-d "{\"name\": \"resumes_documents\", \"input_file_id\": \"$FILE_ID\"}" | jq -r '.batch_id')
echo "Batch: $BATCH_ID"
# 3. Læs tællere
curl -s "https://api.x.ai/v1/batches/$BATCH_ID" \
-H "Authorization: Bearer $XAI_API_KEY" | jq '.state'
# 4. Hent den første side med resultater
curl -s "https://api.x.ai/v1/batches/$BATCH_ID/results?limit=100" \
-H "Authorization: Bearer $XAI_API_KEY" > results-page-1.json
Hent efterfølgende sider ved at tilføje &pagination_token=… med værdien returneret af den forrige side.
Håndtering af fejl i produktion
En robust pipeline skelner mellem tre familier af fejl:
Indsendelsesfejl: Filupload eller batch-oprettelse mislykkes. Genforsøg midlertidige fejl (timeout, rate limit, serverfejl) med en stigende forsinkelse: 1 s, 2 s, 4 s, 8 s.
Behandlingsfejl: Nogle anmodninger mislykkes inde i batchet. De vises i page.failed med deres besked; genindsend dem, og kun dem, i et nyt batch.
Timeout og udløb: Vinduet på 24 timer er vejledende, ikke garanteret. Det, der er ubønhørligt, er udløb (expire_time): efter dette tidspunkt er resultaterne ikke længere tilgængelige. Hent dem, efterhånden som de kommer ind, i stedet for alle på én gang til sidst.
# Mislykkede anmodninger: Identificer dem for at genindsende i et nyt batch
for r in echecs:
print(f"Fejl: {r.batch_request_id} — {r.error_message}")
a_relancer = {r.batch_request_id for r in echecs}
Optimering af omkostninger
Besparelser akkumuleres på fire løftestænger. Valg af model kommer først og er langt den mest kraftfulde: til standardtaksten pr. 2. november 2026 koster grok-4.3 $1,25 per million input-tokens og $2,50 for output, mod $2 og $6 for grok-4.7 (prompts under 200.000 tokens). Til klassificering eller kort udtræk er den lettere model ofte tilstrækkelig, og batch-rabatten på 20 % gælder for begge. Svarlængde kommer næst: max_output_tokens forhindrer, at du betaler for unødvendigt lange outputs – til klassificering er få tokens nok. Prompts: At fjerne ti tokens fra en prompt, der gentages 50.000 gange, sparer 500.000 input-tokens. Endelig cache: xAI cacher automatisk identiske begyndelser på anmodninger, og batch-rabatten gælder også for tokens serveret fra cache; placer derfor fælles instruktioner i starten af hver anmodning, før den varierende del.
Vigtige pointer
- En komplet pipeline dækker seks trin: forberedelse, JSONL, upload, oprettelse, overvågning, hentning
- Et batch fra en fil læses i baggrunden: vent på
num_requests > 0, før du konkluderer, at det er færdigt - Håndtér de tre fejltyper: indsendelse, behandling, timeout og udløb
- Hent og gem resultater, efterhånden som de kommer ind, før
expire_time - Valg af model, outputlængde, korte prompts og fælles præfikser maksimerer besparelser