Spring til hovedindhold
Dansk— Vælg et sprog
Menu

Komplet end-to-end-pipeline

Lektion 7 af 12 Opdateret 2. november 2026 Udvikler
På denne side
  1. Samling af brikkerne
  2. Komplet Python-pipeline
  3. Trin-for-trin cURL-pipeline
  4. Håndtering af fejl i produktion
  5. Optimering af omkostninger
  6. Vigtige pointer

Kursus opdateret 2. november 2026 baseret på xAI-dokumentation: batch-rabatten er 20 % på berettigede tekstmodeller (ikke 50 %), eksemplerne følger REST API’en og det officielle xai-sdk (client.batch.*; xAI’s Batch API matcher ikke OpenAI’s format, så OpenAI SDK’en gælder ikke), og Responses API’en har forrang frem for Chat Completions, som er et forældet endpoint hos xAI. Kilder: Batch API · REST Reference · Batch Pricing.

Samling af brikkerne

Tidligere lektioner har dækket hvert trin isoleret. Denne lektion samler dem til en komplet pipeline, fra dataforberedelse til behandling af resultaterne. Du ender med et script, som du kan tilpasse dit brugstilfælde.

Komplet Python-pipeline

import json
import time

from xai_sdk import Client

client = Client()  # nøgle læses fra XAI_API_KEY

# --- Trin 1: Forbered data ---
documents = [
    {"id": f"doc-{i}", "text": f"Dokumentindhold {i}..."}
    for i in range(100)
]

# --- Trin 2: Skriv JSONL-filen ---
with open("batch_requests.jsonl", "w", encoding="utf-8") as f:
    for doc in documents:
        ligne = {
            "custom_id": doc["id"],
            "method": "POST",
            "url": "/v1/responses",
            "body": {
                "model": "grok-4.3",
                "input": [
                    {"role": "system", "content": "Opsummer i to sætninger."},
                    {"role": "user", "content": doc["text"]},
                ],
                "max_output_tokens": 200,
            },
        }
        f.write(json.dumps(ligne, ensure_ascii=False) + "\n")

# --- Trin 3: Upload filen ---
with open("batch_requests.jsonl", "rb") as f:
    fichier = client.files.upload(f, filename="batch_requests.jsonl")

# --- Trin 4: Opret batch fra filen (den er nu låst) ---
batch = client.batch.create(batch_name="resumes_documents", input_file_id=fichier.id)
print(f"Batch oprettet: {batch.batch_id}")

# --- Trin 5: Vent på, at behandlingen er færdig ---
while True:
    batch = client.batch.get(batch_id=batch.batch_id)
    etat = batch.state
    if batch.cancel_by_xai_message:
        raise RuntimeError(f"Batch annulleret af xAI: {batch.cancel_by_xai_message}")
    if etat.num_requests > 0 and etat.num_pending == 0:
        break
    print(f"{etat.num_success + etat.num_error}/{etat.num_requests} anmodninger behandlet")
    time.sleep(300)  # hvert 5. minut

# --- Trin 6: Hent resultater side for side ---
resultats, echecs = {}, []
jeton = None
while True:
    page = client.batch.list_batch_results(
        batch_id=batch.batch_id, limit=100, pagination_token=jeton
    )
    for r in page.succeeded:
        resultats[r.batch_request_id] = r.response.content
    echecs.extend(page.failed)
    if page.pagination_token is None:
        break
    jeton = page.pagination_token

with open("batch_results.json", "w", encoding="utf-8") as f:
    json.dump(resultats, f, ensure_ascii=False, indent=2)

print(f"{len(resultats)} resultater, {len(echecs)} fejl")
print("Samlede omkostninger: $%.4f" % (batch.cost_breakdown.total_cost_usd_ticks / 1e10))

Tre detaljer er afgørende. Stopbetingelsen kræver num_requests > 0, fordi et batch oprettet fra en fil læses i baggrunden: lige efter oprettelsen kan dens tællere stadig alle være nul. Feltet cancel_by_xai_message signalerer annullering fra xAI, f.eks. på grund af en ugyldig linje. Og omkostninger udtrykkes i ticks, ti-milliardtedele af en dollar.

Trin-for-trin cURL-pipeline

Hvis du foretrækker kommandolinjen, er her cURL-ækvivalenten (ved brug af jq til at læse svar):

# 1. Upload JSONL-filen
FILE_ID=$(curl -s -X POST https://api.x.ai/v1/files \
  -H "Authorization: Bearer $XAI_API_KEY" \
  -F file="@batch_requests.jsonl" | jq -r '.id')
echo "Fil: $FILE_ID"

# 2. Opret batch fra filen
BATCH_ID=$(curl -s -X POST https://api.x.ai/v1/batches \
  -H "Authorization: Bearer $XAI_API_KEY" \
  -H "Content-Type: application/json" \
  -d "{\"name\": \"resumes_documents\", \"input_file_id\": \"$FILE_ID\"}" | jq -r '.batch_id')
echo "Batch: $BATCH_ID"

# 3. Læs tællere
curl -s "https://api.x.ai/v1/batches/$BATCH_ID" \
  -H "Authorization: Bearer $XAI_API_KEY" | jq '.state'

# 4. Hent den første side med resultater
curl -s "https://api.x.ai/v1/batches/$BATCH_ID/results?limit=100" \
  -H "Authorization: Bearer $XAI_API_KEY" > results-page-1.json

Hent efterfølgende sider ved at tilføje &pagination_token=… med værdien returneret af den forrige side.

Håndtering af fejl i produktion

En robust pipeline skelner mellem tre familier af fejl:

Indsendelsesfejl: Filupload eller batch-oprettelse mislykkes. Genforsøg midlertidige fejl (timeout, rate limit, serverfejl) med en stigende forsinkelse: 1 s, 2 s, 4 s, 8 s.

Behandlingsfejl: Nogle anmodninger mislykkes inde i batchet. De vises i page.failed med deres besked; genindsend dem, og kun dem, i et nyt batch.

Timeout og udløb: Vinduet på 24 timer er vejledende, ikke garanteret. Det, der er ubønhørligt, er udløb (expire_time): efter dette tidspunkt er resultaterne ikke længere tilgængelige. Hent dem, efterhånden som de kommer ind, i stedet for alle på én gang til sidst.

# Mislykkede anmodninger: Identificer dem for at genindsende i et nyt batch
for r in echecs:
    print(f"Fejl: {r.batch_request_id} — {r.error_message}")
a_relancer = {r.batch_request_id for r in echecs}

Optimering af omkostninger

Besparelser akkumuleres på fire løftestænger. Valg af model kommer først og er langt den mest kraftfulde: til standardtaksten pr. 2. november 2026 koster grok-4.3 $1,25 per million input-tokens og $2,50 for output, mod $2 og $6 for grok-4.7 (prompts under 200.000 tokens). Til klassificering eller kort udtræk er den lettere model ofte tilstrækkelig, og batch-rabatten på 20 % gælder for begge. Svarlængde kommer næst: max_output_tokens forhindrer, at du betaler for unødvendigt lange outputs – til klassificering er få tokens nok. Prompts: At fjerne ti tokens fra en prompt, der gentages 50.000 gange, sparer 500.000 input-tokens. Endelig cache: xAI cacher automatisk identiske begyndelser på anmodninger, og batch-rabatten gælder også for tokens serveret fra cache; placer derfor fælles instruktioner i starten af hver anmodning, før den varierende del.

Vigtige pointer

  • En komplet pipeline dækker seks trin: forberedelse, JSONL, upload, oprettelse, overvågning, hentning
  • Et batch fra en fil læses i baggrunden: vent på num_requests > 0, før du konkluderer, at det er færdigt
  • Håndtér de tre fejltyper: indsendelse, behandling, timeout og udløb
  • Hent og gem resultater, efterhånden som de kommer ind, før expire_time
  • Valg af model, outputlængde, korte prompts og fælles præfikser maksimerer besparelser