Chat Completions og Responses i batches
På denne side
Opdateret 3. november 2026. Baseret på bedste praksis fra xAI:
temperatureanbefales sat til 0,7 ogtop_ptil 0,95 frem for en lav temperatur. Kilde: Beste praksis.
Opdateret 2. november 2026. Baseret på xAI-dokumentation: batch-rabatten er på 20 % for berettigede tekstmodeller (ikke 50 %), eksemplerne følger REST API’en og den officielle
xai-sdk(client.batch.*; xAI Batch API bruger ikke OpenAI-formatet, og OpenAI SDK gælder ikke), og Responses API har forrang frem for Chat Completions, som er et forældet endpoint hos xAI. Kilder: Batch API · REST-reference · Batch-prissætning.
De to tekst-endpoints i batch-tilstand
Endpoints /v1/responses og /v1/chat/completions håndterer de fleste tekstbatches. På berettigede modeller nyder begge godt af rabatten på 20 %. Men xAI rangerer dem ikke lige højt: Responses er det anbefalede API, mens Chat Completions er et forældet endpoint, der vedligeholdes for eksisterende kode. Denne lektion gennemgår deres specifikke forhold i en batch-kontekst.
Responses i et batch
I batch-tilstand accepterer Responses API de samme parametre som i synkron tilstand; kun JSONL-konvolutten ændres:
{"custom_id": "sum-1", "method": "POST", "url": "/v1/responses", "body": {"model": "grok-4.3", "instructions": "You are a summarization expert.", "input": "Summarize this financial report in five key points: ...", "temperature": 0.3, "max_output_tokens": 500}}
Det giver adgang til Groks serverværktøjer – websøgning, X-søgning, kodeeksekvering, MCP – som udføres under batch-behandlingen:
{"custom_id": "research-1", "method": "POST", "url": "/v1/responses", "body": {"model": "grok-4.3", "input": [{"role": "user", "content": "What are the latest trends in generative AI?"}], "tools": [{"type": "web_search"}]}}
Typiske brugstilfælde
- Tekstklassificering (sentiment, kategori, hastegrad)
- Struktureret informationsekstraktion (enheder, datoer, beløb)
- Resuméer, omskrivninger og oversættelser i stor skala
- Databerigelse via websøgning
Chat Completions i et batch
Chat Completions accepteres stadig med sit messages-format:
{"custom_id": "sum-2", "method": "POST", "url": "/v1/chat/completions", "body": {"model": "grok-4.3", "messages": [{"role": "system", "content": "You are a summarization expert."}, {"role": "user", "content": "Summarize this financial report in five key points: ..."}], "temperature": 0.3, "max_completion_tokens": 500}}
Længdegrænsen hedder max_completion_tokens; den gamle max_tokens er forældet. Reserver dette endpoint til anmodninger fra kode, der allerede er skrevet dertil: nye funktioner lanceres først på Responses.
Forskelle i batch
| Funktion | Responses | Chat Completions |
|---|---|---|
| Status hos xAI | Anbefalet | Forældet |
| Input-format | input (tekst eller beskedliste), instructions | messages |
| Serverværktøjer | Ja (web, X, kode, MCP) | Udokumenteret |
| Funktionskald | Ja | Ja |
| Strukturerede outputs | text.format | response_format |
| Output-grænse | max_output_tokens | max_completion_tokens |
| Batch-rabat (berettigede modeller) | 20 % | 20 % |
Fælles avancerede parametre
temperature spænder fra 0 til 2 hos xAI, hvor værdier over 1 samples ved 1. Dog anbefaler xAI’s bedste praksis at sætte den til 0,7 med top_p på 0,95 og ikke afvige meget herfra: batch-konsistens opnås først og fremmest gennem præcise instrukser og strukturerede outputs.
Output-grænsen (max_output_tokens eller max_completion_tokens) skal angives eksplicit: uden den kan en anmodning producere et meget langt svar og bruge tokens unødigt. Den gælder kun for synlig tekst, ikke for ræsonnementstokens.
Strukturerede outputs pålægger svaret et JSON-skema, hvilket gør resultaterne programmatisk brugbare uden skrøbelig parsing. Med Responses placeres skemaet i text.format:
{"custom_id": "classify-1", "method": "POST", "url": "/v1/responses", "body": {"model": "grok-4.3", "input": "Classify this comment: « Delivery fast, product as described. »", "text": {"format": {"type": "json_schema", "name": "classification", "schema": {"type": "object", "properties": {"sentiment": {"type": "string", "enum": ["positive", "neutral", "negative"]}}, "required": ["sentiment"], "additionalProperties": false}, "strict": true}}}}
Med Chat Completions er modstykket response_format af typen json_schema (eller json_object for gyldig JSON uden et påtvunget skema).
Blanding af de to endpoints
Du kan kombinere Responses og Chat Completions i samme batch, hvor hver linje angiver sit endpoint i feltet url:
{"custom_id": "simple-1", "method": "POST", "url": "/v1/chat/completions", "body": {"model": "grok-4.3", "messages": [{"role": "user", "content": "Summarize in one sentence: ..."}]}}
{"custom_id": "search-1", "method": "POST", "url": "/v1/responses", "body": {"model": "grok-4.3", "input": "AI news this week", "tools": [{"type": "web_search"}]}}
Denne fleksibilitet muliggør, at gamle Chat Completions-anmodninger og nye Responses-anmodninger kan sameksistere under en migration.
Vigtige pointer
- Responses er det anbefalede endpoint, Chat Completions er forældet; begge nyder godt af rabatten på 20 % på berettigede modeller
- Responses er påkrævet for serverværktøjer (web, X, kode, MCP)
- Sæt
temperaturetil 0,7 ogtop_ptil 0,95, som xAI anbefaler, og angiv en passende output-grænse - Strukturerede outputs håndteres via
text.format(Responses) ellerresponse_format(Chat Completions) - Begge endpoints kan sameksistere i samme batch