Chat Completions och Responses i batchläge
På denna sida
Uppdaterat den 3 november 2026. Baserat på bästa praxis från xAI:
temperaturerekommenderas till 0,7 ochtop_ptill 0,95 snarare än ett lågt temperaturvärde. Källa: Best practices.
Uppdaterat den 2 november 2026. Baserat på xAI:s dokumentation: batch-rabatten är 20 % på berättigade textmodeller (inte 50 %), exemplen följer REST API:t och den officiella
xai-sdk(client.batch.*; xAI Batch API använder inte OpenAI-formatet, OpenAI SDK gäller inte), och Responses API:t har företräde framför Chat Completions, som är en föråldrad slutpunkt hos xAI. Källor: Batch API · REST Reference · Batch Pricing.
De två textslutpunkterna i batchläge
Slutpunkterna /v1/responses och /v1/chat/completions hanterar de flesta textbatchar. På berättigade modeller får du 20 % rabatt på båda. Men xAI rankar dem inte lika högt: Responses är det rekommenderade API:t, medan Chat Completions är en föråldrad slutpunkt som underhålls för befintlig kod. I denna lektion går vi igenom deras specifika egenskaper i ett batchsammanhang.
Responses i en batch
I batchläge accepterar Responses API:t samma parametrar som i synkront läge; endast JSONL-kuvertet ändras:
{"custom_id": "sum-1", "method": "POST", "url": "/v1/responses", "body": {"model": "grok-4.3", "instructions": "You are a summarization expert.", "input": "Summarize this financial report in five key points: ...", "temperature": 0.3, "max_output_tokens": 500}}
Det ger dig tillgång till Groks serververktyg – webbsökning, X-sökning, kodexekvering, MCP – som körs under batchbearbetningen:
{"custom_id": "research-1", "method": "POST", "url": "/v1/responses", "body": {"model": "grok-4.3", "input": [{"role": "user", "content": "What are the latest trends in generative AI?"}], "tools": [{"type": "web_search"}]}}
Typiska användningsområden
- Textklassificering (sentiment, kategori, brådskande)
- Strukturerad informationsextrahering (entiteter, datum, belopp)
- Sammanfattningar, omskrivningar och översättningar i stor skala
- Dataanrikning via webbsökning
Chat Completions i en batch
Chat Completions accepteras fortfarande, med sitt messages-format:
{"custom_id": "sum-2", "method": "POST", "url": "/v1/chat/completions", "body": {"model": "grok-4.3", "messages": [{"role": "system", "content": "You are a summarization expert."}, {"role": "user", "content": "Summarize this financial report in five key points: ..."}], "temperature": 0.3, "max_completion_tokens": 500}}
Längdbegränsningen heter max_completion_tokens; den gamla max_tokens är föråldrad. Reservera denna slutpunkt för förfrågningar från kod som redan skrivits för den: nya funktioner lanseras först på Responses.
Skillnader i batchläge
| Funktion | Responses | Chat Completions |
|---|---|---|
| Status hos xAI | Rekommenderad | Föråldrad |
| Inmatningsformat | input (text eller meddelandelista), instructions | messages |
| Serververktyg | Ja (webb, X, kod, MCP) | Odokumenterat |
| Funktionsanrop | Ja | Ja |
| Strukturerade utdata | text.format | response_format |
| Utdata-begränsning | max_output_tokens | max_completion_tokens |
| Batch-rabatt (berättigade modeller) | 20 % | 20 % |
Vanliga avancerade parametrar
temperature sträcker sig från 0 till 2 hos xAI, där värden över 1 samplas som 1. xAI:s bästa praxis rekommenderar dock att du sätter den till 0,7, med top_p på 0,95, och att du inte avviker mycket från detta: batch-konsistens kommer främst från precisa instruktioner och strukturerade utdata.
Utdata-begränsningen (max_output_tokens eller max_completion_tokens) måste anges explicit: utan den kan en förfrågan generera ett mycket långt svar och konsumera tokens i onödan. Den gäller endast för synlig text, inte för resonemangstokens.
Strukturerade utdata tvingar fram ett JSON-schema i svaret, vilket gör resultaten programmatiskt användbara utan bräcklig parsning. Med Responses placeras schemat i text.format:
{"custom_id": "classify-1", "method": "POST", "url": "/v1/responses", "body": {"model": "grok-4.3", "input": "Classify this comment: « Delivery fast, product as described. »", "text": {"format": {"type": "json_schema", "name": "classification", "schema": {"type": "object", "properties": {"sentiment": {"type": "string", "enum": ["positive", "neutral", "negative"]}}, "required": ["sentiment"], "additionalProperties": false}, "strict": true}}}}
Med Chat Completions är motsvarigheten response_format, av typen json_schema (eller json_object för giltig JSON utan ett påtvingat schema).
Blanda de två slutpunkterna
Du kan kombinera Responses och Chat Completions i samma batch, där varje rad anger sin slutpunkt i fältet url:
{"custom_id": "simple-1", "method": "POST", "url": "/v1/chat/completions", "body": {"model": "grok-4.3", "messages": [{"role": "user", "content": "Summarize in one sentence: ..."}]}}
{"custom_id": "search-1", "method": "POST", "url": "/v1/responses", "body": {"model": "grok-4.3", "input": "AI news this week", "tools": [{"type": "web_search"}]}}
Denna flexibilitet gör att gamla Chat Completions-förfrågningar och nya Responses-förfrågningar kan samexistera under en migrering.
Viktiga punkter
- Responses är den rekommenderade slutpunkten, Chat Completions är en föråldrad slutpunkt; båda får 20 % rabatt på berättigade modeller
- Responses krävs för serververktyg (webb, X, kod, MCP)
- Sätt
temperaturetill 0,7 ochtop_ptill 0,95, som xAI rekommenderar, och ange en lämplig utdata-begränsning - Strukturerade utdata hanteras via
text.format(Responses) ellerresponse_format(Chat Completions) - Båda slutpunkterna kan samexistera i samma batch