Hoppa till huvudinnehåll
Svenska— Välj ett språk
Meny

Chat Completions och Responses i batchläge

Lektion 8 av 12 Uppdaterad 3 november 2026 Utvecklare
På denna sida
  1. De två textslutpunkterna i batchläge
  2. Responses i en batch
  3. Chat Completions i en batch
  4. Skillnader i batchläge
  5. Vanliga avancerade parametrar
  6. Blanda de två slutpunkterna
  7. Viktiga punkter

Uppdaterat den 3 november 2026. Baserat på bästa praxis från xAI: temperature rekommenderas till 0,7 och top_p till 0,95 snarare än ett lågt temperaturvärde. Källa: Best practices.

Uppdaterat den 2 november 2026. Baserat på xAI:s dokumentation: batch-rabatten är 20 % på berättigade textmodeller (inte 50 %), exemplen följer REST API:t och den officiella xai-sdk (client.batch.*; xAI Batch API använder inte OpenAI-formatet, OpenAI SDK gäller inte), och Responses API:t har företräde framför Chat Completions, som är en föråldrad slutpunkt hos xAI. Källor: Batch API · REST Reference · Batch Pricing.

De två textslutpunkterna i batchläge

Slutpunkterna /v1/responses och /v1/chat/completions hanterar de flesta textbatchar. På berättigade modeller får du 20 % rabatt på båda. Men xAI rankar dem inte lika högt: Responses är det rekommenderade API:t, medan Chat Completions är en föråldrad slutpunkt som underhålls för befintlig kod. I denna lektion går vi igenom deras specifika egenskaper i ett batchsammanhang.

Responses i en batch

I batchläge accepterar Responses API:t samma parametrar som i synkront läge; endast JSONL-kuvertet ändras:

{"custom_id": "sum-1", "method": "POST", "url": "/v1/responses", "body": {"model": "grok-4.3", "instructions": "You are a summarization expert.", "input": "Summarize this financial report in five key points: ...", "temperature": 0.3, "max_output_tokens": 500}}

Det ger dig tillgång till Groks serververktyg – webbsökning, X-sökning, kodexekvering, MCP – som körs under batchbearbetningen:

{"custom_id": "research-1", "method": "POST", "url": "/v1/responses", "body": {"model": "grok-4.3", "input": [{"role": "user", "content": "What are the latest trends in generative AI?"}], "tools": [{"type": "web_search"}]}}

Typiska användningsområden

  • Textklassificering (sentiment, kategori, brådskande)
  • Strukturerad informationsextrahering (entiteter, datum, belopp)
  • Sammanfattningar, omskrivningar och översättningar i stor skala
  • Dataanrikning via webbsökning

Chat Completions i en batch

Chat Completions accepteras fortfarande, med sitt messages-format:

{"custom_id": "sum-2", "method": "POST", "url": "/v1/chat/completions", "body": {"model": "grok-4.3", "messages": [{"role": "system", "content": "You are a summarization expert."}, {"role": "user", "content": "Summarize this financial report in five key points: ..."}], "temperature": 0.3, "max_completion_tokens": 500}}

Längdbegränsningen heter max_completion_tokens; den gamla max_tokens är föråldrad. Reservera denna slutpunkt för förfrågningar från kod som redan skrivits för den: nya funktioner lanseras först på Responses.

Skillnader i batchläge

FunktionResponsesChat Completions
Status hos xAIRekommenderadFöråldrad
Inmatningsformatinput (text eller meddelandelista), instructionsmessages
SerververktygJa (webb, X, kod, MCP)Odokumenterat
FunktionsanropJaJa
Strukturerade utdatatext.formatresponse_format
Utdata-begränsningmax_output_tokensmax_completion_tokens
Batch-rabatt (berättigade modeller)20 %20 %

Vanliga avancerade parametrar

temperature sträcker sig från 0 till 2 hos xAI, där värden över 1 samplas som 1. xAI:s bästa praxis rekommenderar dock att du sätter den till 0,7, med top_p på 0,95, och att du inte avviker mycket från detta: batch-konsistens kommer främst från precisa instruktioner och strukturerade utdata.

Utdata-begränsningen (max_output_tokens eller max_completion_tokens) måste anges explicit: utan den kan en förfrågan generera ett mycket långt svar och konsumera tokens i onödan. Den gäller endast för synlig text, inte för resonemangstokens.

Strukturerade utdata tvingar fram ett JSON-schema i svaret, vilket gör resultaten programmatiskt användbara utan bräcklig parsning. Med Responses placeras schemat i text.format:

{"custom_id": "classify-1", "method": "POST", "url": "/v1/responses", "body": {"model": "grok-4.3", "input": "Classify this comment: « Delivery fast, product as described. »", "text": {"format": {"type": "json_schema", "name": "classification", "schema": {"type": "object", "properties": {"sentiment": {"type": "string", "enum": ["positive", "neutral", "negative"]}}, "required": ["sentiment"], "additionalProperties": false}, "strict": true}}}}

Med Chat Completions är motsvarigheten response_format, av typen json_schema (eller json_object för giltig JSON utan ett påtvingat schema).

Blanda de två slutpunkterna

Du kan kombinera Responses och Chat Completions i samma batch, där varje rad anger sin slutpunkt i fältet url:

{"custom_id": "simple-1", "method": "POST", "url": "/v1/chat/completions", "body": {"model": "grok-4.3", "messages": [{"role": "user", "content": "Summarize in one sentence: ..."}]}}
{"custom_id": "search-1", "method": "POST", "url": "/v1/responses", "body": {"model": "grok-4.3", "input": "AI news this week", "tools": [{"type": "web_search"}]}}

Denna flexibilitet gör att gamla Chat Completions-förfrågningar och nya Responses-förfrågningar kan samexistera under en migrering.

Viktiga punkter

  • Responses är den rekommenderade slutpunkten, Chat Completions är en föråldrad slutpunkt; båda får 20 % rabatt på berättigade modeller
  • Responses krävs för serververktyg (webb, X, kod, MCP)
  • Sätt temperature till 0,7 och top_p till 0,95, som xAI rekommenderar, och ange en lämplig utdata-begränsning
  • Strukturerade utdata hanteras via text.format (Responses) eller response_format (Chat Completions)
  • Båda slutpunkterna kan samexistera i samma batch