Ga naar hoofdinhoud
Nederlands— Kies een taal
Menu

Chat Completions en Responses in batches

Les 8 van 12 Bijgewerkt op 3 november 2026 Ontwikkelaar
Op deze pagina
  1. De twee tekst-endpoints in batchmodus
  2. Responses in een batch
  3. Chat Completions in een batch
  4. Verschillen in batch
  5. Veelvoorkomende geavanceerde parameters
  6. Het mixen van de twee endpoints
  7. Belangrijkste punten

Bijgewerkt op 3 november 2026. Gebaseerd op best practices van xAI: temperature wordt aanbevolen op 0,7 en top_p op 0,95, in plaats van een lage temperatuur. Bron: Best practices.

Bijgewerkt op 2 november 2026. Gebaseerd op de documentatie van xAI: de batchkorting bedraagt 20% op in aanmerking komende tekstmodellen (niet 50%), voorbeelden volgen de REST API en de officiële xai-sdk (client.batch.*; de xAI Batch API gebruikt niet het OpenAI-formaat, de OpenAI SDK is niet van toepassing), en de Responses API heeft voorrang boven Chat Completions, een verouderd endpoint bij xAI. Bronnen: Batch API · REST Reference · Batch Pricing.

De twee tekst-endpoints in batchmodus

De endpoints /v1/responses en /v1/chat/completions verwerken de meeste tekstbatches. Bij in aanmerking komende modellen profiteren beide van de korting van 20%. xAI rangschikt ze echter niet gelijk: Responses is de aanbevolen API, terwijl Chat Completions een verouderd endpoint is dat wordt onderhouden voor bestaande code. Deze les gaat in op de specifieke kenmerken ervan in een batchcontext.

Responses in een batch

In batchmodus accepteert de Responses API dezelfde parameters als in synchrone modus; alleen de JSONL-enveloppe verandert:

{"custom_id": "sum-1", "method": "POST", "url": "/v1/responses", "body": {"model": "grok-4.3", "instructions": "You are a summarization expert.", "input": "Summarize this financial report in five key points: ...", "temperature": 0.3, "max_output_tokens": 500}}

Dit biedt toegang tot de servertools van Grok—webzoekopdrachten, X-zoekopdrachten, code-uitvoering, MCP—die tijdens de batchverwerking worden uitgevoerd:

{"custom_id": "research-1", "method": "POST", "url": "/v1/responses", "body": {"model": "grok-4.3", "input": [{"role": "user", "content": "What are the latest trends in generative AI?"}], "tools": [{"type": "web_search"}]}}

Typische gebruiksscenario’s

  • Tekstclassificatie (sentiment, categorie, urgentie)
  • Gestructureerde informatie-extractie (entiteiten, datums, bedragen)
  • Samenvattingen, herformuleringen en vertalingen op schaal
  • Data-verrijking via webzoekopdrachten

Chat Completions in een batch

Chat Completions blijft geaccepteerd, met zijn messages-formaat:

{"custom_id": "sum-2", "method": "POST", "url": "/v1/chat/completions", "body": {"model": "grok-4.3", "messages": [{"role": "system", "content": "You are a summarization expert."}, {"role": "user", "content": "Summarize this financial report in five key points: ..."}], "temperature": 0.3, "max_completion_tokens": 500}}

De lengtelimiet heet max_completion_tokens; de oude max_tokens is verouderd. Reserveer dit endpoint voor verzoeken vanuit code die er al voor is geschreven: nieuwe functies komen eerst beschikbaar op Responses.

Verschillen in batch

FunctieResponsesChat Completions
Status bij xAIAanbevolenVerouderd
Inputformaatinput (tekst of berichtenlijst), instructionsmessages
ServertoolsJa (web, X, code, MCP)Niet gedocumenteerd
Function callingJaJa
Gestructureerde outputstext.formatresponse_format
Outputlimietmax_output_tokensmax_completion_tokens
Batchkorting (in aanmerking komende modellen)20%20%

Veelvoorkomende geavanceerde parameters

temperature loopt bij xAI van 0 tot 2, waarbij waarden boven de 1 worden gesampled op 1. De best practices van xAI raden echter aan om deze in te stellen op 0,7, met top_p op 0,95, en hier niet veel van af te wijken: batchconsistentie komt in de eerste plaats voort uit precieze instructies en gestructureerde outputs.

De outputlimiet (max_output_tokens of max_completion_tokens) moet expliciet worden ingesteld: zonder deze limiet kan een verzoek een zeer lang antwoord genereren en onnodig tokens verbruiken. Dit geldt alleen voor zichtbare tekst, niet voor reasoning-tokens.

Gestructureerde outputs leggen een JSON-schema op aan het antwoord, waardoor resultaten programmatisch bruikbaar zijn zonder fragiele parsing. Bij Responses gaat het schema in text.format:

{"custom_id": "classify-1", "method": "POST", "url": "/v1/responses", "body": {"model": "grok-4.3", "input": "Classify this comment: « Delivery fast, product as described. »", "text": {"format": {"type": "json_schema", "name": "classification", "schema": {"type": "object", "properties": {"sentiment": {"type": "string", "enum": ["positive", "neutral", "negative"]}}, "required": ["sentiment"], "additionalProperties": false}, "strict": true}}}}

Bij Chat Completions is het equivalent response_format, van het type json_schema (of json_object voor geldige JSON zonder opgelegd schema).

Het mixen van de twee endpoints

U kunt Responses en Chat Completions combineren in dezelfde batch, waarbij elke regel zijn eigen endpoint aanduidt in het veld url:

{"custom_id": "simple-1", "method": "POST", "url": "/v1/chat/completions", "body": {"model": "grok-4.3", "messages": [{"role": "user", "content": "Summarize in one sentence: ..."}]}}
{"custom_id": "search-1", "method": "POST", "url": "/v1/responses", "body": {"model": "grok-4.3", "input": "AI news this week", "tools": [{"type": "web_search"}]}}

Deze flexibiliteit stelt oude Chat Completions-verzoeken en nieuwe Responses-verzoeken in staat om tijdens een migratie naast elkaar te bestaan.

Belangrijkste punten

  • Responses is het aanbevolen endpoint, Chat Completions een verouderd endpoint; beide profiteren van de korting van 20% op in aanmerking komende modellen
  • Responses is vereist voor servertools (web, X, code, MCP)
  • Stel temperature in op 0,7 en top_p op 0,95, zoals xAI aanbeveelt, en kies een passende outputlimiet
  • Gestructureerde outputs lopen via text.format (Responses) of response_format (Chat Completions)
  • Beide endpoints kunnen naast elkaar bestaan in dezelfde batch