Chat Completions en Responses in batches
Op deze pagina
Bijgewerkt op 3 november 2026. Gebaseerd op best practices van xAI:
temperaturewordt aanbevolen op 0,7 entop_pop 0,95, in plaats van een lage temperatuur. Bron: Best practices.
Bijgewerkt op 2 november 2026. Gebaseerd op de documentatie van xAI: de batchkorting bedraagt 20% op in aanmerking komende tekstmodellen (niet 50%), voorbeelden volgen de REST API en de officiële
xai-sdk(client.batch.*; de xAI Batch API gebruikt niet het OpenAI-formaat, de OpenAI SDK is niet van toepassing), en de Responses API heeft voorrang boven Chat Completions, een verouderd endpoint bij xAI. Bronnen: Batch API · REST Reference · Batch Pricing.
De twee tekst-endpoints in batchmodus
De endpoints /v1/responses en /v1/chat/completions verwerken de meeste tekstbatches. Bij in aanmerking komende modellen profiteren beide van de korting van 20%. xAI rangschikt ze echter niet gelijk: Responses is de aanbevolen API, terwijl Chat Completions een verouderd endpoint is dat wordt onderhouden voor bestaande code. Deze les gaat in op de specifieke kenmerken ervan in een batchcontext.
Responses in een batch
In batchmodus accepteert de Responses API dezelfde parameters als in synchrone modus; alleen de JSONL-enveloppe verandert:
{"custom_id": "sum-1", "method": "POST", "url": "/v1/responses", "body": {"model": "grok-4.3", "instructions": "You are a summarization expert.", "input": "Summarize this financial report in five key points: ...", "temperature": 0.3, "max_output_tokens": 500}}
Dit biedt toegang tot de servertools van Grok—webzoekopdrachten, X-zoekopdrachten, code-uitvoering, MCP—die tijdens de batchverwerking worden uitgevoerd:
{"custom_id": "research-1", "method": "POST", "url": "/v1/responses", "body": {"model": "grok-4.3", "input": [{"role": "user", "content": "What are the latest trends in generative AI?"}], "tools": [{"type": "web_search"}]}}
Typische gebruiksscenario’s
- Tekstclassificatie (sentiment, categorie, urgentie)
- Gestructureerde informatie-extractie (entiteiten, datums, bedragen)
- Samenvattingen, herformuleringen en vertalingen op schaal
- Data-verrijking via webzoekopdrachten
Chat Completions in een batch
Chat Completions blijft geaccepteerd, met zijn messages-formaat:
{"custom_id": "sum-2", "method": "POST", "url": "/v1/chat/completions", "body": {"model": "grok-4.3", "messages": [{"role": "system", "content": "You are a summarization expert."}, {"role": "user", "content": "Summarize this financial report in five key points: ..."}], "temperature": 0.3, "max_completion_tokens": 500}}
De lengtelimiet heet max_completion_tokens; de oude max_tokens is verouderd. Reserveer dit endpoint voor verzoeken vanuit code die er al voor is geschreven: nieuwe functies komen eerst beschikbaar op Responses.
Verschillen in batch
| Functie | Responses | Chat Completions |
|---|---|---|
| Status bij xAI | Aanbevolen | Verouderd |
| Inputformaat | input (tekst of berichtenlijst), instructions | messages |
| Servertools | Ja (web, X, code, MCP) | Niet gedocumenteerd |
| Function calling | Ja | Ja |
| Gestructureerde outputs | text.format | response_format |
| Outputlimiet | max_output_tokens | max_completion_tokens |
| Batchkorting (in aanmerking komende modellen) | 20% | 20% |
Veelvoorkomende geavanceerde parameters
temperature loopt bij xAI van 0 tot 2, waarbij waarden boven de 1 worden gesampled op 1. De best practices van xAI raden echter aan om deze in te stellen op 0,7, met top_p op 0,95, en hier niet veel van af te wijken: batchconsistentie komt in de eerste plaats voort uit precieze instructies en gestructureerde outputs.
De outputlimiet (max_output_tokens of max_completion_tokens) moet expliciet worden ingesteld: zonder deze limiet kan een verzoek een zeer lang antwoord genereren en onnodig tokens verbruiken. Dit geldt alleen voor zichtbare tekst, niet voor reasoning-tokens.
Gestructureerde outputs leggen een JSON-schema op aan het antwoord, waardoor resultaten programmatisch bruikbaar zijn zonder fragiele parsing. Bij Responses gaat het schema in text.format:
{"custom_id": "classify-1", "method": "POST", "url": "/v1/responses", "body": {"model": "grok-4.3", "input": "Classify this comment: « Delivery fast, product as described. »", "text": {"format": {"type": "json_schema", "name": "classification", "schema": {"type": "object", "properties": {"sentiment": {"type": "string", "enum": ["positive", "neutral", "negative"]}}, "required": ["sentiment"], "additionalProperties": false}, "strict": true}}}}
Bij Chat Completions is het equivalent response_format, van het type json_schema (of json_object voor geldige JSON zonder opgelegd schema).
Het mixen van de twee endpoints
U kunt Responses en Chat Completions combineren in dezelfde batch, waarbij elke regel zijn eigen endpoint aanduidt in het veld url:
{"custom_id": "simple-1", "method": "POST", "url": "/v1/chat/completions", "body": {"model": "grok-4.3", "messages": [{"role": "user", "content": "Summarize in one sentence: ..."}]}}
{"custom_id": "search-1", "method": "POST", "url": "/v1/responses", "body": {"model": "grok-4.3", "input": "AI news this week", "tools": [{"type": "web_search"}]}}
Deze flexibiliteit stelt oude Chat Completions-verzoeken en nieuwe Responses-verzoeken in staat om tijdens een migratie naast elkaar te bestaan.
Belangrijkste punten
- Responses is het aanbevolen endpoint, Chat Completions een verouderd endpoint; beide profiteren van de korting van 20% op in aanmerking komende modellen
- Responses is vereist voor servertools (web, X, code, MCP)
- Stel
temperaturein op 0,7 entop_pop 0,95, zoals xAI aanbeveelt, en kies een passende outputlimiet - Gestructureerde outputs lopen via
text.format(Responses) ofresponse_format(Chat Completions) - Beide endpoints kunnen naast elkaar bestaan in dezelfde batch