Chat-Completions und Responses im Batch-Modus
Auf dieser Seite
Aktualisiert am 3. November 2026. Basierend auf den xAI-Best Practices:
temperaturewird bei 0,7 undtop_pbei 0,95 empfohlen, anstatt bei einer niedrigen Temperatur. Quelle: Best Practices.
Aktualisiert am 2. November 2026. Basierend auf der xAI-Dokumentation: Der Batch-Rabatt beträgt 20 % für berechtigte Textmodelle (nicht 50 %). Die Beispiele folgen dem REST-API-Format und dem offiziellen
xai-sdk(client.batch.*; die xAI-Batch-API verwendet nicht das OpenAI-Format, das OpenAI-SDK gilt nicht). Die Responses-API hat Vorrang vor Chat Completions, einem Legacy-Endpunkt bei xAI. Quellen: Batch API · REST-Referenz · Batch-Preise.
Die beiden Text-Endpunkte im Batch-Modus
Die Endpunkte /v1/responses und /v1/chat/completions bearbeiten die meisten Text-Batches. Bei berechtigen Modellen profitieren beide von einem Rabatt von 20 %. xAI bewertet sie jedoch nicht gleich: Responses ist die empfohlene API, Chat Completions ein Legacy-Endpunkt, der für bestehenden Code erhalten bleibt. Diese Lektion erläutert ihre Besonderheiten im Batch-Kontext.
Responses im Batch
Im Batch-Modus akzeptiert die Responses-API dieselben Parameter wie im synchronen Modus; lediglich die JSONL-Hülle ändert sich:
{"custom_id": "sum-1", "method": "POST", "url": "/v1/responses", "body": {"model": "grok-4.3", "instructions": "Sie sind ein Experte für Zusammenfassungen.", "input": "Fassen Sie diesen Finanzbericht in fünf Schlüsselpunkten zusammen: ...", "temperature": 0.3, "max_output_tokens": 500}}
Sie bietet Zugriff auf die Server-Tools von Grok – Websuche, X-Suche, Codeausführung, MCP –, die während der Batch-Verarbeitung ausgeführt werden:
{"custom_id": "research-1", "method": "POST", "url": "/v1/responses", "body": {"model": "grok-4.3", "input": [{"role": "user", "content": "Was sind die neuesten Trends in der generativen KI?"}], "tools": [{"type": "web_search"}]}}
Typische Anwendungsfälle
- Textklassifizierung (Stimmung, Kategorie, Dringlichkeit)
- Extraktion strukturierter Informationen (Entitäten, Daten, Beträge)
- Zusammenfassungen, Neuformulierungen und Übersetzungen im großen Maßstab
- Datenerweiterung über Websuche
Chat Completions im Batch
Chat Completions bleibt akzeptiert, mit seinem messages-Format:
{"custom_id": "sum-2", "method": "POST", "url": "/v1/chat/completions", "body": {"model": "grok-4.3", "messages": [{"role": "system", "content": "Sie sind ein Experte für Zusammenfassungen."}, {"role": "user", "content": "Fassen Sie diesen Finanzbericht in fünf Schlüsselpunkten zusammen: ..."}], "temperature": 0.3, "max_completion_tokens": 500}}
Die Längenbegrenzung heißt max_completion_tokens; das alte max_tokens ist veraltet. Nutzen Sie diesen Endpunkt nur für Anfragen aus bereits geschriebenen Codes: Neue Funktionen erscheinen zuerst bei Responses.
Unterschiede im Batch
| Feature | Responses | Chat Completions |
|---|---|---|
| Status bei xAI | Empfohlen | Legacy |
| Eingabeformat | input (Text oder Nachrichtenliste), instructions | messages |
| Server-Tools | Ja (Web, X, Code, MCP) | Nicht dokumentiert |
- Funktionaufrufe | Ja | Ja |
- Strukturierte Ausgaben |
text.format|response_format| - Ausgabe-Limit |
max_output_tokens|max_completion_tokens| - Batch-Rabatt (berechtigte Modelle) | 20 % | 20 % |
Gemeinsame erweiterte Parameter
temperature reicht bei xAI von 0 bis 2; Werte über 1 werden bei 1 abgetastet. xAI-Best Practices empfehlen jedoch, temperature auf 0,7 und top_p auf 0,95 einzustellen und sich nicht stark davon zu entfernen: Batch-Konsistenz ergibt sich primär aus präzisen Anweisungen und strukturierten Ausgaben.
Das Ausgabe-Limit (max_output_tokens oder max_completion_tokens) muss explizit gesetzt werden: Ohne diese Angabe kann eine Anfrage eine sehr lange Antwort erzeugen und unnötig Token verbrauchen. Es gilt nur für sichtbaren Text, nicht für Denk-Token.
Strukturierte Ausgaben legen ein JSON-Schema auf die Antwort fest, sodass Ergebnisse ohne zerbrechliches Parsing programmatisch nutzbar sind. Bei Responses geht das Schema in text.format:
{"custom_id": "classify-1", "method": "POST", "url": "/v1/responses", "body": {"model": "grok-4.3", "input": "Klassifizieren Sie diesen Kommentar: « Schnelle Lieferung, Produkt wie beschrieben. »", "text": {"format": {"type": "json_schema", "name": "classification", "schema": {"type": "object", "properties": {"sentiment": {"type": "string", "enum": ["positive", "neutral", "negative"]}}, "required": ["sentiment"], "additionalProperties": false}, "strict": true}}}}
Bei Chat Completions entspricht dies response_format vom Typ json_schema (oder json_object für gültiges JSON ohne aufgezwungenes Schema).
Mischen der beiden Endpunkte
Sie können Responses und Chat Completions im selben Batch kombinieren, wobei jede Zeile ihren Endpunkt im Feld url benennt:
{"custom_id": "simple-1", "method": "POST", "url": "/v1/chat/completions", "body": {"model": "grok-4.3", "messages": [{"role": "user", "content": "Fassen Sie in einem Satz zusammen: ..."}]}}
{"custom_id": "search-1", "method": "POST", "url": "/v1/responses", "body": {"model": "grok-4.3", "input": "KI-Nachrichten diese Woche", "tools": [{"type": "web_search"}]}}
Diese Flexibilität ermöglicht es, alte Chat-Completions-Anfragen und neue Responses-Anfragen während eines Migrationsprozesses nebeneinander zu bestehen.
Wichtige Erkenntnisse
- Responses ist der empfohlene Endpunkt, Chat Completions ein Legacy-Endpunkt; beide profitieren von einem Rabatt von 20 % bei berechtigen Modellen
- Responses ist erforderlich für Server-Tools (Web, X, Code, MCP)
- Stellen Sie
temperatureauf 0,7 undtop_pauf 0,95 ein, wie xAI empfiehlt, sowie ein passendes Ausgabe-Limit - Strukturierte Ausgaben erfolgen über
text.format(Responses) oderresponse_format(Chat Completions) - Beide Endpunkte können im selben Batch koexistieren