Zum Hauptinhalt springen
Deutsch— Sprache auswählen
Menü

Chat-Completions und Responses im Batch-Modus

Lektion 8 von 12 Aktualisiert am 3. November 2026 Entwickler
Auf dieser Seite
  1. Die beiden Text-Endpunkte im Batch-Modus
  2. Responses im Batch
  3. Chat Completions im Batch
  4. Unterschiede im Batch
  5. Gemeinsame erweiterte Parameter
  6. Mischen der beiden Endpunkte
  7. Wichtige Erkenntnisse

Aktualisiert am 3. November 2026. Basierend auf den xAI-Best Practices: temperature wird bei 0,7 und top_p bei 0,95 empfohlen, anstatt bei einer niedrigen Temperatur. Quelle: Best Practices.

Aktualisiert am 2. November 2026. Basierend auf der xAI-Dokumentation: Der Batch-Rabatt beträgt 20 % für berechtigte Textmodelle (nicht 50 %). Die Beispiele folgen dem REST-API-Format und dem offiziellen xai-sdk (client.batch.*; die xAI-Batch-API verwendet nicht das OpenAI-Format, das OpenAI-SDK gilt nicht). Die Responses-API hat Vorrang vor Chat Completions, einem Legacy-Endpunkt bei xAI. Quellen: Batch API · REST-Referenz · Batch-Preise.

Die beiden Text-Endpunkte im Batch-Modus

Die Endpunkte /v1/responses und /v1/chat/completions bearbeiten die meisten Text-Batches. Bei berechtigen Modellen profitieren beide von einem Rabatt von 20 %. xAI bewertet sie jedoch nicht gleich: Responses ist die empfohlene API, Chat Completions ein Legacy-Endpunkt, der für bestehenden Code erhalten bleibt. Diese Lektion erläutert ihre Besonderheiten im Batch-Kontext.

Responses im Batch

Im Batch-Modus akzeptiert die Responses-API dieselben Parameter wie im synchronen Modus; lediglich die JSONL-Hülle ändert sich:

{"custom_id": "sum-1", "method": "POST", "url": "/v1/responses", "body": {"model": "grok-4.3", "instructions": "Sie sind ein Experte für Zusammenfassungen.", "input": "Fassen Sie diesen Finanzbericht in fünf Schlüsselpunkten zusammen: ...", "temperature": 0.3, "max_output_tokens": 500}}

Sie bietet Zugriff auf die Server-Tools von Grok – Websuche, X-Suche, Codeausführung, MCP –, die während der Batch-Verarbeitung ausgeführt werden:

{"custom_id": "research-1", "method": "POST", "url": "/v1/responses", "body": {"model": "grok-4.3", "input": [{"role": "user", "content": "Was sind die neuesten Trends in der generativen KI?"}], "tools": [{"type": "web_search"}]}}

Typische Anwendungsfälle

  • Textklassifizierung (Stimmung, Kategorie, Dringlichkeit)
  • Extraktion strukturierter Informationen (Entitäten, Daten, Beträge)
  • Zusammenfassungen, Neuformulierungen und Übersetzungen im großen Maßstab
  • Datenerweiterung über Websuche

Chat Completions im Batch

Chat Completions bleibt akzeptiert, mit seinem messages-Format:

{"custom_id": "sum-2", "method": "POST", "url": "/v1/chat/completions", "body": {"model": "grok-4.3", "messages": [{"role": "system", "content": "Sie sind ein Experte für Zusammenfassungen."}, {"role": "user", "content": "Fassen Sie diesen Finanzbericht in fünf Schlüsselpunkten zusammen: ..."}], "temperature": 0.3, "max_completion_tokens": 500}}

Die Längenbegrenzung heißt max_completion_tokens; das alte max_tokens ist veraltet. Nutzen Sie diesen Endpunkt nur für Anfragen aus bereits geschriebenen Codes: Neue Funktionen erscheinen zuerst bei Responses.

Unterschiede im Batch

FeatureResponsesChat Completions
Status bei xAIEmpfohlenLegacy
Eingabeformatinput (Text oder Nachrichtenliste), instructionsmessages
Server-ToolsJa (Web, X, Code, MCP)Nicht dokumentiert
  • Funktionaufrufe | Ja | Ja |
  • Strukturierte Ausgaben | text.format | response_format |
  • Ausgabe-Limit | max_output_tokens | max_completion_tokens |
  • Batch-Rabatt (berechtigte Modelle) | 20 % | 20 % |

Gemeinsame erweiterte Parameter

temperature reicht bei xAI von 0 bis 2; Werte über 1 werden bei 1 abgetastet. xAI-Best Practices empfehlen jedoch, temperature auf 0,7 und top_p auf 0,95 einzustellen und sich nicht stark davon zu entfernen: Batch-Konsistenz ergibt sich primär aus präzisen Anweisungen und strukturierten Ausgaben.

Das Ausgabe-Limit (max_output_tokens oder max_completion_tokens) muss explizit gesetzt werden: Ohne diese Angabe kann eine Anfrage eine sehr lange Antwort erzeugen und unnötig Token verbrauchen. Es gilt nur für sichtbaren Text, nicht für Denk-Token.

Strukturierte Ausgaben legen ein JSON-Schema auf die Antwort fest, sodass Ergebnisse ohne zerbrechliches Parsing programmatisch nutzbar sind. Bei Responses geht das Schema in text.format:

{"custom_id": "classify-1", "method": "POST", "url": "/v1/responses", "body": {"model": "grok-4.3", "input": "Klassifizieren Sie diesen Kommentar: « Schnelle Lieferung, Produkt wie beschrieben. »", "text": {"format": {"type": "json_schema", "name": "classification", "schema": {"type": "object", "properties": {"sentiment": {"type": "string", "enum": ["positive", "neutral", "negative"]}}, "required": ["sentiment"], "additionalProperties": false}, "strict": true}}}}

Bei Chat Completions entspricht dies response_format vom Typ json_schema (oder json_object für gültiges JSON ohne aufgezwungenes Schema).

Mischen der beiden Endpunkte

Sie können Responses und Chat Completions im selben Batch kombinieren, wobei jede Zeile ihren Endpunkt im Feld url benennt:

{"custom_id": "simple-1", "method": "POST", "url": "/v1/chat/completions", "body": {"model": "grok-4.3", "messages": [{"role": "user", "content": "Fassen Sie in einem Satz zusammen: ..."}]}}
{"custom_id": "search-1", "method": "POST", "url": "/v1/responses", "body": {"model": "grok-4.3", "input": "KI-Nachrichten diese Woche", "tools": [{"type": "web_search"}]}}

Diese Flexibilität ermöglicht es, alte Chat-Completions-Anfragen und neue Responses-Anfragen während eines Migrationsprozesses nebeneinander zu bestehen.

Wichtige Erkenntnisse

  • Responses ist der empfohlene Endpunkt, Chat Completions ein Legacy-Endpunkt; beide profitieren von einem Rabatt von 20 % bei berechtigen Modellen
  • Responses ist erforderlich für Server-Tools (Web, X, Code, MCP)
  • Stellen Sie temperature auf 0,7 und top_p auf 0,95 ein, wie xAI empfiehlt, sowie ein passendes Ausgabe-Limit
  • Strukturierte Ausgaben erfolgen über text.format (Responses) oder response_format (Chat Completions)
  • Beide Endpunkte können im selben Batch koexistieren