Chat Completions a Responses v dávkovém režimu
Na této stránce
Aktualizováno 3. listopadu 2026. Na základě osvědčených postupů xAI: doporučuje se nastavit
temperaturena 0,7 atop_pna 0,95, nikoliv na nízkou hodnotu teploty. Zdroj: Osvědčené postupy.
Aktualizováno 2. listopadu 2026. Podle dokumentace xAI: sleva pro dávkové zpracování činí 20 % u způsobilých textových modelů (nikoliv 50 %), příklady odpovídají REST API a oficiálnímu
xai-sdk(client.batch.*; Batch API od xAI nepoužívá formát OpenAI, SDK od OpenAI se neaplikuje) a API Responses má přednost před Chat Completions, což je u xAI zastarálý koncový bod. Zdroje: Batch API · Reference REST · Ceník pro dávky.
Dva textové koncové body v dávkovém režimu
Koncové body /v1/responses a /v1/chat/completions zpracovávají většinu textových dávek. U způsobilých modelů oba využívají 20% slevu. xAI je však nepovažuje za rovnocenné: Responses je doporučené API, zatímco Chat Completions je zastarálý koncový bod udržovaný kvůli existujícímu kódu. Tato lekce podrobně popisuje jejich specifika v kontextu dávkového zpracování.
Responses v dávce
V dávkovém režimu přijímá API Responses stejné parametry jako v synchronním režimu; mění se pouze obálka JSONL:
{"custom_id": "sum-1", "method": "POST", "url": "/v1/responses", "body": {"model": "grok-4.3", "instructions": "You are a summarization expert.", "input": "Summarize this financial report in five key points: ...", "temperature": 0.3, "max_output_tokens": 500}}
Poskytuje přístup k serverovým nástrojům Groku – vyhledávání na webu, vyhledávání na X, spouštění kódu, MCP – které se provádějí během dávkového zpracování:
{"custom_id": "research-1", "method": "POST", "url": "/v1/responses", "body": {"model": "grok-4.3", "input": [{"role": "user", "content": "What are the latest trends in generative AI?"}], "tools": [{"type": "web_search"}]}}
Typické případy použití
- Klasifikace textu (sentiment, kategorie, naléhavost)
- Extrakce strukturovaných informací (entity, data, částky)
- Shrnutí, přeformulování a překlady ve velkém měřítku
- Obohacování dat pomocí vyhledávání na webu
Chat Completions v dávce
Chat Completions zůstává podporován se svým formátem messages:
{"custom_id": "sum-2", "method": "POST", "url": "/v1/chat/completions", "body": {"model": "grok-4.3", "messages": [{"role": "system", "content": "You are a summarization expert."}, {"role": "user", "content": "Summarize this financial report in five key points: ..."}], "temperature": 0.3, "max_completion_tokens": 500}}
Limit délky se nazývá max_completion_tokens; starý parametr max_tokens je zastaralý. Tento koncový bod vyhraď pro požadavky z kódu, který již byl pro něj napsán: nové funkce se nejprve objevují u Responses.
Rozdíly v dávkovém režimu
| Funkce | Responses | Chat Completions |
|---|---|---|
| Status u xAI | Doporučeno | Zastaralé |
| Formát vstupu | input (text nebo seznam zpráv), instructions | messages |
| Serverové nástroje | Ano (web, X, kód, MCP) | Nedokumentováno |
| Volání funkcí | Ano | Ano |
| Strukturované výstupy | text.format | response_format |
| Limit výstupu | max_output_tokens | max_completion_tokens |
| Sleva pro dávky (způsobilé modely) | 20 % | 20 % |
Běžné pokročilé parametry
temperature se u xAI pohybuje v rozmezí 0 až 2, přičemž hodnoty nad 1 jsou vzorkovány jako 1. Osvědčené postupy xAI však doporučují nastavit ji na 0,7 s top_p na 0,95 a příliš se od toho neodchýlit: konzistence v dávkách vychází především z přesných instrukcí a strukturovaných výstupů.
Limit výstupu (max_output_tokens nebo max_completion_tokens) musí být nastaven explicitně: bez něj může požadavek vygenerovat velmi dlouhou odpověď a zbytečně spotřebovat tokeny. Platí pouze pro viditelný text, nikoliv pro tokeny odůvodnění.
Strukturované výstupy vnucují odpovědi schéma JSON, což umožňuje programové využití výsledků bez křehkého parsování. U Responses se schéma uvádí v text.format:
{"custom_id": "classify-1", "method": "POST", "url": "/v1/responses", "body": {"model": "grok-4.3", "input": "Classify this comment: « Delivery fast, product as described. »", "text": {"format": {"type": "json_schema", "name": "classification", "schema": {"type": "object", "properties": {"sentiment": {"type": "string", "enum": ["positive", "neutral", "negative"]}}, "required": ["sentiment"], "additionalProperties": false}, "strict": true}}}}
U Chat Completions je ekvivalentem response_format typu json_schema (nebo json_object pro platné JSON bez vynuceného schématu).
Kombinace obou koncových bodů
Můžeš kombinovat Responses a Chat Completions ve stejné dávce, přičemž každý řádek určuje svůj koncový bod v poli url:
{"custom_id": "simple-1", "method": "POST", "url": "/v1/chat/completions", "body": {"model": "grok-4.3", "messages": [{"role": "user", "content": "Summarize in one sentence: ..."}]}}
{"custom_id": "search-1", "method": "POST", "url": "/v1/responses", "body": {"model": "grok-4.3", "input": "AI news this week", "tools": [{"type": "web_search"}]}}
Tato flexibilita umožňuje koexistenci starých požadavků Chat Completions a nových požadavků Responses během migrace.
Klíčové poznatky
- Responses je doporučený koncový bod, Chat Completions je zastaralý; oba využívají 20% slevu u způsobilých modelů
- Pro serverové nástroje (web, X, kód, MCP) je vyžadováno Responses
- Nastav
temperaturena 0,7 atop_pna 0,95, jak doporučuje xAI, a zvol vhodný limit výstupu - Strukturované výstupy se realizují přes
text.format(Responses) neboresponse_format(Chat Completions) - Obě koncové body mohou koexistovat ve stejné dávce