Prejsť na hlavný obsah
Slovenčina— Vyberte jazyk
Menu

Kompletné chaty a odpovede v dávkach

Lekcia 8 z 12 Aktualizované 3. novembra 2026 Vývojár
Na tejto strane
  1. Dva textové koncové body v dávkovom režime
  2. Odpovede v dávke
  3. Kompletné chaty v dávke
  4. Rozdiely v dávkach
  5. Bežné pokročilé parametre
  6. Kombinácia oboch koncových bodov
  7. Kľúčové poznatky

Aktualizované 3. novembra 2026. Na základe osvedčených postupov xAI: odporúča sa nastaviť temperature na 0,7 a top_p na 0,95 namiesto nízkej teploty. Zdroj: Osvedčené postupy.

Aktualizované 2. novembra 2026. Podľa dokumentácie xAI: zľava pre dávky je 20 % na spôsobilé textové modely (nie 50 %), príklady nasledujú REST API a oficiálny xai-sdk (client.batch.*; Batch API od xAI nepoužíva formát OpenAI, SDK OpenAI sa neuplatňuje) a API Odpovede má prednosť pred Kompletnými chatmi, čo je zastaraný koncový bod v xAI. Zdroje: Batch API · Referencia REST · Cenník dávok.

Dva textové koncové body v dávkovom režime

Koncové body /v1/responses a /v1/chat/completions vybavujú väčšinu textových dávok. Na spôsobilých modeloch oba využívajú 20 % zľavu. xAI ich však nepovažuje za rovnocenné: Odpovede sú odporúčaným API, zatiaľ čo Kompletné chaty sú zastaraným koncovým bodom udržiavaným pre existujúci kód. Táto lekcia podrobne opisuje ich špecifiká v kontexte dávok.

Odpovede v dávke

V dávkovom režime prijíma API Odpovede rovnaké parametre ako v synchronnom režime; mení sa len obálka JSONL:

{"custom_id": "sum-1", "method": "POST", "url": "/v1/responses", "body": {"model": "grok-4.3", "instructions": "You are a summarization expert.", "input": "Summarize this financial report in five key points: ...", "temperature": 0.3, "max_output_tokens": 500}}

Poskytuje prístup k serverovým nástrojom Grok – vyhľadávanie na webe, vyhľadávanie na X, vykonávanie kódu, MCP – ktoré sa spúšťajú počas spracovania dávky:

{"custom_id": "research-1", "method": "POST", "url": "/v1/responses", "body": {"model": "grok-4.3", "input": [{"role": "user", "content": "What are the latest trends in generative AI?"}], "tools": [{"type": "web_search"}]}}

Typické prípady použitia

  • Klasifikácia textu (sentiment, kategória, naliehavosť)
  • Štruktúrovaná extrakcia informácií (entity, dátumy, sumy)
  • Zhrnutia, preformulovania a preklady vo veľkom meradle
  • Obohatenie údajov prostredníctvom vyhľadávania na webe

Kompletné chaty v dávke

Kompletné chaty zostávajú akceptované so svojím formátom messages:

{"custom_id": "sum-2", "method": "POST", "url": "/v1/chat/completions", "body": {"model": "grok-4.3", "messages": [{"role": "system", "content": "You are a summarization expert."}, {"role": "user", "content": "Summarize this financial report in five key points: ..."}], "temperature": 0.3, "max_completion_tokens": 500}}

Limit dĺžky sa nazýva max_completion_tokens; starý parameter max_tokens je zastaraný. Tento koncový bod vyhraď pre požiadavky z kódu, ktorý už bol preň napísaný: nové funkcie sa najprv objavujú v Odpovediach.

Rozdiely v dávkach

FunkciaOdpovedeKompletné chaty
Stav v xAIOdporúčanéZastarané
Formát vstupuinput (text alebo zoznam správ), instructionsmessages
Serverové nástrojeÁno (web, X, kód, MCP)Nedokumentované
Volanie funkciíÁnoÁno
Štruktúrované výstupytext.formatresponse_format
Limit výstupumax_output_tokensmax_completion_tokens
Zľava za dávku (spôsobilé modely)20 %20 %

Bežné pokročilé parametre

temperature sa v xAI pohybuje od 0 do 2, pričom hodnoty nad 1 sa vzorkujú ako 1. Osvedčené postupy xAI však odporúčajú nastaviť ju na 0,7 s top_p na 0,95 a príliš sa od toho neodchýliť: konzistencia dávok vychádza predovšetkým z presných inštrukcií a štruktúrovaných výstupov.

Limit výstupu (max_output_tokens alebo max_completion_tokens) musí byť nastavený explicitne: bez neho môže požiadavka vygenerovať veľmi dlhú odpoveď a zbytočne spotrebovať tokeny. Vzťahuje sa len na viditeľný text, nie na tokeny odôvodnenia.

Štruktúrované výstupy vnucujú odpovedi schému JSON, vďaka čomu sú výsledky programovo použiteľné bez krehkého parsingu. Pri Odpovediach sa schéma uvádza v text.format:

{"custom_id": "classify-1", "method": "POST", "url": "/v1/responses", "body": {"model": "grok-4.3", "input": "Classify this comment: « Delivery fast, product as described. »", "text": {"format": {"type": "json_schema", "name": "classification", "schema": {"type": "object", "properties": {"sentiment": {"type": "string", "enum": ["positive", "neutral", "negative"]}}, "required": ["sentiment"], "additionalProperties": false}, "strict": true}}}}

Pri Kompletných chatoch je ekvivalentom response_format typu json_schema (alebo json_object pre platné JSON bez vnútenej schémy).

Kombinácia oboch koncových bodov

V tej istej dávke môžeš kombinovať Odpovede aj Kompletné chaty, pričom každý riadok určuje svoj koncový bod v poli url:

{"custom_id": "simple-1", "method": "POST", "url": "/v1/chat/completions", "body": {"model": "grok-4.3", "messages": [{"role": "user", "content": "Summarize in one sentence: ..."}]}}
{"custom_id": "search-1", "method": "POST", "url": "/v1/responses", "body": {"model": "grok-4.3", "input": "AI news this week", "tools": [{"type": "web_search"}]}}

Táto flexibilita umožňuje koexistenciu starých požiadaviek Kompletných chatov a nových požiadaviek Odpovedí počas migrácie.

Kľúčové poznatky

  • Odpovede sú odporúčaným koncovým bodom, Kompletné chaty sú zastaraným koncovým bodom; oba využívajú 20 % zľavu na spôsobilých modeloch
  • Odpovede sú potrebné pre serverové nástroje (web, X, kód, MCP)
  • Nastav temperature na 0,7 a top_p na 0,95, ako odporúča xAI, a vhodný limit výstupu
  • Štruktúrované výstupy prechádzajú cez text.format (Odpovede) alebo response_format (Kompletné chaty)
  • Oba koncové body môžu koexistovať v tej istej dávke