Dokončevanje klepetov in odzivi v paketih
Na tej strani
Posodobljeno 3. novembra 2026. Na podlagi najboljših praks xAI: priporočena vrednost za
temperatureje 0,7 in zatop_p0,95, namesto nizke temperature. Vir: Najboljše prakse.
Posodobljeno 2. novembra 2026. Na podlagi dokumentacije xAI: popust za paketno obdelavo znaša 20 % za upravičene besedilne modele (ne 50 %), primeri sledijo REST API-ju in uradnemu paketu
xai-sdk(client.batch.*; xAI Batch API ne uporablja formata OpenAI, paket SDK za OpenAI ne velja), API za odzive (Responses API) pa ima prednost pred dokončevanjem klepetov (Chat Completions), ki je zastarela končna točka pri xAI. Viri: Batch API · Referenca REST · Cenik za pakete.
Dve besedilni končni točki v paketnem načinu
Končni točki /v1/responses in /v1/chat/completions obravnavata večino besedilnih paketov. Pri upravičenih modelih sta obe deležni 20-odstotnega popusta. Vendar xAI ne enači njunega pomena: Responses je priporočeni API, Chat Completions pa zastarela končna točka, ki se vzdržuje zaradi obstoječe kode. Ta lekcija podrobno opisuje njune posebnosti v kontekstu paketne obdelave.
Odzivi v paketu
V paketnem načinu API za odzive (Responses API) sprejme iste parametre kot v sinhronem načinu; spremeni se le ovojnica JSONL:
{"custom_id": "sum-1", "method": "POST", "url": "/v1/responses", "body": {"model": "grok-4.3", "instructions": "You are a summarization expert.", "input": "Summarize this financial report in five key points: ...", "temperature": 0.3, "max_output_tokens": 500}}
Omogoča dostop do strežniških orodij Grok – spletno iskanje, iskanje po X, izvajanje kode, MCP – ki se izvajajo med paketno obdelavo:
{"custom_id": "research-1", "method": "POST", "url": "/v1/responses", "body": {"model": "grok-4.3", "input": [{"role": "user", "content": "What are the latest trends in generative AI?"}], "tools": [{"type": "web_search"}]}}
Tipični primeri uporabe
- Klasifikacija besedila (čustveni ton, kategorija, nujnost)
- Strukturirano pridobivanje informacij (entitete, datumi, zneski)
- Povzetki, preoblikovanja in prevodi v velikem obsegu
- Obogatitev podatkov prek spletnega iskanja
Dokončevanje klepetov v paketu
Dokončevanje klepetov (Chat Completions) ostaja sprejeto s svojim formatom messages:
{"custom_id": "sum-2", "method": "POST", "url": "/v1/chat/completions", "body": {"model": "grok-4.3", "messages": [{"role": "system", "content": "You are a summarization expert."}, {"role": "user", "content": "Summarize this financial report in five key points: ..."}], "temperature": 0.3, "max_completion_tokens": 500}}
Omejitev dolžine se imenuje max_completion_tokens; stara max_tokens je zastarela. To končno točko uporabi le za zahteve iz kode, ki je že napisana zanj: nove funkcije se najprej pojavijo pri Responses.
Razlike v paketni obdelavi
| Funkcija | Responses | Chat Completions |
|---|---|---|
| Status pri xAI | Priporočeno | Zastarelo |
| Vhodni format | input (besedilo ali seznam sporočil), instructions | messages |
| Strežniška orodja | Da (spletno, X, koda, MCP) | Nedokumentirano |
| Klicanje funkcij | Da | Da |
| Strukturirani izhodi | text.format | response_format |
| Omejitev izhoda | max_output_tokens | max_completion_tokens |
| Popust za pakete (upravičeni modeli) | 20 % | 20 % |
Pogosti napredni parametri
temperature se pri xAI giblje od 0 do 2, pri čemer se vrednosti nad 1 vzorčijo kot 1. Vendar najboljše prakse xAI priporočajo nastavitev na 0,7, top_p pa na 0,95, in močnega odstopanja od tega ne priporočajo: doslednost v paketni obdelavi izvira predvsem iz natančnih navodil in strukturiranih izhodov.
Omejitev izhoda (max_output_tokens ali max_completion_tokens) mora biti izrecno nastavljena: brez nje lahko zahtevek ustvari zelo dolg odgovor in nepotrebno porabi žetone. Velja le za vidno besedilo, ne pa tudi za žetone za razmišljanje.
Strukturirani izhodi vsilijo shemo JSON odgovoru, kar omogoča programsko uporabo rezultatov brez krhkega razčlenjevanja. Pri Responses gre shema v text.format:
{"custom_id": "classify-1", "method": "POST", "url": "/v1/responses", "body": {"model": "grok-4.3", "input": "Classify this comment: « Delivery fast, product as described. »", "text": {"format": {"type": "json_schema", "name": "classification", "schema": {"type": "object", "properties": {"sentiment": {"type": "string", "enum": ["positive", "neutral", "negative"]}}, "required": ["sentiment"], "additionalProperties": false}, "strict": true}}}}
Pri Chat Completions je enakovredni parameter response_format tipa json_schema (ali json_object za veljaven JSON brez vsiljene sheme).
Mešanje obeh končnih točk
V istem paketu lahko združiš Responses in Chat Completions, pri čemer vsaka vrstica v polju url določi svojo končno točko:
{"custom_id": "simple-1", "method": "POST", "url": "/v1/chat/completions", "body": {"model": "grok-4.3", "messages": [{"role": "user", "content": "Summarize in one sentence: ..."}]}}
{"custom_id": "search-1", "method": "POST", "url": "/v1/responses", "body": {"model": "grok-4.3", "input": "AI news this week", "tools": [{"type": "web_search"}]}}
Ta prilagodljivost omogoča soobstoj starih zahtevkov Chat Completions in novih zahtevkov Responses med selitvijo.
Ključne ugotovitve
- Responses je priporočena končna točka, Chat Completions pa zastarela; obe sta deležni 20-odstotnega popusta pri upravičenih modelih
- Responses je obvezen za strežniška orodja (spletno, X, koda, MCP)
- Nastavi
temperaturena 0,7 intop_pna 0,95, kot priporoča xAI, ter ustrezno omejitev izhoda - Strukturirani izhodi potekajo prek
text.format(Responses) aliresponse_format(Chat Completions) - Obe končni točki lahko sobivata v istem paketu