Preskok na glavno vsebino
Slovenščina— Izberite jezik
Meni

Dokončevanje klepetov in odzivi v paketih

Lekcija 8 od 12 Posodobljeno 3. november 2026 Razvijalec
Na tej strani
  1. Dve besedilni končni točki v paketnem načinu
  2. Odzivi v paketu
  3. Dokončevanje klepetov v paketu
  4. Razlike v paketni obdelavi
  5. Pogosti napredni parametri
  6. Mešanje obeh končnih točk
  7. Ključne ugotovitve

Posodobljeno 3. novembra 2026. Na podlagi najboljših praks xAI: priporočena vrednost za temperature je 0,7 in za top_p 0,95, namesto nizke temperature. Vir: Najboljše prakse.

Posodobljeno 2. novembra 2026. Na podlagi dokumentacije xAI: popust za paketno obdelavo znaša 20 % za upravičene besedilne modele (ne 50 %), primeri sledijo REST API-ju in uradnemu paketu xai-sdk (client.batch.*; xAI Batch API ne uporablja formata OpenAI, paket SDK za OpenAI ne velja), API za odzive (Responses API) pa ima prednost pred dokončevanjem klepetov (Chat Completions), ki je zastarela končna točka pri xAI. Viri: Batch API · Referenca REST · Cenik za pakete.

Dve besedilni končni točki v paketnem načinu

Končni točki /v1/responses in /v1/chat/completions obravnavata večino besedilnih paketov. Pri upravičenih modelih sta obe deležni 20-odstotnega popusta. Vendar xAI ne enači njunega pomena: Responses je priporočeni API, Chat Completions pa zastarela končna točka, ki se vzdržuje zaradi obstoječe kode. Ta lekcija podrobno opisuje njune posebnosti v kontekstu paketne obdelave.

Odzivi v paketu

V paketnem načinu API za odzive (Responses API) sprejme iste parametre kot v sinhronem načinu; spremeni se le ovojnica JSONL:

{"custom_id": "sum-1", "method": "POST", "url": "/v1/responses", "body": {"model": "grok-4.3", "instructions": "You are a summarization expert.", "input": "Summarize this financial report in five key points: ...", "temperature": 0.3, "max_output_tokens": 500}}

Omogoča dostop do strežniških orodij Grok – spletno iskanje, iskanje po X, izvajanje kode, MCP – ki se izvajajo med paketno obdelavo:

{"custom_id": "research-1", "method": "POST", "url": "/v1/responses", "body": {"model": "grok-4.3", "input": [{"role": "user", "content": "What are the latest trends in generative AI?"}], "tools": [{"type": "web_search"}]}}

Tipični primeri uporabe

  • Klasifikacija besedila (čustveni ton, kategorija, nujnost)
  • Strukturirano pridobivanje informacij (entitete, datumi, zneski)
  • Povzetki, preoblikovanja in prevodi v velikem obsegu
  • Obogatitev podatkov prek spletnega iskanja

Dokončevanje klepetov v paketu

Dokončevanje klepetov (Chat Completions) ostaja sprejeto s svojim formatom messages:

{"custom_id": "sum-2", "method": "POST", "url": "/v1/chat/completions", "body": {"model": "grok-4.3", "messages": [{"role": "system", "content": "You are a summarization expert."}, {"role": "user", "content": "Summarize this financial report in five key points: ..."}], "temperature": 0.3, "max_completion_tokens": 500}}

Omejitev dolžine se imenuje max_completion_tokens; stara max_tokens je zastarela. To končno točko uporabi le za zahteve iz kode, ki je že napisana zanj: nove funkcije se najprej pojavijo pri Responses.

Razlike v paketni obdelavi

FunkcijaResponsesChat Completions
Status pri xAIPriporočenoZastarelo
Vhodni formatinput (besedilo ali seznam sporočil), instructionsmessages
Strežniška orodjaDa (spletno, X, koda, MCP)Nedokumentirano
Klicanje funkcijDaDa
Strukturirani izhoditext.formatresponse_format
Omejitev izhodamax_output_tokensmax_completion_tokens
Popust za pakete (upravičeni modeli)20 %20 %

Pogosti napredni parametri

temperature se pri xAI giblje od 0 do 2, pri čemer se vrednosti nad 1 vzorčijo kot 1. Vendar najboljše prakse xAI priporočajo nastavitev na 0,7, top_p pa na 0,95, in močnega odstopanja od tega ne priporočajo: doslednost v paketni obdelavi izvira predvsem iz natančnih navodil in strukturiranih izhodov.

Omejitev izhoda (max_output_tokens ali max_completion_tokens) mora biti izrecno nastavljena: brez nje lahko zahtevek ustvari zelo dolg odgovor in nepotrebno porabi žetone. Velja le za vidno besedilo, ne pa tudi za žetone za razmišljanje.

Strukturirani izhodi vsilijo shemo JSON odgovoru, kar omogoča programsko uporabo rezultatov brez krhkega razčlenjevanja. Pri Responses gre shema v text.format:

{"custom_id": "classify-1", "method": "POST", "url": "/v1/responses", "body": {"model": "grok-4.3", "input": "Classify this comment: « Delivery fast, product as described. »", "text": {"format": {"type": "json_schema", "name": "classification", "schema": {"type": "object", "properties": {"sentiment": {"type": "string", "enum": ["positive", "neutral", "negative"]}}, "required": ["sentiment"], "additionalProperties": false}, "strict": true}}}}

Pri Chat Completions je enakovredni parameter response_format tipa json_schema (ali json_object za veljaven JSON brez vsiljene sheme).

Mešanje obeh končnih točk

V istem paketu lahko združiš Responses in Chat Completions, pri čemer vsaka vrstica v polju url določi svojo končno točko:

{"custom_id": "simple-1", "method": "POST", "url": "/v1/chat/completions", "body": {"model": "grok-4.3", "messages": [{"role": "user", "content": "Summarize in one sentence: ..."}]}}
{"custom_id": "search-1", "method": "POST", "url": "/v1/responses", "body": {"model": "grok-4.3", "input": "AI news this week", "tools": [{"type": "web_search"}]}}

Ta prilagodljivost omogoča soobstoj starih zahtevkov Chat Completions in novih zahtevkov Responses med selitvijo.

Ključne ugotovitve

  • Responses je priporočena končna točka, Chat Completions pa zastarela; obe sta deležni 20-odstotnega popusta pri upravičenih modelih
  • Responses je obvezen za strežniška orodja (spletno, X, koda, MCP)
  • Nastavi temperature na 0,7 in top_p na 0,95, kot priporoča xAI, ter ustrezno omejitev izhoda
  • Strukturirani izhodi potekajo prek text.format (Responses) ali response_format (Chat Completions)
  • Obe končni točki lahko sobivata v istem paketu