Užbaigtiniai pokalbiai ir atsakymai grupiniu režimu
Šiame puslapyje
Atnaujinta 2026 m. lapkričio 3 d. Remiantis geriausia xAI praktika:
temperaturerekomenduojama nustatyti ties 0,7, otop_p– ties 0,95, vietoj labai žemos temperatūros. Šaltinis: Geriausia praktika.
Atnaujinta 2026 m. lapkričio 2 d. Remiantis xAI dokumentacija: grupinio apdorojimo nuolaida Eligible tekstiniams modeliams yra 20 % (ne 50 %), pavyzdžiai atitinka REST API ir oficialųjį
xai-sdk(client.batch.*; xAI grupinio apdorojimo API nenaudoja OpenAI formato, OpenAI SDK netinka), o Atsakymų API turi pirmenybę prieš Užbaigtinius pokalbius, kurie xAI sistemoje yra pasenusio galutinio taško statusas. Šaltiniai: Grupinio apdorojimo API · REST nuorodos · Grupinio apdorojimo kainodara.
Du teksto galutiniai taškai grupiniu režimu
Galutiniai taškai /v1/responses ir /v1/chat/completions apdoroja daugumą tekstinių grupinių užklausų. Tinkamiems modeliams abiems taikoma 20 % nuolaida. Tačiau xAI jų vertina nevienodai: Atsakymai (Responses) yra rekomenduojamas API, o Užbaigtiniai pokalbiai (Chat Completions) – pasenęs galutinis taškas, palaikomas dėl esamo kodo. Šioje pamokoje išsamiai aptariami jų ypatumai dirbant grupiniu režimu.
Atsakymai grupiniu režimu
Grupiniu režimu Atsakymų API priima tuos pačius parametrus kaip ir sinchroniniu režimu; keičiasi tik JSONL apvalkalas:
{"custom_id": "sum-1", "method": "POST", "url": "/v1/responses", "body": {"model": "grok-4.3", "instructions": "You are a summarization expert.", "input": "Summarize this financial report in five key points: ...", "temperature": 0.3, "max_output_tokens": 500}}
Jis suteikia prieigą prie Grok serverio įrankių – žiniatinklio paieškos, X paieškos, kodo vykdymo, MCP – kurie vykdomi grupinio apdorojimo metu:
{"custom_id": "research-1", "method": "POST", "url": "/v1/responses", "body": {"model": "grok-4.3", "input": [{"role": "user", "content": "What are the latest trends in generative AI?"}], "tools": [{"type": "web_search"}]}}
Tipiniai naudojimo atvejai
- Teksto klasifikavimas (nuotaika, kategorija, skubumas)
- Struktūruotos informacijos išgavimas (subjektai, datos, sumos)
- Santraukos, perfrazavimas ir vertimai dideliu mastu
- Duomenų praturtinimas naudojant žiniatinklio paiešką
Užbaigtiniai pokalbiai grupiniu režimu
Užbaigtiniai pokalbiai vis dar priimami su savo messages formatu:
{"custom_id": "sum-2", "method": "POST", "url": "/v1/chat/completions", "body": {"model": "grok-4.3", "messages": [{"role": "system", "content": "You are a summarization expert."}, {"role": "user", "content": "Summarize this financial report in five key points: ..."}], "temperature": 0.3, "max_completion_tokens": 500}}
Ilgio riba vadinama max_completion_tokens; senasis max_tokens yra pasenęs. Šį galutinį tašką naudokite tik tiems prašymams, kuriems kodas jau parašytas: naujos funkcijos pirmiausia atsiranda Atsakymų API.
Skirtumai grupiniu režimu
| Funkcija | Atsakymai (Responses) | Užbaigtiniai pokalbiai (Chat Completions) |
|---|---|---|
| Būsena xAI sistemoje | Rekomenduojama | Pasenusi |
| Įvesties formatas | input (tekstas arba žinučių sąrašas), instructions | messages |
| Serverio įrankiai | Taip (žiniatinklis, X, kodas, MCP) | Nenurodyta |
| Funkcijų kvietimas | Taip | Taip |
| Struktūruota išvestis | text.format | response_format |
| Išvesties riba | max_output_tokens | max_completion_tokens |
| Grupinio apdorojimo nuolaida (tinkami modeliai) | 20 % | 20 % |
Bendri išplėstiniai parametrai
temperature xAI sistemoje svyruoja nuo 0 iki 2, tačiau reikšmės, viršijančios 1, imamos kaip 1. Vis dėlto xAI geriausios praktikos rekomenduoja nustatyti ją ties 0,7, o top_p – ties 0,95, ir nuo šių verčių labai nenukrypti: grupinio apdorojimo nuoseklumas pirmiausia užtikrinamas tiksliais nurodymais ir struktūruota išvestimi.
Išvesties riba (max_output_tokens arba max_completion_tokens) turi būti nustatyta aiškiai: be jos užklausa gali sugeneruoti labai ilgą atsakymą ir be reikalo sunaudoti tokenų. Ji taikoma tik matomam tekstui, o ne samprotavimo tokenams.
Struktūruota išvestis atsakymui pritaiko JSON schemą, todėl rezultatus galima programiškai naudoti be trapaus analizavimo. Naudojant Atsakymus, schema nurodoma text.format:
{"custom_id": "classify-1", "method": "POST", "url": "/v1/responses", "body": {"model": "grok-4.3", "input": "Classify this comment: « Delivery fast, product as described. »", "text": {"format": {"type": "json_schema", "name": "classification", "schema": {"type": "object", "properties": {"sentiment": {"type": "string", "enum": ["positive", "neutral", "negative"]}}, "required": ["sentiment"], "additionalProperties": false}, "strict": true}}}}
Naudojant Užbaigtinius pokalbius, atitikmuo yra response_format, kurio tipas – json_schema (arba json_object, jei reikia tinkamo JSON be privalomos schemos).
Abiejų galutinių taškų derinimas
Toje pačioje grupėje gali būti derinami ir Atsakymai, ir Užbaigtiniai pokalbiai; kiekviena eilutė nurodo savo galutinį tašką lauke url:
{"custom_id": "simple-1", "method": "POST", "url": "/v1/chat/completions", "body": {"model": "grok-4.3", "messages": [{"role": "user", "content": "Summarize in one sentence: ..."}]}}
{"custom_id": "search-1", "method": "POST", "url": "/v1/responses", "body": {"model": "grok-4.3", "input": "AI news this week", "tools": [{"type": "web_search"}]}}
Šis lankstumas leidžia senoms Užbaigtinių pokalbių užklausoms ir naujoms Atsakymų užklausoms egzistuoti kartu migracijos metu.
Svarbiausi punktai
- Atsakymai yra rekomenduojamas galutinis taškas, o Užbaigtiniai pokalbiai – pasenęs; abiems tinkamiems modeliams taikoma 20 % nuolaida
- Serverio įrankiams (žiniatinklis, X, kodas, MCP) būtini Atsakymai
- Nustatykite
temperatureties 0,7, otop_pties 0,95, kaip rekomenduoja xAI, ir pasirinkite tinkamą išvesties ribą - Struktūruota išvestis naudojama per
text.format(Atsakymai) arbaresponse_format(Užbaigtiniai pokalbiai) - Abu galutiniai taškai gali egzistuoti toje pačioje grupėje