Vastuste ja vestluse lõpetamiste partii töötlus
Sellel lehel
Uuendatud 3. novembril 2026. Lähtudes xAi parimatest tavadest: soovitatav on seada
temperatureväärtusele 0,7 jatop_pväärtusele 0,95, mitte kasutada madalat temperatuuri. Allikas: Parimad tavad.
Uuendatud 2. novembril 2026. Lähtudes xAi dokumentatsioonist: partii hinnaalandus on sobivatele tekst mudelitele 20% (mitte 50%), näited järgivad REST API-t ja ametlikku
xai-sdk-d (client.batch.*; xAi partii API ei kasuta OpenAI vormingut ja OpenAI SDK ei kehti) ning Vastuste API-l on vestluse lõpetamiste ees eelisõigus, mis on xAi-s iganenud lõpp-punkt. Allikad: Partii API · REST viide · Partii hinnakiri.
Kaks teksti lõpp-punkti partii režiimis
Lõpp-punktid /v1/responses ja /v1/chat/completions haldavad enamikku teksti partiidest. Sobivate mudelite puhul pakuvad mõlemad 20% hinnaalandust. Kuid xAi ei sea neid võrdsesse järku: Vastused on soovitatav API, Vestluse lõpetamised aga olemasoleva koodi jaoks hooldatav iganenud lõpp-punkt. See tund kirjeldab nende eripära partii kontekstis.
Vastused partis
Partii režiimis aktsepteerib Vastuste API samu parameetreid kui sünkroonses režiimis; muutub vaid JSONL ümbris:
{"custom_id": "sum-1", "method": "POST", "url": "/v1/responses", "body": {"model": "grok-4.3", "instructions": "You are a summarization expert.", "input": "Summarize this financial report in five key points: ...", "temperature": 0.3, "max_output_tokens": 500}}
See annab juurdepääsu Groki serveri tööriistadele – veebiotsing, X-i otsing, koodi täitmine, MCP –, mida käivitatakse partii töötlemise ajal:
{"custom_id": "research-1", "method": "POST", "url": "/v1/responses", "body": {"model": "grok-4.3", "input": [{"role": "user", "content": "What are the latest trends in generative AI?"}], "tools": [{"type": "web_search"}]}}
Tüüpilised kasutusjuhtumid
- Teksti klassifitseerimine (meelsus, kategooria, kiireloomulisus)
- Struktureeritud teabe ekstraheerimine (üksused, kuupäevad, summad)
- Kokkuvõtted, ümber sõnastamine ja tõlkimine suurel skaalal
- Andmete rikastamine veebiotsingu kaudu
Vestluse lõpetamised partis
Vestluse lõpetamised jäävad aktsepteerituks koos oma messages vorminguga:
{"custom_id": "sum-2", "method": "POST", "url": "/v1/chat/completions", "body": {"model": "grok-4.3", "messages": [{"role": "system", "content": "You are a summarization expert."}, {"role": "user", "content": "Summarize this financial report in five key points: ..."}], "temperature": 0.3, "max_completion_tokens": 500}}
Pikkuse piirangu nimi on max_completion_tokens; vana max_tokens on iganenud. Kasuta seda lõpp-punkti ainult juba selle jaoks kirjutatud koodi päringute puhul: uued funktsioonid jõuavad esmalt Vastusteni.
Erinevused partis
| Omadus | Vastused | Vestluse lõpetamised |
|---|---|---|
| Staatus xAi-s | Soovitatav | Iganenud |
| Sisendi vorming | input (tekst või sõnumite loend), instructions | messages |
| Serveri tööriistad | Jah (veeb, X, kood, MCP) | Dokumenteerimata |
| Funktsioonide kutsumine | Jah | Jah |
| Struktureeritud väljundid | text.format | response_format |
| Väljundi piirang | max_output_tokens | max_completion_tokens |
| Partii hinnaalandus (sobivad mudelid) | 20% | 20% |
Levinud täiustatud parameetrid
temperature vahemik xAi-s on 0 kuni 2, kusjuures väärtusi üle 1 proovitakse kui 1. Siiski soovitab xAi parimate tavade kohaselt seada see 0,7-le ja top_p 0,95-le ning sellest palju mitte kõrvale kalduda: partii järjepidevus tuleneb esmajoones täpsetest juhistest ja struktureeritud väljunditest.
Väljundi piirang (max_output_tokens või max_completion_tokens) tuleb määrata sõnaselgelt: ilma selleta võib päring tekitada väga pika vastuse ja tarbida asjatult tokeneid. See kehtib ainult nähtava teksti, mitte arutluse tokenite kohta.
Struktureeritud väljundid kehtestavad vastusele JSON skeemi, muutes tulemused programmeeritavalt kasutatavaks ilma habra parsimiseta. Vastuste puhul läheb skeem välja text.format:
{"custom_id": "classify-1", "method": "POST", "url": "/v1/responses", "body": {"model": "grok-4.3", "input": "Classify this comment: « Delivery fast, product as described. »", "text": {"format": {"type": "json_schema", "name": "classification", "schema": {"type": "object", "properties": {"sentiment": {"type": "string", "enum": ["positive", "neutral", "negative"]}}, "required": ["sentiment"], "additionalProperties": false}, "strict": true}}}}
Vestluse lõpetamiste puhul on samaväärne väli response_format, tüübiga json_schema (või json_object kehtiva JSON-i jaoks ilma kehtestatud skeemita).
Kahe lõpp-punkti segamine
Saad kombineerida Vastuseid ja Vestluse lõpetamisi samas partis, kus iga rida määrab oma lõpp-punkti väljal url:
{"custom_id": "simple-1", "method": "POST", "url": "/v1/chat/completions", "body": {"model": "grok-4.3", "messages": [{"role": "user", "content": "Summarize in one sentence: ..."}]}}
{"custom_id": "search-1", "method": "POST", "url": "/v1/responses", "body": {"model": "grok-4.3", "input": "AI news this week", "tools": [{"type": "web_search"}]}}
See paindlikkus võimaldab vanadel Vestluse lõpetamiste päringutel ja uutel Vastuste päringutel migratsiooni ajal koos eksisteerida.
Peamised punktid
- Vastused on soovitatav lõpp-punkt, Vestluse lõpetamised on iganenud lõpp-punkt; mõlemad saavad sobivate mudelite puhul 20% hinnaalandust
- Serveri tööriistade (veeb, X, kood, MCP) jaoks on vajalikud Vastused
- Määra
temperatureväärtusele 0,7 jatop_pväärtusele 0,95, nagu xAi soovitab, ning sobiv väljundi piirang - Struktureeritud väljundid kasutavad välja
text.format(Vastused) võiresponse_format(Vestluse lõpetamised) - Mõlemad lõpp-punktid saavad samas partis koos eksisteerida