Completări de chat și răspunsuri în loturi
Pe această pagină
Actualizat la 3 noiembrie 2026. Conform celor mai bune practici xAI: se recomandă setarea parametrului
temperaturela 0,7 și a luitop_pla 0,95, în loc de o temperatură scăzută. Sursă: Cele mai bune practici.
Actualizat la 2 noiembrie 2026. Conform documentației xAI: reducerea pentru loturi este de 20% la modelele de text eligibile (nu 50%), exemplele urmează API-ul REST și SDK-ul oficial
xai-sdk(client.batch.*; API-ul Batch xAI nu folosește formatul OpenAI, iar SDK-ul OpenAI nu se aplică), iar API-ul Responses are prioritate față de Chat Completions, un punct de acces considerat învechit la xAI. Surse: API-ul Batch · Referință REST · Prețuri Batch.
Cele două puncte de acces pentru text în mod lot
Punctele de acces /v1/responses și /v1/chat/completions gestionează majoritatea loturilor de text. La modelele eligibile, ambele beneficiază de reducerea de 20%. Totuși, xAI nu le plasează pe același plan: Responses este API-ul recomandat, în timp ce Chat Completions este un punct de acces învechit, menținut doar pentru codul existent. Această lecție detaliază specificul lor în contextul procesării în lot.
Răspunsuri (Responses) într-un lot
În mod lot, API-ul Responses acceptă aceiași parametri ca în modul sincron; doar învelișul JSONL se modifică:
{"custom_id": "sum-1", "method": "POST", "url": "/v1/responses", "body": {"model": "grok-4.3", "instructions": "You are a summarization expert.", "input": "Summarize this financial report in five key points: ...", "temperature": 0.3, "max_output_tokens": 500}}
Acesta oferă acces la instrumentele server ale lui Grok — căutare web, căutare X, executare de cod, MCP — care sunt rulate în timpul procesării lotului:
{"custom_id": "research-1", "method": "POST", "url": "/v1/responses", "body": {"model": "grok-4.3", "input": [{"role": "user", "content": "What are the latest trends in generative AI?"}], "tools": [{"type": "web_search"}]}}
Cazuri de utilizare tipice
- Clasificarea textului (sentiment, categorie, urgență)
- Extragerea structurată a informațiilor (entități, date, sume)
- Rezumate, reformulări și traduceri la scară largă
- Îmbogățirea datelor prin căutare web
Completări de chat (Chat Completions) într-un lot
Chat Completions rămâne acceptat, păstrând formatul său messages:
{"custom_id": "sum-2", "method": "POST", "url": "/v1/chat/completions", "body": {"model": "grok-4.3", "messages": [{"role": "system", "content": "You are a summarization expert."}, {"role": "user", "content": "Summarize this financial report in five key points: ..."}], "temperature": 0.3, "max_completion_tokens": 500}}
Limita de lungime se numește max_completion_tokens; vechiul parametru max_tokens este depreciat. Rezervați acest punct de acces pentru cererile provenite din cod deja scris pentru el: noile funcționalități ajung mai întâi la Responses.
Diferențe în modul lot
| Caracteristică | Responses | Chat Completions |
|---|---|---|
| Statut la xAI | Recomandat | Învechit |
| Format de intrare | input (text sau listă de mesaje), instructions | messages |
| Instrumente server | Da (web, X, cod, MCP) | Nedocumentat |
| Apelarea funcțiilor | Da | Da |
| Ieșiri structurate | text.format | response_format |
| Limita de ieșire | max_output_tokens | max_completion_tokens |
| Reducere lot (modele eligibile) | 20% | 20% |
Parametri avansați comuni
temperature variază de la 0 la 2 la xAI, valorile peste 1 fiind eșantionate ca 1. Cu toate acestea, cele mai bune practici xAI recomandă setarea sa la 0,7, cu top_p la 0,95, și abaterea minimă de la aceste valori: consistența loturilor depinde în primul rând de instrucțiuni precise și ieșiri structurate.
Limita de ieșire (max_output_tokens sau max_completion_tokens) trebuie setată explicit: fără aceasta, o cerere poate genera un răspuns foarte lung și poate consuma tokeni în mod inutil. Aceasta se aplică doar textului vizibil, nu și tokenilor de raționament.
Ieșirile structurate impun o schemă JSON răspunsului, făcând rezultatele utilizabile programatic fără o analiză sintactică fragilă. Cu Responses, schema se introduce în text.format:
{"custom_id": "classify-1", "method": "POST", "url": "/v1/responses", "body": {"model": "grok-4.3", "input": "Classify this comment: « Delivery fast, product as described. »", "text": {"format": {"type": "json_schema", "name": "classification", "schema": {"type": "object", "properties": {"sentiment": {"type": "string", "enum": ["positive", "neutral", "negative"]}}, "required": ["sentiment"], "additionalProperties": false}, "strict": true}}}}
Cu Chat Completions, echivalentul este response_format, de tip json_schema (sau json_object pentru JSON valid fără o schemă impusă).
Combinarea celor două puncte de acces
Puteți combina Responses și Chat Completions în același lot, fiecare linie desemnând punctul său de acces în câmpul url:
{"custom_id": "simple-1", "method": "POST", "url": "/v1/chat/completions", "body": {"model": "grok-4.3", "messages": [{"role": "user", "content": "Summarize in one sentence: ..."}]}}
{"custom_id": "search-1", "method": "POST", "url": "/v1/responses", "body": {"model": "grok-4.3", "input": "AI news this week", "tools": [{"type": "web_search"}]}}
Această flexibilitate permite cererilor vechi de tip Chat Completions și celor noi de tip Responses să coexiste în timpul unei migrări.
Puncte cheie
- Responses este punctul de acces recomandat, Chat Completions fiind unul învechit; ambele beneficiază de reducerea de 20% la modelele eligibile
- Responses este obligatoriu pentru instrumentele server (web, X, cod, MCP)
- Setați
temperaturela 0,7 șitop_pla 0,95, conform recomandărilor xAI, și o limită de ieșire adecvată - Ieșirile structurate trec prin
text.format(Responses) sauresponse_format(Chat Completions) - Ambele puncte de acces pot coexista în același lot