Salt la conținutul principal
Română— Alege o limbă
Meniu

Completări de chat și răspunsuri în loturi

Lecția 8 din 12 Actualizată 3 noiembrie 2026 Dezvoltator
Pe această pagină
  1. Cele două puncte de acces pentru text în mod lot
  2. Răspunsuri (Responses) într-un lot
  3. Completări de chat (Chat Completions) într-un lot
  4. Diferențe în modul lot
  5. Parametri avansați comuni
  6. Combinarea celor două puncte de acces
  7. Puncte cheie

Actualizat la 3 noiembrie 2026. Conform celor mai bune practici xAI: se recomandă setarea parametrului temperature la 0,7 și a lui top_p la 0,95, în loc de o temperatură scăzută. Sursă: Cele mai bune practici.

Actualizat la 2 noiembrie 2026. Conform documentației xAI: reducerea pentru loturi este de 20% la modelele de text eligibile (nu 50%), exemplele urmează API-ul REST și SDK-ul oficial xai-sdk (client.batch.*; API-ul Batch xAI nu folosește formatul OpenAI, iar SDK-ul OpenAI nu se aplică), iar API-ul Responses are prioritate față de Chat Completions, un punct de acces considerat învechit la xAI. Surse: API-ul Batch · Referință REST · Prețuri Batch.

Cele două puncte de acces pentru text în mod lot

Punctele de acces /v1/responses și /v1/chat/completions gestionează majoritatea loturilor de text. La modelele eligibile, ambele beneficiază de reducerea de 20%. Totuși, xAI nu le plasează pe același plan: Responses este API-ul recomandat, în timp ce Chat Completions este un punct de acces învechit, menținut doar pentru codul existent. Această lecție detaliază specificul lor în contextul procesării în lot.

Răspunsuri (Responses) într-un lot

În mod lot, API-ul Responses acceptă aceiași parametri ca în modul sincron; doar învelișul JSONL se modifică:

{"custom_id": "sum-1", "method": "POST", "url": "/v1/responses", "body": {"model": "grok-4.3", "instructions": "You are a summarization expert.", "input": "Summarize this financial report in five key points: ...", "temperature": 0.3, "max_output_tokens": 500}}

Acesta oferă acces la instrumentele server ale lui Grok — căutare web, căutare X, executare de cod, MCP — care sunt rulate în timpul procesării lotului:

{"custom_id": "research-1", "method": "POST", "url": "/v1/responses", "body": {"model": "grok-4.3", "input": [{"role": "user", "content": "What are the latest trends in generative AI?"}], "tools": [{"type": "web_search"}]}}

Cazuri de utilizare tipice

  • Clasificarea textului (sentiment, categorie, urgență)
  • Extragerea structurată a informațiilor (entități, date, sume)
  • Rezumate, reformulări și traduceri la scară largă
  • Îmbogățirea datelor prin căutare web

Completări de chat (Chat Completions) într-un lot

Chat Completions rămâne acceptat, păstrând formatul său messages:

{"custom_id": "sum-2", "method": "POST", "url": "/v1/chat/completions", "body": {"model": "grok-4.3", "messages": [{"role": "system", "content": "You are a summarization expert."}, {"role": "user", "content": "Summarize this financial report in five key points: ..."}], "temperature": 0.3, "max_completion_tokens": 500}}

Limita de lungime se numește max_completion_tokens; vechiul parametru max_tokens este depreciat. Rezervați acest punct de acces pentru cererile provenite din cod deja scris pentru el: noile funcționalități ajung mai întâi la Responses.

Diferențe în modul lot

CaracteristicăResponsesChat Completions
Statut la xAIRecomandatÎnvechit
Format de intrareinput (text sau listă de mesaje), instructionsmessages
Instrumente serverDa (web, X, cod, MCP)Nedocumentat
Apelarea funcțiilorDaDa
Ieșiri structuratetext.formatresponse_format
Limita de ieșiremax_output_tokensmax_completion_tokens
Reducere lot (modele eligibile)20%20%

Parametri avansați comuni

temperature variază de la 0 la 2 la xAI, valorile peste 1 fiind eșantionate ca 1. Cu toate acestea, cele mai bune practici xAI recomandă setarea sa la 0,7, cu top_p la 0,95, și abaterea minimă de la aceste valori: consistența loturilor depinde în primul rând de instrucțiuni precise și ieșiri structurate.

Limita de ieșire (max_output_tokens sau max_completion_tokens) trebuie setată explicit: fără aceasta, o cerere poate genera un răspuns foarte lung și poate consuma tokeni în mod inutil. Aceasta se aplică doar textului vizibil, nu și tokenilor de raționament.

Ieșirile structurate impun o schemă JSON răspunsului, făcând rezultatele utilizabile programatic fără o analiză sintactică fragilă. Cu Responses, schema se introduce în text.format:

{"custom_id": "classify-1", "method": "POST", "url": "/v1/responses", "body": {"model": "grok-4.3", "input": "Classify this comment: « Delivery fast, product as described. »", "text": {"format": {"type": "json_schema", "name": "classification", "schema": {"type": "object", "properties": {"sentiment": {"type": "string", "enum": ["positive", "neutral", "negative"]}}, "required": ["sentiment"], "additionalProperties": false}, "strict": true}}}}

Cu Chat Completions, echivalentul este response_format, de tip json_schema (sau json_object pentru JSON valid fără o schemă impusă).

Combinarea celor două puncte de acces

Puteți combina Responses și Chat Completions în același lot, fiecare linie desemnând punctul său de acces în câmpul url:

{"custom_id": "simple-1", "method": "POST", "url": "/v1/chat/completions", "body": {"model": "grok-4.3", "messages": [{"role": "user", "content": "Summarize in one sentence: ..."}]}}
{"custom_id": "search-1", "method": "POST", "url": "/v1/responses", "body": {"model": "grok-4.3", "input": "AI news this week", "tools": [{"type": "web_search"}]}}

Această flexibilitate permite cererilor vechi de tip Chat Completions și celor noi de tip Responses să coexiste în timpul unei migrări.

Puncte cheie

  • Responses este punctul de acces recomandat, Chat Completions fiind unul învechit; ambele beneficiază de reducerea de 20% la modelele eligibile
  • Responses este obligatoriu pentru instrumentele server (web, X, cod, MCP)
  • Setați temperature la 0,7 și top_p la 0,95, conform recomandărilor xAI, și o limită de ieșire adecvată
  • Ieșirile structurate trec prin text.format (Responses) sau response_format (Chat Completions)
  • Ambele puncte de acces pot coexista în același lot