Pāriet uz galveno saturu
Latviešu— Izvēlēties valodu
Izvēlne

max_completion_tokens un žetonu budžets

Nodarbība 10 no 12 Atjaunota 2026. gada 3. novembris Programmētājs
Šajā lapā
  1. Ko limits faktiski ierobežo
  2. Spriešanas virzīšana: effort, nevis limits
  3. Izvades limita noteikšana
  4. Apgraizīšanas noteikšana
  5. Nejaukt ar konteksta limitu
  6. Galvenās atziņas

Nodarbība pārrakstīta 2026. gada 3. novembrī, balstoties uz xAI API atsauces materiāliem (Chat Completions un Responses), Reasoning rokasgrāmatu un xAI labās prakses vadlīnijām: max_completion_tokens un max_output_tokens ierobežo tikai redzamo atbildi — spriešanas žetoni un funkciju izsaukumu žetoni netiek ieskaitīti šajā limitā — un pēc noklusējuma ir 128 000. Iepriekšējā versija apgalvoja pretējo un noteica limitu, balstoties uz spriešanu; tā arī uzstādīja parametru effort modelim grok-4.20-0309-reasoning, kas to nepieņem. Avoti: Chat Completions · Responses · Reasoning.

Ko limits faktiski ierobežo

Strādājot ar spriešanas modeli, tu vari domāt, ka izvades limits sadala budžetu starp domāšanas procesu un atbildi. Pie xAI tas tā nav. API dokumentācija ir skaidra: max_completion_tokens (Chat Completions) un max_output_tokens (Responses API) attiecas tikai uz redzamajiem izvades žetoniem; spriešanas žetoni un funkciju izsaukumu žetoni netiek ieskaitīti.

max_completion_tokens → tikai redzamā atbilde
spriešanas žetoni → ārpus limita, ko nosaka effort

Ja vērtība nav norādīta, šis limits pēc noklusējuma ir 128 000 žetonu. Kas attiecas uz veco max_tokens, tas ir novecojis par labu max_completion_tokens.

Spriešanas virzīšana: effort, nevis limits

Tā kā limits neietekmē spriešanu, tās apjomu regulē parametrs effort. Modeļiem grok-4.7, grok-4.6 un grok-4.5 Chat Completions vidē tas ir reasoning_effort, bet Responses API — reasoning.effort; pēc noklusējuma tas ir high, pieņem vērtības low un medium, un no Grok 4.6 versijas arī xhigh. Spriešanu nevar atslēgt.

Modelis grok-4.20-0309-reasoning šo parametru nepieņem: tas vienmēr veic spriešanu, savukārt tā variants grok-4.20-0309-non-reasoning sniedz atbildes bez spriešanas. Savukārt modelī grok-4.20-multi-agent parametrs effort nenosaka spriešanas dziļumu, bet gan mobilizēto aģentu skaitu (4 vai 16).

response = client.chat.completions.create(
    model="grok-4.7",
    reasoning_effort="low",  # vienkāršs uzdevums: maz spriešanas
    messages=[{"role": "user", "content": "Klasificē šo pieteikumu: rēķins, piekļuve vai kļūda?"}],
)
print(response.usage.completion_tokens_details.reasoning_tokens)

Spriešanas žetonu skaits parādās atbildes lietojuma statistikā: usage.completion_tokens_details.reasoning_tokens priekš Chat Completions un usage.output_tokens_details.reasoning_tokens priekš Responses API. Tie ir daļa no apmaksājamiem žetoniem: tātad tieši effort, nevis izvades limits, ietekmē šo izdevumu pozīciju.

Izvades limita noteikšana

Limits kalpo tikai tam, lai ierobežotu pašas atbildes garumu. xAI labās prakses vadlīnijas piedāvā vienkāršu likumu: iestati to virs garākās paredzamās atbildes vai atstāj noklusējuma vērtību 128 000 žetonu. Pārāk zems limits apgriezīs redzamo atbildi neatkarīgi no spriešanas intensitātes.

Paredzamā atbildeSaprotams izvades limits
Etiķete, skaitlisdaži desmiti žetonu
Rindkopa500 līdz 1000 žetonu
Strukturēts ziņojumsvairāki tūkstoši žetonu
Nav precīzas nojausmasnoklusējuma vērtība

Apgraizīšanas noteikšana

Kad redzamā atbilde sasniedz limitu, Chat Completions atgriež "length" laukā finish_reason (nevis "stop"), bet Responses API atgriež statusu incomplete. Tu vari noteikt šo situāciju un mēģināt vēlreiz ar lielāku limitu:

response = client.chat.completions.create(
    model="grok-4.7",
    messages=[{"role": "user", "content": question}],
    max_completion_tokens=2000,
)

if response.choices[0].finish_reason == "length":
    # Redzamā atbilde tika apgriezta: mēģini vēlreiz ar lielāku limitu
    response = client.chat.completions.create(
        model="grok-4.7",
        messages=[{"role": "user", "content": question}],
        max_completion_tokens=8000,
    )

Nejaukt ar konteksta limitu

Izvades limits ir neatkarīgs no modeļa konteksta loga — 500 000 žetonu modelim grok-4.7, 1 miljons modelim grok-4.20-0309-reasoning — kas ierobežo visu sarunu. Turklāt dziļš spriešanas pieprasījums var ilgt vairākas minūtes: xAI iesaka katram pieprasījumam atvēlēt vismaz 900 sekundes un dot priekšroku straumēšanai.

Galvenās atziņas

  • max_completion_tokens un max_output_tokens ierobežo tikai redzamo atbildi: spriešana netiek ieskaitīta šajā limitā
  • Bez norādītas vērtības izvades limits pēc noklusējuma ir 128 000 žetonu; max_tokens ir novecojis
  • Spriešanas apjomu nosaka parametrs effort (reasoning_effort vai reasoning.effort) modeļiem no grok-4.5 līdz 4.7; modelim grok-4.20-0309-reasoning tāda nav
  • Spriešanas žetoni parādās lietojuma statistikā un tiek iekļauti rēķinā
  • Apgrieztu atbildi nosaka pēc finish_reason: "length" vai statusa incomplete