Pereiti prie pagrindinio turinio
Lietuvių— Pasirinkite kalbą
Meniu

max_completion_tokens ir žetonų biudžetas

Paskaita 10 iš 12 Atnaujinta 2026 m. lapkričio 3 d. Kūrėjas
Šiame puslapyje
  1. Ką iš tikrųjų riboja ši riba
  2. Samprotavimo valdymas: pastangos, o ne riba
  3. Išvesties ribos dydžio nustatymas
  4. Nutraukimo aptikimas
  5. Nepainiokite su konteksto riba
  6. Svarbiausi punktai

Pamoka perrašyta 2026 m. lapkričio 3 d. remiantis xAI API nuoroda („Chat Completions“ ir „Responses“), Reasoning vadovu ir xAI geriausiomis praktikomis: max_completion_tokens ir max_output_tokens riboja tik matomą atsakymą – samprotavimo žetonai ir funkcijų iškvietimų žetonai į šią ribą neįskaičiuojami – ir pagal nutylėjimą siekia 128 000. Ankstesnė versija teigė priešingai ir nustatė ribą pagal samprotavimą; ji taip pat nustatė pastangų lygį modeliui grok-4.20-0309-reasoning, kuris jo nepriima. Šaltiniai: Chat Completions · Responses · Reasoning.

Ką iš tikrųjų riboja ši riba

Naudojant samprotavimo modelį, gali kilti mintis, kad išvesties riba dalijasi biudžetu tarp minčių ir atsakymo. xAI atveju taip nėra. API nuoroda aiškiai nurodo: max_completion_tokens („Chat Completions“) ir max_output_tokens („Responses API“) taikomi tik matomiems išvesties žetonams; samprotavimo žetonai ir funkcijų iškvietimų žetonai nėra skaičiuojami.

max_completion_tokens → tik matomas atsakymas
samprotavimo žetonai → už ribos ribų, nustatoma pagal pastangas

Nenurodžius reikšmės, ši riba pagal nutylėjimą yra 128 000 žetonų. Senasis max_tokens parametras yra pasenęs ir pakeistas į max_completion_tokens.

Samprotavimo valdymas: pastangos, o ne riba

Kadangi riba neturi įtakos samprotavimui, jo kiekį reguliuoja pastangų lygis. Modeliuose grok-4.7, grok-4.6 ir grok-4.5 „Chat Completions“ naudoja parametrą reasoning_effort, o „Responses API“ – reasoning.effort; pagal nutylėjimą jis yra high, priima reikšmes low ir medium, o nuo „Grok 4.6“ versijos – ir xhigh. Samprotavimo išjungti negalima.

Modelis grok-4.20-0309-reasoning šio parametro nepriima: jis visada samprotauja, o jo variantas grok-4.20-0309-non-reasoning atsako nesamprotaudamas. Galiausiai, naudojant grok-4.20-multi-agent, pastangos nustato ne samprotavimo gylį, o mobilizuotų agentų skaičių (4 arba 16).

response = client.chat.completions.create(
    model="grok-4.7",
    reasoning_effort="low",  # paprasta užduotis: mažai samprotavimo
    messages=[{"role": "user", "content": "Classify this ticket: billing, access, or bug?"}],
)
print(response.usage.completion_tokens_details.reasoning_tokens)

Samprotavimo žetonų skaičius rodomas atsakymo naudojimo statistikoje: usage.completion_tokens_details.reasoning_tokens („Chat Completions“) arba usage.output_tokens_details.reasoning_tokens („Responses API“). Jie įskaičiuojami į apmokestinamus žetonus, todėl šiai išlaidų eilutei įtakos turi būtent pastangos, o ne išvesties riba.

Išvesties ribos dydžio nustatymas

Ši riba skirta tik atsakymo ilgiui apriboti. xAI geriausios praktikos siūlo paprastą taisyklę: nustatykite ją didesnę nei ilgiausias tikėtinas atsakymas arba palikite numatytąją 128 000 žetonų reikšmę. Per mažas limitas nutrauks matomą atsakymą, nesvarbu, koks būtų samprotavimo pastangų lygis.

Tikėtinas atsakymasTinkama išvesties riba
Etiketė, skaičiuskelios dešimtys žetonų
Pastraipa500–1 000 žetonų
Struktūruota ataskaitakeli tūkstančiai žetonų
Nėra tikslaus įsivaizdavimonumatytoji reikšmė

Nutraukimo aptikimas

Kai matomas atsakymas pasiekia ribą, „Chat Completions“ grąžina "length" laukelyje finish_reason vietoj "stop", o „Responses API“ grąžina būseną incomplete. Šią situaciją galite aptikti ir bandyti iš naujo su didesne riba:

response = client.chat.completions.create(
    model="grok-4.7",
    messages=[{"role": "user", "content": question}],
    max_completion_tokens=2000,
)

if response.choices[0].finish_reason == "length":
    # Matomas atsakymas buvo nutrauktas: bandyti iš naujo su didesne riba
    response = client.chat.completions.create(
        model="grok-4.7",
        messages=[{"role": "user", "content": question}],
        max_completion_tokens=8000,
    )

Nepainiokite su konteksto riba

Išvesties riba yra nepriklausoma nuo modelio konteksto lango – 500 000 žetonų modeliui grok-4.7, 1 milijonas modeliui grok-4.20-0309-reasoning – kuris riboja visą pokalbį. Be to, gilus samprotavimo prašymas gali užtrukti kelias minutes: xAI rekomenduoja kiekvienam prašymui skirti bent 900 sekundžių ir teikti pirmenybę srautiniam perdavimui (streaming).

Svarbiausi punktai

  • max_completion_tokens ir max_output_tokens riboja tik matomą atsakymą: samprotavimas į šią ribą neįskaičiuojamas
  • Nenurodžius reikšmės, išvesties riba pagal nutylėjimą yra 128 000 žetonų; max_tokens yra pasenęs
  • Samprotavimo kiekį nustato pastangos (reasoning_effort arba reasoning.effort) modeliuose nuo grok-4.5 iki 4.7; grok-4.20-0309-reasoning šio parametro neturi
  • Samprotavimo žetonai rodomi naudojimo statistikoje ir yra apmokestinami
  • Nutrauktas atsakymas aptinkamas pagal finish_reason: "length" arba būseną incomplete