max_completion_tokens ir žetonų biudžetas
Šiame puslapyje
Pamoka perrašyta 2026 m. lapkričio 3 d. remiantis xAI API nuoroda („Chat Completions“ ir „Responses“), Reasoning vadovu ir xAI geriausiomis praktikomis:
max_completion_tokensirmax_output_tokensriboja tik matomą atsakymą – samprotavimo žetonai ir funkcijų iškvietimų žetonai į šią ribą neįskaičiuojami – ir pagal nutylėjimą siekia 128 000. Ankstesnė versija teigė priešingai ir nustatė ribą pagal samprotavimą; ji taip pat nustatė pastangų lygį modeliuigrok-4.20-0309-reasoning, kuris jo nepriima. Šaltiniai: Chat Completions · Responses · Reasoning.
Ką iš tikrųjų riboja ši riba
Naudojant samprotavimo modelį, gali kilti mintis, kad išvesties riba dalijasi biudžetu tarp minčių ir atsakymo. xAI atveju taip nėra. API nuoroda aiškiai nurodo: max_completion_tokens („Chat Completions“) ir max_output_tokens („Responses API“) taikomi tik matomiems išvesties žetonams; samprotavimo žetonai ir funkcijų iškvietimų žetonai nėra skaičiuojami.
max_completion_tokens → tik matomas atsakymas
samprotavimo žetonai → už ribos ribų, nustatoma pagal pastangas
Nenurodžius reikšmės, ši riba pagal nutylėjimą yra 128 000 žetonų. Senasis max_tokens parametras yra pasenęs ir pakeistas į max_completion_tokens.
Samprotavimo valdymas: pastangos, o ne riba
Kadangi riba neturi įtakos samprotavimui, jo kiekį reguliuoja pastangų lygis. Modeliuose grok-4.7, grok-4.6 ir grok-4.5 „Chat Completions“ naudoja parametrą reasoning_effort, o „Responses API“ – reasoning.effort; pagal nutylėjimą jis yra high, priima reikšmes low ir medium, o nuo „Grok 4.6“ versijos – ir xhigh. Samprotavimo išjungti negalima.
Modelis grok-4.20-0309-reasoning šio parametro nepriima: jis visada samprotauja, o jo variantas grok-4.20-0309-non-reasoning atsako nesamprotaudamas. Galiausiai, naudojant grok-4.20-multi-agent, pastangos nustato ne samprotavimo gylį, o mobilizuotų agentų skaičių (4 arba 16).
response = client.chat.completions.create(
model="grok-4.7",
reasoning_effort="low", # paprasta užduotis: mažai samprotavimo
messages=[{"role": "user", "content": "Classify this ticket: billing, access, or bug?"}],
)
print(response.usage.completion_tokens_details.reasoning_tokens)
Samprotavimo žetonų skaičius rodomas atsakymo naudojimo statistikoje: usage.completion_tokens_details.reasoning_tokens („Chat Completions“) arba usage.output_tokens_details.reasoning_tokens („Responses API“). Jie įskaičiuojami į apmokestinamus žetonus, todėl šiai išlaidų eilutei įtakos turi būtent pastangos, o ne išvesties riba.
Išvesties ribos dydžio nustatymas
Ši riba skirta tik atsakymo ilgiui apriboti. xAI geriausios praktikos siūlo paprastą taisyklę: nustatykite ją didesnę nei ilgiausias tikėtinas atsakymas arba palikite numatytąją 128 000 žetonų reikšmę. Per mažas limitas nutrauks matomą atsakymą, nesvarbu, koks būtų samprotavimo pastangų lygis.
| Tikėtinas atsakymas | Tinkama išvesties riba |
|---|---|
| Etiketė, skaičius | kelios dešimtys žetonų |
| Pastraipa | 500–1 000 žetonų |
| Struktūruota ataskaita | keli tūkstančiai žetonų |
| Nėra tikslaus įsivaizdavimo | numatytoji reikšmė |
Nutraukimo aptikimas
Kai matomas atsakymas pasiekia ribą, „Chat Completions“ grąžina "length" laukelyje finish_reason vietoj "stop", o „Responses API“ grąžina būseną incomplete. Šią situaciją galite aptikti ir bandyti iš naujo su didesne riba:
response = client.chat.completions.create(
model="grok-4.7",
messages=[{"role": "user", "content": question}],
max_completion_tokens=2000,
)
if response.choices[0].finish_reason == "length":
# Matomas atsakymas buvo nutrauktas: bandyti iš naujo su didesne riba
response = client.chat.completions.create(
model="grok-4.7",
messages=[{"role": "user", "content": question}],
max_completion_tokens=8000,
)
Nepainiokite su konteksto riba
Išvesties riba yra nepriklausoma nuo modelio konteksto lango – 500 000 žetonų modeliui grok-4.7, 1 milijonas modeliui grok-4.20-0309-reasoning – kuris riboja visą pokalbį. Be to, gilus samprotavimo prašymas gali užtrukti kelias minutes: xAI rekomenduoja kiekvienam prašymui skirti bent 900 sekundžių ir teikti pirmenybę srautiniam perdavimui (streaming).
Svarbiausi punktai
max_completion_tokensirmax_output_tokensriboja tik matomą atsakymą: samprotavimas į šią ribą neįskaičiuojamas- Nenurodžius reikšmės, išvesties riba pagal nutylėjimą yra 128 000 žetonų;
max_tokensyra pasenęs - Samprotavimo kiekį nustato pastangos (
reasoning_effortarbareasoning.effort) modeliuose nuo grok-4.5 iki 4.7;grok-4.20-0309-reasoningšio parametro neturi - Samprotavimo žetonai rodomi naudojimo statistikoje ir yra apmokestinami
- Nutrauktas atsakymas aptinkamas pagal
finish_reason: "length"arba būsenąincomplete