max_completion_tokens ja tokenite eelarve
Sellel lehel
Õppetund kirjutati ümber 3. novembril 2026, tuginedes xAI API referentsile (Chat Completions ja Responses), Reasoning juhendile ning xAI parimatele tavadele:
max_completion_tokensjamax_output_tokenspiiravad ainult nähtavat vastust – arutluse tokenid ja funktsioonikutsude tokenid sellesse limiiti ei kuulu – ja vaikimisi väärtus on 128 000. Eelmine versioon väitis vastupidist ja arvutas piiri arutluse põhjal; see määras kagrok-4.20-0309-reasoningmudelile jõupingutuse parameetri, mida see mudel ei aktsepteeri. Allikad: Chat Completions · Responses · Reasoning.
Mida piirang tegelikult piirab
Arutlusvõimega mudeli puhul võid arvata, et väljundi piirang jagab oma eelarvet mõttekäigu ja vastuse vahel. xAI puhul see nii ei ole. API referents on selge: max_completion_tokens (Chat Completions) ja max_output_tokens (Responses API) kehtivad ainult nähtavate väljunditokenite kohta; arutluse tokenid ja funktsioonikutsude tokenid ei loe.
max_completion_tokens → ainult nähtav vastus
arutluse tokenid → väljaspool piirangut, määratud jõupingutusega
Väärtuse määramata jätmisel on selleks piiranguks vaikimisi 128 000 tokenit. Vana max_tokens on aegunud ja asendatud max_completion_tokens-ga.
Arutluse suunamine: jõupingutus, mitte piirang
Kuna piirang arutlust ei mõjuta, reguleerib selle mahtu jõupingutus. Mudelite grok-4.7, grok-4.6 ja grok-4.5 puhul on Chat Completionsis parameetri nimi reasoning_effort ja Responses APIs reasoning.effort; vaikimisi on see high, aktsepteerib väärtusi low ja medium ning alates Grok 4.6-st ka xhigh. Arutlust ei saa välja lülitada.
grok-4.20-0309-reasoning seda parameetrit ei võta: see arutleb alati, samas kui selle variant grok-4.20-0309-non-reasoning vastab ilma arutluseta. Mudeli grok-4.20-multi-agent puhul ei määra jõupingutus arutluse sügavust, vaid kaasatud agentide arvu (4 või 16).
response = client.chat.completions.create(
model="grok-4.7",
reasoning_effort="low", # lihtne ülesanne: vähe arutlust
messages=[{"role": "user", "content": "Klassifitseeri see pilet: arveldus, juurdepääs või viga?"}],
)
print(response.usage.completion_tokens_details.reasoning_tokens)
Arutluse tokenite arv ilmub vastuse kasutusstatistikasse: usage.completion_tokens_details.reasoning_tokens Chat Completionsis ja usage.output_tokens_details.reasoning_tokens Responses APIs. Need kuuluvad arveldatavate tokenite hulka: seega mõjutab seda kuluartiklit jõupingutus, mitte väljundi piirang.
Väljundi piirangu suuruse määramine
Piirangu ainus eesmärk on piirata endast vastuse pikkust. xAI parimad tavad annavad lihtsa reegli: määra see suuremaks kui sinu oodatav pikim vastus või jäta vaikimisi väärtuseks 128 000 tokenit. Liiga kitsas piirang lõikab nähtava vastuse katki, sõltumata arutluse jõupingutusest.
| Oodatav vastus | Mõistlik väljundi piirang |
|---|---|
| Silt, number | mõnikümmend tokenit |
| Lõik teksti | 500 kuni 1000 tokenit |
| Struktureeritud raport | mitu tuhat tokenit |
| Täpset ettekujutust pole | vaikimisi väärtus |
Katkestuse tuvastamine
Kui nähtav vastus jõuab piiranguni, tagastab Chat Completions finish_reason-iks "length" asemel "stop" ja Responses API tagastab oleku incomplete. Saad olukorra tuvastada ja proovida uuesti suurema piiranguga:
response = client.chat.completions.create(
model="grok-4.7",
messages=[{"role": "user", "content": question}],
max_completion_tokens=2000,
)
if response.choices[0].finish_reason == "length":
# Nähtav vastus katkestati: proovi uuesti suurema piiranguga
response = client.chat.completions.create(
model="grok-4.7",
messages=[{"role": "user", "content": question}],
max_completion_tokens=8000,
)
Ära aja segi konteksti limiidiga
Väljundi piirang on sõltumatu mudeli kontekstiaknast – 500 000 tokenit mudelil grok-4.7, 1 miljon mudelil grok-4.20-0309-reasoning – mis piirab kogu vestlust. Samuti võib sügav arutlusnõue võtta mitu minutit: xAI soovitab lubada taotluse kohta vähemalt 900 sekundit ja eelistada voogedastust.
Peamised punktid
max_completion_tokensjamax_output_tokenspiiravad ainult nähtavat vastust: arutlus sellesse ei kuulu- Väärtuse määramata jätmisel on väljundi piirang vaikimisi 128 000 tokenit;
max_tokenson aegunud - Arutluse hulga määrab jõupingutus (
reasoning_effortvõireasoning.effort) mudelitel grok-4.5 kuni 4.7;grok-4.20-0309-reasoningseda ei oma - Arutluse tokenid ilmuvad kasutusstatistikasse ja kuuluvad arvele
- Katkestatud vastuse tuvastad
finish_reason: "length"või olekuincompletejärgi