Lähe põhisisu juurde
Eesti— Vali keel
Menüü

max_completion_tokens ja tokenite eelarve

Õppetund 10 / 12 Värskendatud 3. november 2026 Arendajatele
Sellel lehel
  1. Mida piirang tegelikult piirab
  2. Arutluse suunamine: jõupingutus, mitte piirang
  3. Väljundi piirangu suuruse määramine
  4. Katkestuse tuvastamine
  5. Ära aja segi konteksti limiidiga
  6. Peamised punktid

Õppetund kirjutati ümber 3. novembril 2026, tuginedes xAI API referentsile (Chat Completions ja Responses), Reasoning juhendile ning xAI parimatele tavadele: max_completion_tokens ja max_output_tokens piiravad ainult nähtavat vastust – arutluse tokenid ja funktsioonikutsude tokenid sellesse limiiti ei kuulu – ja vaikimisi väärtus on 128 000. Eelmine versioon väitis vastupidist ja arvutas piiri arutluse põhjal; see määras ka grok-4.20-0309-reasoning mudelile jõupingutuse parameetri, mida see mudel ei aktsepteeri. Allikad: Chat Completions · Responses · Reasoning.

Mida piirang tegelikult piirab

Arutlusvõimega mudeli puhul võid arvata, et väljundi piirang jagab oma eelarvet mõttekäigu ja vastuse vahel. xAI puhul see nii ei ole. API referents on selge: max_completion_tokens (Chat Completions) ja max_output_tokens (Responses API) kehtivad ainult nähtavate väljunditokenite kohta; arutluse tokenid ja funktsioonikutsude tokenid ei loe.

max_completion_tokens → ainult nähtav vastus
arutluse tokenid → väljaspool piirangut, määratud jõupingutusega

Väärtuse määramata jätmisel on selleks piiranguks vaikimisi 128 000 tokenit. Vana max_tokens on aegunud ja asendatud max_completion_tokens-ga.

Arutluse suunamine: jõupingutus, mitte piirang

Kuna piirang arutlust ei mõjuta, reguleerib selle mahtu jõupingutus. Mudelite grok-4.7, grok-4.6 ja grok-4.5 puhul on Chat Completionsis parameetri nimi reasoning_effort ja Responses APIs reasoning.effort; vaikimisi on see high, aktsepteerib väärtusi low ja medium ning alates Grok 4.6-st ka xhigh. Arutlust ei saa välja lülitada.

grok-4.20-0309-reasoning seda parameetrit ei võta: see arutleb alati, samas kui selle variant grok-4.20-0309-non-reasoning vastab ilma arutluseta. Mudeli grok-4.20-multi-agent puhul ei määra jõupingutus arutluse sügavust, vaid kaasatud agentide arvu (4 või 16).

response = client.chat.completions.create(
    model="grok-4.7",
    reasoning_effort="low",  # lihtne ülesanne: vähe arutlust
    messages=[{"role": "user", "content": "Klassifitseeri see pilet: arveldus, juurdepääs või viga?"}],
)
print(response.usage.completion_tokens_details.reasoning_tokens)

Arutluse tokenite arv ilmub vastuse kasutusstatistikasse: usage.completion_tokens_details.reasoning_tokens Chat Completionsis ja usage.output_tokens_details.reasoning_tokens Responses APIs. Need kuuluvad arveldatavate tokenite hulka: seega mõjutab seda kuluartiklit jõupingutus, mitte väljundi piirang.

Väljundi piirangu suuruse määramine

Piirangu ainus eesmärk on piirata endast vastuse pikkust. xAI parimad tavad annavad lihtsa reegli: määra see suuremaks kui sinu oodatav pikim vastus või jäta vaikimisi väärtuseks 128 000 tokenit. Liiga kitsas piirang lõikab nähtava vastuse katki, sõltumata arutluse jõupingutusest.

Oodatav vastusMõistlik väljundi piirang
Silt, numbermõnikümmend tokenit
Lõik teksti500 kuni 1000 tokenit
Struktureeritud raportmitu tuhat tokenit
Täpset ettekujutust polevaikimisi väärtus

Katkestuse tuvastamine

Kui nähtav vastus jõuab piiranguni, tagastab Chat Completions finish_reason-iks "length" asemel "stop" ja Responses API tagastab oleku incomplete. Saad olukorra tuvastada ja proovida uuesti suurema piiranguga:

response = client.chat.completions.create(
    model="grok-4.7",
    messages=[{"role": "user", "content": question}],
    max_completion_tokens=2000,
)

if response.choices[0].finish_reason == "length":
    # Nähtav vastus katkestati: proovi uuesti suurema piiranguga
    response = client.chat.completions.create(
        model="grok-4.7",
        messages=[{"role": "user", "content": question}],
        max_completion_tokens=8000,
    )

Ära aja segi konteksti limiidiga

Väljundi piirang on sõltumatu mudeli kontekstiaknast – 500 000 tokenit mudelil grok-4.7, 1 miljon mudelil grok-4.20-0309-reasoning – mis piirab kogu vestlust. Samuti võib sügav arutlusnõue võtta mitu minutit: xAI soovitab lubada taotluse kohta vähemalt 900 sekundit ja eelistada voogedastust.

Peamised punktid

  • max_completion_tokens ja max_output_tokens piiravad ainult nähtavat vastust: arutlus sellesse ei kuulu
  • Väärtuse määramata jätmisel on väljundi piirang vaikimisi 128 000 tokenit; max_tokens on aegunud
  • Arutluse hulga määrab jõupingutus (reasoning_effort või reasoning.effort) mudelitel grok-4.5 kuni 4.7; grok-4.20-0309-reasoning seda ei oma
  • Arutluse tokenid ilmuvad kasutusstatistikasse ja kuuluvad arvele
  • Katkestatud vastuse tuvastad finish_reason: "length" või oleku incomplete järgi