Preskok na glavno vsebino
Slovenščina— Izberite jezik
Meni

max_completion_tokens in proračun žetonov

Lekcija 10 od 12 Posodobljeno 3. november 2026 Razvijalec
Na tej strani
  1. Kaj omejitev dejansko omejuje
  2. Usmerjanje razmišljanja: effort, ne omejitev
  3. Določanje velikosti omejitve izhoda
  4. Zaznavanje obreza
  5. Ne zamenjaj z omejitvijo konteksta
  6. Ključne ugotovitve

Lekcija ponovno napisana 3. novembra 2026 na podlagi referenčne dokumentacije API-ja xAI (Chat Completions in Responses), vodnika Reasoning ter najboljših praks xAI: max_completion_tokens in max_output_tokens omejujeta le vidni odgovor – žetoni za razmišljanje in žetoni klicev funkcij se v to omejitev ne štejejo – privzeta vrednost pa znaša 128.000. Prejšnja različica je trdila nasprotno in določala omejitev glede na razmišljanje; prav tako je nastavljala parameter effort za model grok-4.20-0309-reasoning, ki ga ne sprejme. Viri: Chat Completions · Responses · Reasoning.

Kaj omejitev dejansko omejuje

Pri modelu za razmišljanje bi lahko pomislil, da omejitev izhoda deli proračun med razmislek in odgovor. Pri xAI to ne drži. Referenčna dokumentacija API-ja je jasna: max_completion_tokens (Chat Completions) in max_output_tokens (Responses API) veljajo izključno za vidne izhodne žetone; žetoni za razmišljanje in žetoni klicev funkcij se ne štejejo.

max_completion_tokens → samo vidni odgovor
žetoni za razmišljanje → zunaj omejitve, določeni z effort

Brez določene vrednosti ta omejitev privzeto znaša 128.000 žetonov. Stari parameter max_tokens je zastarel in ga nadomešča max_completion_tokens.

Usmerjanje razmišljanja: effort, ne omejitev

Ker omejitev ne vpliva na razmišljanje, količino uravnava parameter effort. Pri modelih grok-4.7, grok-4.6 in grok-4.5 je parameter v API-ju Chat Completions imenovan reasoning_effort, v API-ju Responses pa reasoning.effort; privzeta vrednost je high, sprejema vrednosti low in medium, od modela Grok 4.6 dalje pa tudi xhigh. Razmišljanja ni mogoče izklopiti.

Model grok-4.20-0309-reasoning tega parametra ne sprejme: vedno razmišlja, njegova različica grok-4.20-0309-non-reasoning pa odgovarja brez razmišljanja. Pri modelu grok-4.20-multi-agent končno parameter effort ne določa globine razmišljanja, temveč število aktiviranih agentov (4 ali 16).

response = client.chat.completions.create(
    model="grok-4.7",
    reasoning_effort="low",  # preprosta naloga: malo razmišljanja
    messages=[{"role": "user", "content": "Classify this ticket: billing, access, or bug?"}],
)
print(response.usage.completion_tokens_details.reasoning_tokens)

Število žetonov za razmišljanje je prikazano v uporabi odgovora: usage.completion_tokens_details.reasoning_tokens pri Chat Completions in usage.output_tokens_details.reasoning_tokens pri Responses API. Ti žetoni so del zaračunanih žetonov: torej na to postavko vpliva parameter effort, ne pa omejitev izhoda.

Določanje velikosti omejitve izhoda

Omejitev služi zgolj za določanje največje dolžine samega odgovora. Najboljše prakse xAI ponujajo preprosto pravilo: nastavi jo višje od najdaljšega pričakovanega odgovora ali pusti privzeto vrednost 128.000 žetonov. Pretesna omejitev odreže vidni odgovor, ne glede na nastavljeni effort za razmišljanje.

Pričakovan odgovorRazumna omejitev izhoda
Oznaka, številonekaj deset žetonov
Odstavek500 do 1.000 žetonov
Strukturirano poročiloveč tisoč žetonov
Ni natančne predstaveprivzeta vrednost

Zaznavanje obreza

Ko vidni odgovor doseže omejitev, API Chat Completions vrne "length" v polju finish_reason namesto "stop", API Responses pa vrne stanje incomplete. Ta položaj lahko zaznaš in poskus ponoviš z višjo omejitvijo:

response = client.chat.completions.create(
    model="grok-4.7",
    messages=[{"role": "user", "content": question}],
    max_completion_tokens=2000,
)

if response.choices[0].finish_reason == "length":
    # Vidni odgovor je bil odrezan: ponovi z višjo omejitvijo
    response = client.chat.completions.create(
        model="grok-4.7",
        messages=[{"role": "user", "content": question}],
        max_completion_tokens=8000,
    )

Ne zamenjaj z omejitvijo konteksta

Omejitev izhoda je neodvisna od kontekstnega okna modela – 500.000 žetonov za grok-4.7, 1 milijon za grok-4.20-0309-reasoning – ki omejuje celoten pogovor. Zahteva za globoko razmišljanje lahko traja več minut: xAI priporoča, da za vsak zahtevek dovoliš vsaj 900 sekund in da daješ prednost pretoku (streaming).

Ključne ugotovitve

  • max_completion_tokens in max_output_tokens omejujeta le vidni odgovor: razmišljanje se v to ne šteje
  • Brez določene vrednosti omejitev izhoda privzeto znaša 128.000 žetonov; max_tokens je zastarel
  • Količino razmišljanja določa parameter effort (reasoning_effort ali reasoning.effort) pri modelih grok-4.5 do 4.7; model grok-4.20-0309-reasoning tega nima
  • Žetoni za razmišljanje so prikazani v uporabi in so del obračuna
  • Odrezan odgovor zaznaš preko finish_reason: "length" ali stanja incomplete