Preskoči na glavni sadržaj
Hrvatski— Odaberite jezik
Izbornik

max_completion_tokens i proračun tokena

Lekcija 10 od 12 Ažurirano 3. studenoga 2026. Programer
Na ovoj stranici
  1. Što ograničenje zapravo ograničava
  2. Upravljanje razmišljanjem: napor, a ne ograničenje
  3. Određivanje veličine izlaznog ograničenja
  4. Otkrivanje odsijecanja
  5. Nemoj brkati s ograničenjem konteksta
  6. Ključne točke

Lekcija je ponovno napisana 3. studenog 2026. na temelju xAI API referenci (Chat Completions i Responses), vodiča Reasoning te najboljih praksi xAI-ja: max_completion_tokens i max_output_tokens ograničavaju samo vidljivi odgovor—tokeni razmišljanja i tokeni poziva funkcija ne ulaze u to ograničenje—i zadana vrijednost im je 128.000. Prethodna verzija tvrdila je suprotno i veličinu ograničenja temeljila na razmišljanju; također je postavljala napor (effort) na grok-4.20-0309-reasoning, koji to ne prihvaća. Izvori: Chat Completions · Responses · Reasoning.

Što ograničenje zapravo ograničava

Kod modela za razmišljanje mogao bi pomisliti da se proračun izlaznog ograničenja dijeli između razmišljanja i odgovora. Kod xAI-ja to uopće nije slučaj. API referenca je izričita: max_completion_tokens (Chat Completions) i max_output_tokens (Responses API) primjenjuju se samo na vidljive izlazne tokene; tokeni razmišljanja i tokeni poziva funkcija se ne broje.

max_completion_tokens → samo vidljivi odgovor
tokeni razmišljanja → izvan ograničenja, postavljaju se naporom (effort)

Bez navedene vrijednosti, ovo ograničenje ima zadanu vrijednost od 128.000 tokena. Što se tiče starog parametra max_tokens, on je zastario u korist max_completion_tokens.

Upravljanje razmišljanjem: napor, a ne ograničenje

Budući da ograničenje ne dotiče razmišljanje, količinu regulira napor (effort). Na modelima grok-4.7, grok-4.6 i grok-4.5, parametar je reasoning_effort u Chat Completionsu i reasoning.effort u Responses API-ju; zadana vrijednost je high, prihvaća low i medium, a od Groka 4.6 nadalje i xhigh. Razmišljanje se ne može onemogućiti.

grok-4.20-0309-reasoning ne prihvaća ovaj parametar: on uvijek razmišlja, dok njegova varijanta grok-4.20-0309-non-reasoning odgovara bez razmišljanja. Na grok-4.20-multi-agent, napokon, napor ne određuje dubinu razmišljanja već broj angažiranih agenata (4 ili 16).

response = client.chat.completions.create(
    model="grok-4.7",
    reasoning_effort="low",  # jednostavan zadatak: malo razmišljanja
    messages=[{"role": "user", "content": "Klasificiraj ovaj tiket: naplata, pristup ili greška?"}],
)
print(response.usage.completion_tokens_details.reasoning_tokens)

Broj tokena razmišljanja pojavljuje se u upotrebi (usage) odgovora: usage.completion_tokens_details.reasoning_tokens u Chat Completionsu, odnosno usage.output_tokens_details.reasoning_tokens u Responses API-ju. Oni su dio naplaćenih tokena: dakle, na tu stavku utječe napor, a ne izlazno ograničenje.

Određivanje veličine izlaznog ograničenja

Ograničenje služi isključivo za ograničavanje duljine samog odgovora. Najbolje prakse xAI-ja daju jednostavno pravilo: postavi ga iznad najduljeg odgovora koji očekuješ ili ostavi zadanu vrijednost od 128.000 tokena. Preusko ograničenje odsjeći će vidljivi odgovor, bez obzira na napor razmišljanja.

Očekivani odgovorRazumno izlazno ograničenje
Oznaka, brojnekoliko desetaka tokena
Odlomak500 do 1.000 tokena
Strukturirano izvješćenekoliko tisuća tokena
Nema precizne idejezadana vrijednost

Otkrivanje odsijecanja

Kada vidljivi odgovor dosegne ograničenje, Chat Completions vraća "length" u finish_reason umjesto "stop", a Responses API vraća status incomplete. Tu situaciju možeš otkriti i ponoviti pokušaj s većim ograničenjem:

response = client.chat.completions.create(
    model="grok-4.7",
    messages=[{"role": "user", "content": question}],
    max_completion_tokens=2000,
)

if response.choices[0].finish_reason == "length":
    # Vidljivi odgovor je odsječen: ponovi s većim ograničenjem
    response = client.chat.completions.create(
        model="grok-4.7",
        messages=[{"role": "user", "content": question}],
        max_completion_tokens=8000,
    )

Nemoj brkati s ograničenjem konteksta

Izlazno ograničenje neovisno je o prozoru konteksta modela—500.000 tokena za grok-4.7, 1 milijun za grok-4.20-0309-reasoning—koji ograničava cijeli razgovor. Zahtjev za duboko razmišljanje može trajati nekoliko minuta: xAI preporučuje da za svaki zahtjev dopustiš najmanje 900 sekundi i da daješ prednost streamingu.

Ključne točke

  • max_completion_tokens i max_output_tokens ograničavaju samo vidljivi odgovor: razmišljanje se ne uračunava u to
  • Bez vrijednosti, izlazno ograničenje ima zadanu vrijednost od 128.000 tokena; max_tokens je zastario
  • Količina razmišljanja postavlja se naporom (reasoning_effort ili reasoning.effort) na grok-4.5 do 4.7; grok-4.20-0309-reasoning to nema
  • Tokeni razmišljanja pojavljuju se u upotrebi i dio su računa
  • Odsječen odgovor otkriva se putem finish_reason: "length" ili statusa incomplete