max_completion_tokens i proračun tokena
Na ovoj stranici
Lekcija je ponovno napisana 3. studenog 2026. na temelju xAI API referenci (Chat Completions i Responses), vodiča Reasoning te najboljih praksi xAI-ja:
max_completion_tokensimax_output_tokensograničavaju samo vidljivi odgovor—tokeni razmišljanja i tokeni poziva funkcija ne ulaze u to ograničenje—i zadana vrijednost im je 128.000. Prethodna verzija tvrdila je suprotno i veličinu ograničenja temeljila na razmišljanju; također je postavljala napor (effort) nagrok-4.20-0309-reasoning, koji to ne prihvaća. Izvori: Chat Completions · Responses · Reasoning.
Što ograničenje zapravo ograničava
Kod modela za razmišljanje mogao bi pomisliti da se proračun izlaznog ograničenja dijeli između razmišljanja i odgovora. Kod xAI-ja to uopće nije slučaj. API referenca je izričita: max_completion_tokens (Chat Completions) i max_output_tokens (Responses API) primjenjuju se samo na vidljive izlazne tokene; tokeni razmišljanja i tokeni poziva funkcija se ne broje.
max_completion_tokens → samo vidljivi odgovor
tokeni razmišljanja → izvan ograničenja, postavljaju se naporom (effort)
Bez navedene vrijednosti, ovo ograničenje ima zadanu vrijednost od 128.000 tokena. Što se tiče starog parametra max_tokens, on je zastario u korist max_completion_tokens.
Upravljanje razmišljanjem: napor, a ne ograničenje
Budući da ograničenje ne dotiče razmišljanje, količinu regulira napor (effort). Na modelima grok-4.7, grok-4.6 i grok-4.5, parametar je reasoning_effort u Chat Completionsu i reasoning.effort u Responses API-ju; zadana vrijednost je high, prihvaća low i medium, a od Groka 4.6 nadalje i xhigh. Razmišljanje se ne može onemogućiti.
grok-4.20-0309-reasoning ne prihvaća ovaj parametar: on uvijek razmišlja, dok njegova varijanta grok-4.20-0309-non-reasoning odgovara bez razmišljanja. Na grok-4.20-multi-agent, napokon, napor ne određuje dubinu razmišljanja već broj angažiranih agenata (4 ili 16).
response = client.chat.completions.create(
model="grok-4.7",
reasoning_effort="low", # jednostavan zadatak: malo razmišljanja
messages=[{"role": "user", "content": "Klasificiraj ovaj tiket: naplata, pristup ili greška?"}],
)
print(response.usage.completion_tokens_details.reasoning_tokens)
Broj tokena razmišljanja pojavljuje se u upotrebi (usage) odgovora: usage.completion_tokens_details.reasoning_tokens u Chat Completionsu, odnosno usage.output_tokens_details.reasoning_tokens u Responses API-ju. Oni su dio naplaćenih tokena: dakle, na tu stavku utječe napor, a ne izlazno ograničenje.
Određivanje veličine izlaznog ograničenja
Ograničenje služi isključivo za ograničavanje duljine samog odgovora. Najbolje prakse xAI-ja daju jednostavno pravilo: postavi ga iznad najduljeg odgovora koji očekuješ ili ostavi zadanu vrijednost od 128.000 tokena. Preusko ograničenje odsjeći će vidljivi odgovor, bez obzira na napor razmišljanja.
| Očekivani odgovor | Razumno izlazno ograničenje |
|---|---|
| Oznaka, broj | nekoliko desetaka tokena |
| Odlomak | 500 do 1.000 tokena |
| Strukturirano izvješće | nekoliko tisuća tokena |
| Nema precizne ideje | zadana vrijednost |
Otkrivanje odsijecanja
Kada vidljivi odgovor dosegne ograničenje, Chat Completions vraća "length" u finish_reason umjesto "stop", a Responses API vraća status incomplete. Tu situaciju možeš otkriti i ponoviti pokušaj s većim ograničenjem:
response = client.chat.completions.create(
model="grok-4.7",
messages=[{"role": "user", "content": question}],
max_completion_tokens=2000,
)
if response.choices[0].finish_reason == "length":
# Vidljivi odgovor je odsječen: ponovi s većim ograničenjem
response = client.chat.completions.create(
model="grok-4.7",
messages=[{"role": "user", "content": question}],
max_completion_tokens=8000,
)
Nemoj brkati s ograničenjem konteksta
Izlazno ograničenje neovisno je o prozoru konteksta modela—500.000 tokena za grok-4.7, 1 milijun za grok-4.20-0309-reasoning—koji ograničava cijeli razgovor. Zahtjev za duboko razmišljanje može trajati nekoliko minuta: xAI preporučuje da za svaki zahtjev dopustiš najmanje 900 sekundi i da daješ prednost streamingu.
Ključne točke
max_completion_tokensimax_output_tokensograničavaju samo vidljivi odgovor: razmišljanje se ne uračunava u to- Bez vrijednosti, izlazno ograničenje ima zadanu vrijednost od 128.000 tokena;
max_tokensje zastario - Količina razmišljanja postavlja se naporom (
reasoning_effortilireasoning.effort) na grok-4.5 do 4.7;grok-4.20-0309-reasoningto nema - Tokeni razmišljanja pojavljuju se u upotrebi i dio su računa
- Odsječen odgovor otkriva se putem
finish_reason: "length"ili statusaincomplete