max_completion_tokens u Baġit ta' Tokens
F'din il-paġna
Lezzjon miktub mill-ġdid fit-3 ta’ Novembru 2026 abbażi tar-referenza tal-API ta’ xAI (Chat Completions u Responses), il-gwida Reasoning, u l-aħjar prattiki ta’ xAI:
max_completion_tokensumax_output_tokensjillimitaw biss ir-risposta viżibbli—tokens tar-raġunament u tokens tas-sejħiet tal-funzjonijiet ma jgħoddux għal dan il-limitu—u default għal 128,000. Il-verżjoni preċedenti kienet tgħid il-kuntrarju u kienet tiddimensjona l-limitu abbażi tar-raġunament; kienet timponi wkoll sforz fuqgrok-4.20-0309-reasoning, li ma jaċċettahx. Sorsi: Chat Completions · Responses · Reasoning.
X’jillimita eżattament il-kapp
Għal mudell tar-raġunament, tista’ taħseb li l-kapp tal-output jaqsam il-baġit tiegħu bejn il-ħsieb u r-risposta. Dan mhuwiex il-każ ma’ xAI. Ir-referenza tal-API hija espliċita: max_completion_tokens (Chat Completions) u max_output_tokens (Responses API) japplikaw biss għal tokens tal-output viżibbli; tokens tar-raġunament u tokens tas-sejħiet tal-funzjonijiet ma jgħoddux.
max_completion_tokens → risposta viżibbli biss
tokens tar-raġunament → barra mill-kapp, stabbiliti mill-isforz
Mingħajr valur, dan il-kapp jieħu bħala default 128,000 token. Għal dak li għandu x’jaqsam mal-max_tokens antik, dan huwa deprekat favur max_completion_tokens.
Id-direzzjoni tar-raġunament: l-isforz, mhux il-kapp
Peress li l-kapp ma jmissx ir-raġunament, l-isforz huwa li jirregola l-kwantità. Fuq grok-4.7, grok-4.6, u grok-4.5, il-parametru huwa reasoning_effort f’Chat Completions u reasoning.effort fir-Responses API; jieħu high bħala default, jaċċetta low u medium, u xhigh minn Grok 4.6 ‘il quddiem. Ir-raġunament ma jistax jiġi diżattivat.
grok-4.20-0309-reasoning ma jaċċettax dan il-parametru: dejjem jirraġuna, filwaqt li l-varjant tiegħu grok-4.20-0309-non-reasoning iwieġeb mingħajr raġunament. Fuq grok-4.20-multi-agent, finalment, l-isforz ma jistabbilixxix il-fond tar-raġunament iżda n-numru ta’ aġenti mobilizzati (4 jew 16).
response = client.chat.completions.create(
model="grok-4.7",
reasoning_effort="low", # kompitu sempliċi: ftit raġunament
messages=[{"role": "user", "content": "Ikklassifika dan it-ticket: billing, access, jew bug?"}],
)
print(response.usage.completion_tokens_details.reasoning_tokens)
In-numru ta’ tokens tar-raġunament jidher fl-użu tar-risposta: usage.completion_tokens_details.reasoning_tokens f’Chat Completions, usage.output_tokens_details.reasoning_tokens fir-Responses API. Dawn huma parti mit-tokens iffatturati: għalhekk huwa l-isforz, mhux il-kapp tal-output, li jiżen fuq din il-linja.
Kif tiddimensjona l-kapp tal-output
Il-kapp iservi biss biex jillimita t-tul tar-risposta nnifisha. L-aħjar prattiki ta’ xAI jagħtu regola sempliċi: stabbilixxieh ogħla mill-itwal risposta li tistenna, jew ħalli l-valur default tiegħu ta’ 128,000 token. Kapp li huwa strett wisq jaqta’ r-risposta viżibbli, irrispettivament mill-isforz tar-raġunament.
| Risposta mistennija | Kapp raġonevoli tal-output |
|---|---|
| Tikketta, numru | ftit għexieren ta’ tokens |
| Paragrafu | 500 sa 1,000 token |
| Rapport strutturat | diversi eluf ta’ tokens |
| L-ebda idea preċiża | il-valur default |
Kif tiskopri t-trunkazzjoni
Meta r-risposta viżibbli tilħaq il-kapp, Chat Completions tirritorna "length" f’finish_reason minflok "stop", u r-Responses API tirritorna status incomplete. Tista’ tiskopri din is-sitwazzjoni u tipprova mill-ġdid b’kapp ogħla:
response = client.chat.completions.create(
model="grok-4.7",
messages=[{"role": "user", "content": question}],
max_completion_tokens=2000,
)
if response.choices[0].finish_reason == "length":
# Ir-risposta viżibbli nqatgħet: ipprova mill-ġdid b'kapp ogħla
response = client.chat.completions.create(
model="grok-4.7",
messages=[{"role": "user", "content": question}],
max_completion_tokens=8000,
)
Tħawwidx mal-limitu tal-kuntest
Il-kapp tal-output huwa indipendenti mit-tieqa tal-kuntest tal-mudell—500,000 token għal grok-4.7, miljun għal grok-4.20-0309-reasoning—li tillimita l-konversazzjoni kollha. U talba għal raġunament fond tista’ tieħu diversi minuti: xAI tirrakkomanda li tħalli mill-inqas 900 sekonda għal kull talba u li tippreferixxi l-istreaming.
Punti Ewlenin
max_completion_tokensumax_output_tokensjillimitaw biss ir-risposta viżibbli: r-raġunament ma jgħoddx għal dan- Mingħajr valur, il-kapp tal-output jieħu bħala default 128,000 token;
max_tokenshuwa deprekat - Il-kwantità tar-raġunament hija stabbilita mill-isforz (
reasoning_effortjewreasoning.effort) fuq grok-4.5 sa 4.7;grok-4.20-0309-reasoningma għandux dan - Tokens tar-raġunament jidhru fl-użu u huma parti mill-fattura
- Risposta maqtugħa tiġi skoperta permezz ta’
finish_reason: "length"jew l-istatusincomplete