max_completion_tokens és tokenköltségvetés
Ezen az oldalon
A leckét 2026. november 3-án írtuk át az xAI API-referencia (Chat Completions és Responses), a Reasoning útmutató és az xAI legjobb gyakorlatai alapján: a
max_completion_tokensés amax_output_tokensparaméterek kizárólag a látható válaszra vonatkoznak – a gondolkodási tokenek és a függvényhívási tokenek nem számítanak bele ebbe a korlátba –, és alapértelmezés szerint 128 000-re vannak állítva. A korábbi verzió az ellenkezőjét állította, és a gondolkodás alapján méretezte a korlátot; továbbá beállított egy „effort“ paramétert agrok-4.20-0309-reasoningmodellen, amely ezt nem fogadja el. Források: Chat Completions · Responses · Reasoning.
Mit korlátoz valójában a felső határ?
Egy gondolkodó modell esetén azt hihetnéd, hogy a kimeneti korlát közös költségvetést oszt meg a gondolatmenet és a válasz között. Az xAI-nál ez egyáltalán nincs így. Az API-referencia egyértelmű: a max_completion_tokens (Chat Completions) és a max_output_tokens (Responses API) kizárólag a látható kimeneti tokenekre vonatkozik; a gondolkodási tokenek és a függvényhívási tokenek nem számítanak bele.
max_completion_tokens → kizárólag a látható válasz
reasoning tokens → a korláton kívül, az „effort“ által szabályozva
Érték megadása nélkül ez a korlát alapértelmezés szerint 128 000 token. Ami a régi max_tokens paramétert illeti, azt a max_completion_tokens javára elavulttá nyilvánították.
A gondolkodás irányítása: effort, nem a korlát
Mivel a korlát nem érinti a gondolkodást, annak mennyiségét az „effort“ (erőfeszítés) szabályozza. A grok-4.7, grok-4.6 és grok-4.5 modelleken a paraméter neve reasoning_effort a Chat Completions esetén, illetve reasoning.effort a Responses API-ban; alapértelmezett értéke high, elfogadja a low és medium értékeket, a Grok 4.6-tól kezdve pedig az xhigh értéket is. A gondolkodás nem kapcsolható ki.
A grok-4.20-0309-reasoning nem fogadja el ezt a paramétert: ez a modell mindig gondolkodik, míg a grok-4.20-0309-non-reasoning változata gondolkodás nélkül válaszol. Végül a grok-4.20-multi-agent esetén az „effort“ nem a gondolkodás mélységét, hanem a mozgósított ügynökök számát (4 vagy 16) határozza meg.
response = client.chat.completions.create(
model="grok-4.7",
reasoning_effort="low", # egyszerű feladat: kevés gondolkodás
messages=[{"role": "user", "content": "Classify this ticket: billing, access, or bug?"}],
)
print(response.usage.completion_tokens_details.reasoning_tokens)
A gondolkodási tokenek száma megjelenik a válasz használati adataiban: usage.completion_tokens_details.reasoning_tokens a Chat Completions esetén, usage.output_tokens_details.reasoning_tokens pedig a Responses API-ban. Ezek részei a számlázott tokeneknek: tehát nem a kimeneti korlát, hanem az „effort“ befolyásolja ezt a tételt.
A kimeneti korlát méretezése
A korlát kizárólag arra szolgál, hogy behatárolja maga a válasz hosszát. Az xAI legjobb gyakorlatai egy egyszerű szabályt javasolnak: állítsd magasabbra, mint a várt leghosszabb válasz, vagy hagyd az alapértelmezett 128 000 tokenes értéket. A túl szoros korlát levágja a látható választ, függetlenül a gondolkodási erőfeszítéstől.
| Várt válasz | Ésszerű kimeneti korlát |
|---|---|
| Egy címke, egy szám | néhány tucat token |
| Egy bekezdés | 500–1000 token |
| Egy strukturált jelentés | több ezer token |
| Nincs pontos ötlet | az alapértelmezett érték |
A csonkolás észlelése
Amikor a látható válasz eléri a korlátot, a Chat Completions "length" értéket ad vissza a finish_reason mezőben a "stop" helyett, a Responses API pedig incomplete státuszt küld. Észlelheted ezt a helyzetet, és újrapróbálkozhatod egy magasabb korláttal:
response = client.chat.completions.create(
model="grok-4.7",
messages=[{"role": "user", "content": question}],
max_completion_tokens=2000,
)
if response.choices[0].finish_reason == "length":
# A látható választ levágták: újrapróbálás magasabb korláttal
response = client.chat.completions.create(
model="grok-4.7",
messages=[{"role": "user", "content": question}],
max_completion_tokens=8000,
)
Ne keverd össze a kontextuskorláttal!
A kimeneti korlát független a modell kontextusablakától – amely 500 000 token a grok-4.7 esetén és 1 millió a grok-4.20-0309-reasoning esetében –, mivel ez utóbbi a teljes beszélgetést korlátozza. Egy mély gondolkodást igénylő kérés több percet is igénybe vehet: az xAI azt javasolja, hogy kérésenként legalább 900 másodpercet engedélyezz, és előnyben részesítsd a streamelést.
Főbb megállapítások
- A
max_completion_tokensés amax_output_tokenskizárólag a látható válaszra vonatkozik: a gondolkodás nem számít bele - Érték megadása nélkül a kimeneti korlát alapértelmezése 128 000 token; a
max_tokenselavult - A gondolkodás mennyiségét az „effort“ (
reasoning_effortvagyreasoning.effort) állítja be a grok-4.5-től 4.7-ig; agrok-4.20-0309-reasoningnem rendelkezik ezzel - A gondolkodási tokenek megjelennek a használati adatokban, és részei a számlának
- A levágott választ a
finish_reason: "length"vagy azincompletestátusz jelzi