Ugrás a főtartalomra
Magyar— Nyelv kiválasztása
Menü

max_completion_tokens és tokenköltségvetés

10. lecke 12 közül Frissítve 2026. november 3. Fejlesztő
Ezen az oldalon
  1. Mit korlátoz valójában a felső határ?
  2. A gondolkodás irányítása: effort, nem a korlát
  3. A kimeneti korlát méretezése
  4. A csonkolás észlelése
  5. Ne keverd össze a kontextuskorláttal!
  6. Főbb megállapítások

A leckét 2026. november 3-án írtuk át az xAI API-referencia (Chat Completions és Responses), a Reasoning útmutató és az xAI legjobb gyakorlatai alapján: a max_completion_tokens és a max_output_tokens paraméterek kizárólag a látható válaszra vonatkoznak – a gondolkodási tokenek és a függvényhívási tokenek nem számítanak bele ebbe a korlátba –, és alapértelmezés szerint 128 000-re vannak állítva. A korábbi verzió az ellenkezőjét állította, és a gondolkodás alapján méretezte a korlátot; továbbá beállított egy „effort“ paramétert a grok-4.20-0309-reasoning modellen, amely ezt nem fogadja el. Források: Chat Completions · Responses · Reasoning.

Mit korlátoz valójában a felső határ?

Egy gondolkodó modell esetén azt hihetnéd, hogy a kimeneti korlát közös költségvetést oszt meg a gondolatmenet és a válasz között. Az xAI-nál ez egyáltalán nincs így. Az API-referencia egyértelmű: a max_completion_tokens (Chat Completions) és a max_output_tokens (Responses API) kizárólag a látható kimeneti tokenekre vonatkozik; a gondolkodási tokenek és a függvényhívási tokenek nem számítanak bele.

max_completion_tokens → kizárólag a látható válasz
reasoning tokens → a korláton kívül, az „effort“ által szabályozva

Érték megadása nélkül ez a korlát alapértelmezés szerint 128 000 token. Ami a régi max_tokens paramétert illeti, azt a max_completion_tokens javára elavulttá nyilvánították.

A gondolkodás irányítása: effort, nem a korlát

Mivel a korlát nem érinti a gondolkodást, annak mennyiségét az „effort“ (erőfeszítés) szabályozza. A grok-4.7, grok-4.6 és grok-4.5 modelleken a paraméter neve reasoning_effort a Chat Completions esetén, illetve reasoning.effort a Responses API-ban; alapértelmezett értéke high, elfogadja a low és medium értékeket, a Grok 4.6-tól kezdve pedig az xhigh értéket is. A gondolkodás nem kapcsolható ki.

A grok-4.20-0309-reasoning nem fogadja el ezt a paramétert: ez a modell mindig gondolkodik, míg a grok-4.20-0309-non-reasoning változata gondolkodás nélkül válaszol. Végül a grok-4.20-multi-agent esetén az „effort“ nem a gondolkodás mélységét, hanem a mozgósított ügynökök számát (4 vagy 16) határozza meg.

response = client.chat.completions.create(
    model="grok-4.7",
    reasoning_effort="low",  # egyszerű feladat: kevés gondolkodás
    messages=[{"role": "user", "content": "Classify this ticket: billing, access, or bug?"}],
)
print(response.usage.completion_tokens_details.reasoning_tokens)

A gondolkodási tokenek száma megjelenik a válasz használati adataiban: usage.completion_tokens_details.reasoning_tokens a Chat Completions esetén, usage.output_tokens_details.reasoning_tokens pedig a Responses API-ban. Ezek részei a számlázott tokeneknek: tehát nem a kimeneti korlát, hanem az „effort“ befolyásolja ezt a tételt.

A kimeneti korlát méretezése

A korlát kizárólag arra szolgál, hogy behatárolja maga a válasz hosszát. Az xAI legjobb gyakorlatai egy egyszerű szabályt javasolnak: állítsd magasabbra, mint a várt leghosszabb válasz, vagy hagyd az alapértelmezett 128 000 tokenes értéket. A túl szoros korlát levágja a látható választ, függetlenül a gondolkodási erőfeszítéstől.

Várt válaszÉsszerű kimeneti korlát
Egy címke, egy számnéhány tucat token
Egy bekezdés500–1000 token
Egy strukturált jelentéstöbb ezer token
Nincs pontos ötletaz alapértelmezett érték

A csonkolás észlelése

Amikor a látható válasz eléri a korlátot, a Chat Completions "length" értéket ad vissza a finish_reason mezőben a "stop" helyett, a Responses API pedig incomplete státuszt küld. Észlelheted ezt a helyzetet, és újrapróbálkozhatod egy magasabb korláttal:

response = client.chat.completions.create(
    model="grok-4.7",
    messages=[{"role": "user", "content": question}],
    max_completion_tokens=2000,
)

if response.choices[0].finish_reason == "length":
    # A látható választ levágták: újrapróbálás magasabb korláttal
    response = client.chat.completions.create(
        model="grok-4.7",
        messages=[{"role": "user", "content": question}],
        max_completion_tokens=8000,
    )

Ne keverd össze a kontextuskorláttal!

A kimeneti korlát független a modell kontextusablakától – amely 500 000 token a grok-4.7 esetén és 1 millió a grok-4.20-0309-reasoning esetében –, mivel ez utóbbi a teljes beszélgetést korlátozza. Egy mély gondolkodást igénylő kérés több percet is igénybe vehet: az xAI azt javasolja, hogy kérésenként legalább 900 másodpercet engedélyezz, és előnyben részesítsd a streamelést.

Főbb megállapítások

  • A max_completion_tokens és a max_output_tokens kizárólag a látható válaszra vonatkozik: a gondolkodás nem számít bele
  • Érték megadása nélkül a kimeneti korlát alapértelmezése 128 000 token; a max_tokens elavult
  • A gondolkodás mennyiségét az „effort“ (reasoning_effort vagy reasoning.effort) állítja be a grok-4.5-től 4.7-ig; a grok-4.20-0309-reasoning nem rendelkezik ezzel
  • A gondolkodási tokenek megjelennek a használati adatokban, és részei a számlának
  • A levágott választ a finish_reason: "length" vagy az incomplete státusz jelzi