Pereiti prie pagrindinio turinio
Lietuvių— Pasirinkite kalbą
Meniu

Naudojimas tokenais ir reasoning_tokens

Paskaita 9 iš 12 Atnaujinta 2026 m. lapkričio 3 d. Kūrėjas
Šiame puslapyje
  1. Supraskite atsiskaitymą už tokenus
  2. Standartinis usage objektas
  3. reasoning_tokens: būdinga samprotavimo modeliams
  4. Išlaidų optimizavimo strategijos
  5. Svarbiausi punktai

Atnaujinta 2026 m. lapkričio 3 d. Remiantis xAI Chat Completions API dokumentacija: max_tokens yra pasenęs ir pakeistas į max_completion_tokens, kuris riboja tik matomą atsakymą. Šaltinis: Chat Completions.

Supraskite atsiskaitymą už tokenus

Už kiekvieną užklausą Chat Completions API yra atsiskaitoma pagal sunaudotų tokenų skaičių. Atsakyme esantis usage objektas pateikia tikslų skaičių, kuris yra būtinas stebint išlaidas, optimizuojant užklausas ir planuojant API biudžetus.

Standartinis usage objektas

Štai usage objekto, grąžinamo su kiekvienu atsakymu, struktūra:

{
  "usage": {
    "prompt_tokens": 127,
    "completion_tokens": 342,
    "total_tokens": 469
  }
}

Trys pagrindiniai skaitikliai

  • prompt_tokens: tokenų skaičius jūsų užklausoje (sistemos žinutė + istorija + nauja žinutė). Tai „įvesties“ pusė atsiskaitymui.
  • completion_tokens: modelio sugeneruotų tokenų skaičius atsakyme. Tai „išvesties“ pusė.
  • total_tokens: dviejų precedingių suma. Tai bendra suma, už kurią atsiskaitoma už šią užklausą.

Istorijos įtaka išlaidoms

Kadangi galinis taškas (endpoint) neturi būsenos, istorija siunčiama su kiekviena užklausa. Tai reiškia, kad prompt_tokens didėja su kiekvienu apsikeitimu:

Apsikeitimas 1 : prompt_tokens = 50   (sistema + 1 naudotojo žinutė)
Apsikeitimas 2 : prompt_tokens = 150  (sistema + 2 naudotojo + 1 asistento)
Apsikeitimas 3 : prompt_tokens = 300  (sistema + 3 naudotojo + 2 asistento)
Apsikeitimas 10: prompt_tokens = 1500 (sistema + 10 naudotojo + 9 asistento)

Ilguose pokalbiuose istorijos kaina gali greitai viršyti paties atsakymo kainą.

reasoning_tokens: būdinga samprotavimo modeliams

Grok modeliai, turintys samprotavimo gebėjimų (pvz., grok-4.20-0309-reasoning), į usage objektą įtraukia papildomą lauką:

{
  "usage": {
    "prompt_tokens": 127,
    "completion_tokens": 892,
    "total_tokens": 1019,
    "completion_tokens_details": {
      "reasoning_tokens": 550
    }
  }
}

Kas yra reasoning_tokens?

reasoning_tokens reiškia tokenus, kuriuos modelis naudoja savo vidiniam samprotavimui – tai „mąstymas“, kurį jis atlieka prieš pateikdamas galutinį atsakymą. Šie tokenai yra sugeneruojami, tačiau nematomi atsakymo content lauke.

Pirmiau pateiktame pavyzdyje:

  • Modelis iš viso sugeneravo 892 tokenus (completion_tokens)
  • Įskaitant 550 vidinių samprotavimo tokenų (reasoning_tokens)
  • Liko 342 matomi atsakymo tokenai (892 - 550)

Kodėl tai svarbu

Samprotavimo tokenai yra apmokestinami taip pat kaip ir įprasti išvesties tokenai. Samprotavimo modeliui matomas atsakymas gali sudaryti tik dalį visos kainos:

usage = response.usage

visible_tokens = usage.completion_tokens - usage.completion_tokens_details.reasoning_tokens
reasoning_tokens = usage.completion_tokens_details.reasoning_tokens

print(f"Visible tokens: {visible_tokens}")
print(f"Reasoning tokens: {reasoning_tokens}")
print(f"Reasoning ratio: {reasoning_tokens / usage.completion_tokens * 100:.0f}%")

Nėra neįprasta, kad sudėtingoms užklausoms samprotavimo tokenai sudarytų 50–80 % visų išvesties tokenų.

Išlaidų optimizavimo strategijos

Sumažinkite prompt_tokens

  • Apibendrinkite istoriją: vietoj viso pokalbio siuntimo, apibendrinkite senesnius apsikeitimus
  • Apribokite sistemos žinutę: 500 tokenų sistemos užklausa retai kada būtina – siekite 100–200 tokenų
  • Filtruokite žinutes: siųskite tik tuos apsikeitimus, kurie yra aktualūs dabartiniam klausimui

Valdykite completion_tokens

  • Naudokite max_completion_tokens (max_tokens yra pasenęs): tai riboja matomą atsakymą, bet ne samprotavimą
  • Nurodykite formatą: „Atsakykite 3 sakiniais“ kainuoja mažiau nei „Paaiškinkite išsamiai“
  • Pasirinkite tinkamą modelį: nesamprotuojantis modelis yra pigesnis, jei užduotis nereikalauja sudėtingo mąstymo

Stebėkite išlaidas gamyboje

import json

def log_usage(response, requete_id: str):
    usage = response.usage
    log = {
        "id": requete_id,
        "prompt": usage.prompt_tokens,
        "completion": usage.completion_tokens,
        "total": usage.total_tokens,
    }
    if hasattr(usage, "completion_tokens_details") and usage.completion_tokens_details:
        log["reasoning"] = usage.completion_tokens_details.reasoning_tokens

    print(json.dumps(log))

Svarbiausi punktai

  • usage objekte yra prompt_tokens, completion_tokens ir total_tokens
  • prompt_tokens didėja su kiekvienu apsikeitimu dėl siunčiamos istorijos
  • Samprotavimo modeliai prideda reasoning_tokens lauką completion_tokens_details
  • Samprotavimo tokenai apmokestinami išvesties tarifu, bet yra nematomi atsakyme – jų dalis kainoje priklauso nuo užduoties ir pastangų, todėl ją reikia matuoti
  • Optimizuokite apibendrindami istoriją, reguliuodami samprotavimo intensyvumą, ribodami max_completion_tokens ir pasirinkdami tinkamą modelį