Lähe põhisisu juurde
Eesti— Vali keel
Menüü

Tokenite kasutamine ja reasoning_tokens

Õppetund 9 / 12 Värskendatud 3. november 2026 Arendajatele
Sellel lehel
  1. Mõista tokenite arvestust
  2. Standardne usage-objekt
  3. reasoning_tokens: spetsiifiline põhjendamisvõimega mudelitele
  4. Kulude optimeerimise strateegiad
  5. Peamised punktid

Uuendatud 3. novembril 2026. Lähtudes xAI Chat Completions API dokumentatsioonist: max_tokens on aegunud ja asendatud parameetriga max_completion_tokens, mis piirab ainult nähtavat vastust. Allikas: Chat Completions.

Mõista tokenite arvestust

Iga päring Chat Completions API-le on tasuline vastavalt tarbitud tokenite arvule. Vastuses olev objekt usage annab sulle täpse loenduse, mis on hädavajalik kulude jälgimiseks, vihjete optimeerimiseks ja API eelarve planeerimiseks.

Standardne usage-objekt

Siin on iga vastusega tagastatava usage objekti struktuur:

{
  "usage": {
    "prompt_tokens": 127,
    "completion_tokens": 342,
    "total_tokens": 469
  }
}

Kolm põhiloendurit

  • prompt_tokens: tokenite arv sinu päringus (süsteemisõnum + ajalugu + uus sõnum). See on arvestuse „sisendpool“.
  • completion_tokens: mudeli genereeritud tokenite arv vastuses. See on „väljundpool“.
  • total_tokens: kahe eelmise summa. See on selle päringu eest arvestatav kogusumma.

Ajaloo mõju kuludele

Kuna lõpp-punkt on olekuta (stateless), saadetakse ajalugu iga päringuga kaasa. See tähendab, et prompt_tokens kasvab iga vahetusega:

Vahetus 1 : prompt_tokens = 50   (süsteem + 1 kasutaja sõnum)
Vahetus 2 : prompt_tokens = 150  (süsteem + 2 kasutajat + 1 assistent)
Vahetus 3 : prompt_tokens = 300  (süsteem + 3 kasutajat + 2 assistenti)
Vahetus 10: prompt_tokens = 1500 (süsteem + 10 kasutajat + 9 assistenti)

Pikkade vestluste korral võib ajaloo kulud kiiresti ületada enda vastuse kulud.

reasoning_tokens: spetsiifiline põhjendamisvõimega mudelitele

Põhjendamisvõimega Grok mudelid (nagu grok-4.20-0309-reasoning) lisavad usage objekti täiendava välja:

{
  "usage": {
    "prompt_tokens": 127,
    "completion_tokens": 892,
    "total_tokens": 1019,
    "completion_tokens_details": {
      "reasoning_tokens": 550
    }
  }
}

Mis on reasoning_tokens?

reasoning_tokens tähistavad tokeneid, mida mudel kasutas oma sisemiseks põhjendamiseks – see on „mõtlemine“, mida ta teeb enne lõpliku vastuse loomist. Need tokenid genereeritakse, kuid need ei ole vastuse väljal content nähtavad.

Ülaltoodud näites:

  • Mudel genereeris kokku 892 tokenit (completion_tokens)
  • Sealhulgas 550 sisemist põhjendamistokenit (reasoning_tokens)
  • Järelikult jääb 342 nähtavat vastusetokenit (892 - 550)

Miks see oluline on

Põhjendamistokeneid arvestatakse nagu tavalisi väljundtokeneid. Põhjendamisvõimega mudeli puhul võib nähtav vastus moodustada vaid murdosa kogukulust:

usage = response.usage

visible_tokens = usage.completion_tokens - usage.completion_tokens_details.reasoning_tokens
reasoning_tokens = usage.completion_tokens_details.reasoning_tokens

print(f"Visible tokens: {visible_tokens}")
print(f"Reasoning tokens: {reasoning_tokens}")
print(f"Reasoning ratio: {reasoning_tokens / usage.completion_tokens * 100:.0f}%")

Pole haruldane, et keerukate küsimuste puhul moodustavad põhjendamistokenid 50–80% kõikidest väljundtokenitest.

Kulude optimeerimise strateegiad

Vähenda prompt_tokens-e

  • Võta ajalugu kokku: ära saada kogu vestlust, vaid tee vanematest vahetustest kokkuvõte
  • Piira süsteemisõnumit: 500-tokenine süsteemiviha on harva vajalik – püüa jääda 100–200 tokeni juurde
  • Filtreeri sõnumeid: saada ainult need vahetused, mis on praeguse küsimuse jaoks asjakohased

Kontrolli completion_tokens-e

  • Kasuta max_completion_tokens (max_tokens on aegunud): see piirab nähtavat vastust, mitte põhjendamist
  • Määra formaat: „Vasta 3 lauses“ maksab vähem kui „Selgita üksikasjalikult“
  • Vali õige mudel: kui ülesanne ei nõua keerukat mõtlemist, on mitte-põhjendav mudel odavam

Jälgi kulusid tootmises

import json

def log_usage(response, requete_id: str):
    usage = response.usage
    log = {
        "id": requete_id,
        "prompt": usage.prompt_tokens,
        "completion": usage.completion_tokens,
        "total": usage.total_tokens,
    }
    if hasattr(usage, "completion_tokens_details") and usage.completion_tokens_details:
        log["reasoning"] = usage.completion_tokens_details.reasoning_tokens

    print(json.dumps(log))

Peamised punktid

  • Objekt usage sisaldab välju prompt_tokens, completion_tokens ja total_tokens
  • prompt_tokens kasvab iga vahetusega kaasa saadetava ajaloo tõttu
  • Põhjendamisvõimega mudelid lisavad välja reasoning_tokens objekti completion_tokens_details sees
  • Põhjendamistokeneid arvestatakse väljundhinnaga, kuid need on vastuses nähtamatud – nende osakaal kuludes sõltub ülesandest ja pingutusest, seega mõõda seda
  • Optimeeri, võttes ajalugu kokku, kohandades põhjendamise intensiivsust, piirates max_completion_tokens-i ja valides õige mudeli