Tokenite kasutamine ja reasoning_tokens
Sellel lehel
Uuendatud 3. novembril 2026. Lähtudes xAI Chat Completions API dokumentatsioonist:
max_tokenson aegunud ja asendatud parameetrigamax_completion_tokens, mis piirab ainult nähtavat vastust. Allikas: Chat Completions.
Mõista tokenite arvestust
Iga päring Chat Completions API-le on tasuline vastavalt tarbitud tokenite arvule. Vastuses olev objekt usage annab sulle täpse loenduse, mis on hädavajalik kulude jälgimiseks, vihjete optimeerimiseks ja API eelarve planeerimiseks.
Standardne usage-objekt
Siin on iga vastusega tagastatava usage objekti struktuur:
{
"usage": {
"prompt_tokens": 127,
"completion_tokens": 342,
"total_tokens": 469
}
}
Kolm põhiloendurit
prompt_tokens: tokenite arv sinu päringus (süsteemisõnum + ajalugu + uus sõnum). See on arvestuse „sisendpool“.completion_tokens: mudeli genereeritud tokenite arv vastuses. See on „väljundpool“.total_tokens: kahe eelmise summa. See on selle päringu eest arvestatav kogusumma.
Ajaloo mõju kuludele
Kuna lõpp-punkt on olekuta (stateless), saadetakse ajalugu iga päringuga kaasa. See tähendab, et prompt_tokens kasvab iga vahetusega:
Vahetus 1 : prompt_tokens = 50 (süsteem + 1 kasutaja sõnum)
Vahetus 2 : prompt_tokens = 150 (süsteem + 2 kasutajat + 1 assistent)
Vahetus 3 : prompt_tokens = 300 (süsteem + 3 kasutajat + 2 assistenti)
Vahetus 10: prompt_tokens = 1500 (süsteem + 10 kasutajat + 9 assistenti)
Pikkade vestluste korral võib ajaloo kulud kiiresti ületada enda vastuse kulud.
reasoning_tokens: spetsiifiline põhjendamisvõimega mudelitele
Põhjendamisvõimega Grok mudelid (nagu grok-4.20-0309-reasoning) lisavad usage objekti täiendava välja:
{
"usage": {
"prompt_tokens": 127,
"completion_tokens": 892,
"total_tokens": 1019,
"completion_tokens_details": {
"reasoning_tokens": 550
}
}
}
Mis on reasoning_tokens?
reasoning_tokens tähistavad tokeneid, mida mudel kasutas oma sisemiseks põhjendamiseks – see on „mõtlemine“, mida ta teeb enne lõpliku vastuse loomist. Need tokenid genereeritakse, kuid need ei ole vastuse väljal content nähtavad.
Ülaltoodud näites:
- Mudel genereeris kokku 892 tokenit (
completion_tokens) - Sealhulgas 550 sisemist põhjendamistokenit (
reasoning_tokens) - Järelikult jääb 342 nähtavat vastusetokenit (892 - 550)
Miks see oluline on
Põhjendamistokeneid arvestatakse nagu tavalisi väljundtokeneid. Põhjendamisvõimega mudeli puhul võib nähtav vastus moodustada vaid murdosa kogukulust:
usage = response.usage
visible_tokens = usage.completion_tokens - usage.completion_tokens_details.reasoning_tokens
reasoning_tokens = usage.completion_tokens_details.reasoning_tokens
print(f"Visible tokens: {visible_tokens}")
print(f"Reasoning tokens: {reasoning_tokens}")
print(f"Reasoning ratio: {reasoning_tokens / usage.completion_tokens * 100:.0f}%")
Pole haruldane, et keerukate küsimuste puhul moodustavad põhjendamistokenid 50–80% kõikidest väljundtokenitest.
Kulude optimeerimise strateegiad
Vähenda prompt_tokens-e
- Võta ajalugu kokku: ära saada kogu vestlust, vaid tee vanematest vahetustest kokkuvõte
- Piira süsteemisõnumit: 500-tokenine süsteemiviha on harva vajalik – püüa jääda 100–200 tokeni juurde
- Filtreeri sõnumeid: saada ainult need vahetused, mis on praeguse küsimuse jaoks asjakohased
Kontrolli completion_tokens-e
- Kasuta
max_completion_tokens(max_tokenson aegunud): see piirab nähtavat vastust, mitte põhjendamist - Määra formaat: „Vasta 3 lauses“ maksab vähem kui „Selgita üksikasjalikult“
- Vali õige mudel: kui ülesanne ei nõua keerukat mõtlemist, on mitte-põhjendav mudel odavam
Jälgi kulusid tootmises
import json
def log_usage(response, requete_id: str):
usage = response.usage
log = {
"id": requete_id,
"prompt": usage.prompt_tokens,
"completion": usage.completion_tokens,
"total": usage.total_tokens,
}
if hasattr(usage, "completion_tokens_details") and usage.completion_tokens_details:
log["reasoning"] = usage.completion_tokens_details.reasoning_tokens
print(json.dumps(log))
Peamised punktid
- Objekt
usagesisaldab väljuprompt_tokens,completion_tokensjatotal_tokens prompt_tokenskasvab iga vahetusega kaasa saadetava ajaloo tõttu- Põhjendamisvõimega mudelid lisavad välja
reasoning_tokensobjekticompletion_tokens_detailssees - Põhjendamistokeneid arvestatakse väljundhinnaga, kuid need on vastuses nähtamatud – nende osakaal kuludes sõltub ülesandest ja pingutusest, seega mõõda seda
- Optimeeri, võttes ajalugu kokku, kohandades põhjendamise intensiivsust, piirates
max_completion_tokens-i ja valides õige mudeli