Tokenien käyttö ja reasoning_tokens
Tällä sivulla
Päivitetty 3. marraskuuta 2026. xAI Chat Completions API -viitteiden perusteella:
max_tokenson vanhentunut parametrinmax_completion_tokenshyväksi, joka rajoittaa vain näkyvää vastausta. Lähde: Chat Completions.
Ymmärrä tokenien laskutus
Jokainen Chat Completions API -pyyntö laskutetaan kulutettujen tokenien määrän perusteella. Vastauksen mukana tuleva usage-objekti antaa tarkan lukumäärän, mikä on välttämätöntä kustannusten seurantaan, kehotteiden optimointiin ja API-budjetin mitoittamiseen.
Standardi usage-objekti
Tässä on jokaisen vastauksen mukana palautettavan usage-objektin rakenne:
{
"usage": {
"prompt_tokens": 127,
"completion_tokens": 342,
"total_tokens": 469
}
}
Kolme peruslaskuria
prompt_tokens: pyyntösi tokenien määrä (järjestelmäviesti + historia + uusi viesti). Tämä on laskutuksen “syöte”-puoli.completion_tokens: mallin vastauksessaan tuottamien tokenien määrä. Tämä on “tuloste”-puoli.total_tokens: kahden edellisen summa. Tämä on tästä pyynnöstä veloitettava kokonaismäärä.
Historian vaikutus kustannuksiin
Koska päätepiste on tilaton, historia lähetetään jokaisen pyynnön mukana. Tämä tarkoittaa, että prompt_tokens kasvaa jokaisella vuorovaikutuskerralla:
Kerta 1 : prompt_tokens = 50 (järjestelmä + 1 käyttäjäviesti)
Kerta 2 : prompt_tokens = 150 (järjestelmä + 2 käyttäjää + 1 avustaja)
Kerta 3 : prompt_tokens = 300 (järjestelmä + 3 käyttäjää + 2 avustajaa)
Kerta 10: prompt_tokens = 1500 (järjestelmä + 10 käyttäjää + 9 avustajaa)
Pitkissä keskusteluissa historian kustannukset voivat nopeasti ylittää itse vastauksen kustannukset.
reasoning_tokens: ominainen päättelymalleille
Päättelykyvyillä varustetut Grok-mallit (kuten grok-4.20-0309-reasoning) lisäävät usage-objektiin ylimääräisen kentän:
{
"usage": {
"prompt_tokens": 127,
"completion_tokens": 892,
"total_tokens": 1019,
"completion_tokens_details": {
"reasoning_tokens": 550
}
}
}
Mitä reasoning_tokens ovat?
reasoning_tokens edustavat tokenien määrää, jonka malli käyttää sisäiseen päättelyyn – eli “ajatteluun”, jota se tekee ennen lopullisen vastauksen tuottamista. Nämä tokenit generoidaan, mutta niitä ei näy vastauksen content-kentässä.
Yllä olevassa esimerkissä:
- Malli tuotti yhteensä 892 tokenia (
completion_tokens) - Näistä 550 oli sisäisiä päättelytokeneja (
reasoning_tokens) - Jäljelle jäi 342 näkyvää vastauksen tokenia (892 - 550)
Miksi tämä on tärkeää
Päättelytokenit laskutetaan kuten normaalit tulostetokenit. Päättelymallin kohdalla näkyvä vastaus voi edustaa vain murto-osaa kokonaiskustannuksista:
usage = response.usage
visible_tokens = usage.completion_tokens - usage.completion_tokens_details.reasoning_tokens
reasoning_tokens = usage.completion_tokens_details.reasoning_tokens
print(f"Visible tokens: {visible_tokens}")
print(f"Reasoning tokens: {reasoning_tokens}")
print(f"Reasoning ratio: {reasoning_tokens / usage.completion_tokens * 100:.0f}%")
Ei ole epätavallista, että päättelytokenit muodostavat 50–80 % tulostetokeneista monimutkaisissa kysymyksissä.
Kustannusten optimointistrategiat
Vähennä prompt_tokens-määrää
- Tiivistä historiaa: älä lähetä koko keskustelua, vaan tiivistä vanhemmat vaiheet
- Rajoita järjestelmäviestiä: 500 tokenin järjestelmäkehote on harvoin tarpeen – tavoittele 100–200 tokenia
- Suodata viestejä: lähetä vain nykyisen kysymyksen kannalta oleelliset vaiheet
Hallitse completion_tokens-määrää
- Käytä parametria
max_completion_tokens(max_tokenson vanhentunut): se rajoittaa näkyvää vastausta, ei päättelyä - Määritä muotoilu: “Vastaa kolmella lauseella” maksaa vähemmän kuin “Selitä yksityiskohtaisesti”
- Valitse oikea malli: ei-päättelymalli on edullisempi, jos tehtävä ei vaadi monimutkaista ajattelua
Seuraa kustannuksia tuotannossa
import json
def log_usage(response, requete_id: str):
usage = response.usage
log = {
"id": requete_id,
"prompt": usage.prompt_tokens,
"completion": usage.completion_tokens,
"total": usage.total_tokens,
}
if hasattr(usage, "completion_tokens_details") and usage.completion_tokens_details:
log["reasoning"] = usage.completion_tokens_details.reasoning_tokens
print(json.dumps(log))
Keskeiset asiat
usage-objekti sisältää kentätprompt_tokens,completion_tokensjatotal_tokensprompt_tokenskasvaa jokaisella vuorovaikutuskerralla lähetetyn historian vuoksi- Päättelymallit lisäävät
reasoning_tokens-kentän kohtaancompletion_tokens_details - Päättelytokenit laskutetaan tulosten hinnalla, mutta ne ovat näkymättömiä vastauksessa – niiden osuus kustannuksista riippuu tehtävästä ja vaivannäöstä, joten mittaa se
- Optimoi tiivistämällä historiaa, säätämällä päättelyn määrää, rajoittamalla
max_completion_tokens-arvoa ja valitsemalla oikean mallin