Naudojimas tokenais ir reasoning_tokens
Šiame puslapyje
Atnaujinta 2026 m. lapkričio 3 d. Remiantis xAI Chat Completions API dokumentacija:
max_tokensyra pasenęs ir pakeistas įmax_completion_tokens, kuris riboja tik matomą atsakymą. Šaltinis: Chat Completions.
Supraskite atsiskaitymą už tokenus
Už kiekvieną užklausą Chat Completions API yra atsiskaitoma pagal sunaudotų tokenų skaičių. Atsakyme esantis usage objektas pateikia tikslų skaičių, kuris yra būtinas stebint išlaidas, optimizuojant užklausas ir planuojant API biudžetus.
Standartinis usage objektas
Štai usage objekto, grąžinamo su kiekvienu atsakymu, struktūra:
{
"usage": {
"prompt_tokens": 127,
"completion_tokens": 342,
"total_tokens": 469
}
}
Trys pagrindiniai skaitikliai
prompt_tokens: tokenų skaičius jūsų užklausoje (sistemos žinutė + istorija + nauja žinutė). Tai „įvesties“ pusė atsiskaitymui.completion_tokens: modelio sugeneruotų tokenų skaičius atsakyme. Tai „išvesties“ pusė.total_tokens: dviejų precedingių suma. Tai bendra suma, už kurią atsiskaitoma už šią užklausą.
Istorijos įtaka išlaidoms
Kadangi galinis taškas (endpoint) neturi būsenos, istorija siunčiama su kiekviena užklausa. Tai reiškia, kad prompt_tokens didėja su kiekvienu apsikeitimu:
Apsikeitimas 1 : prompt_tokens = 50 (sistema + 1 naudotojo žinutė)
Apsikeitimas 2 : prompt_tokens = 150 (sistema + 2 naudotojo + 1 asistento)
Apsikeitimas 3 : prompt_tokens = 300 (sistema + 3 naudotojo + 2 asistento)
Apsikeitimas 10: prompt_tokens = 1500 (sistema + 10 naudotojo + 9 asistento)
Ilguose pokalbiuose istorijos kaina gali greitai viršyti paties atsakymo kainą.
reasoning_tokens: būdinga samprotavimo modeliams
Grok modeliai, turintys samprotavimo gebėjimų (pvz., grok-4.20-0309-reasoning), į usage objektą įtraukia papildomą lauką:
{
"usage": {
"prompt_tokens": 127,
"completion_tokens": 892,
"total_tokens": 1019,
"completion_tokens_details": {
"reasoning_tokens": 550
}
}
}
Kas yra reasoning_tokens?
reasoning_tokens reiškia tokenus, kuriuos modelis naudoja savo vidiniam samprotavimui – tai „mąstymas“, kurį jis atlieka prieš pateikdamas galutinį atsakymą. Šie tokenai yra sugeneruojami, tačiau nematomi atsakymo content lauke.
Pirmiau pateiktame pavyzdyje:
- Modelis iš viso sugeneravo 892 tokenus (
completion_tokens) - Įskaitant 550 vidinių samprotavimo tokenų (
reasoning_tokens) - Liko 342 matomi atsakymo tokenai (892 - 550)
Kodėl tai svarbu
Samprotavimo tokenai yra apmokestinami taip pat kaip ir įprasti išvesties tokenai. Samprotavimo modeliui matomas atsakymas gali sudaryti tik dalį visos kainos:
usage = response.usage
visible_tokens = usage.completion_tokens - usage.completion_tokens_details.reasoning_tokens
reasoning_tokens = usage.completion_tokens_details.reasoning_tokens
print(f"Visible tokens: {visible_tokens}")
print(f"Reasoning tokens: {reasoning_tokens}")
print(f"Reasoning ratio: {reasoning_tokens / usage.completion_tokens * 100:.0f}%")
Nėra neįprasta, kad sudėtingoms užklausoms samprotavimo tokenai sudarytų 50–80 % visų išvesties tokenų.
Išlaidų optimizavimo strategijos
Sumažinkite prompt_tokens
- Apibendrinkite istoriją: vietoj viso pokalbio siuntimo, apibendrinkite senesnius apsikeitimus
- Apribokite sistemos žinutę: 500 tokenų sistemos užklausa retai kada būtina – siekite 100–200 tokenų
- Filtruokite žinutes: siųskite tik tuos apsikeitimus, kurie yra aktualūs dabartiniam klausimui
Valdykite completion_tokens
- Naudokite
max_completion_tokens(max_tokensyra pasenęs): tai riboja matomą atsakymą, bet ne samprotavimą - Nurodykite formatą: „Atsakykite 3 sakiniais“ kainuoja mažiau nei „Paaiškinkite išsamiai“
- Pasirinkite tinkamą modelį: nesamprotuojantis modelis yra pigesnis, jei užduotis nereikalauja sudėtingo mąstymo
Stebėkite išlaidas gamyboje
import json
def log_usage(response, requete_id: str):
usage = response.usage
log = {
"id": requete_id,
"prompt": usage.prompt_tokens,
"completion": usage.completion_tokens,
"total": usage.total_tokens,
}
if hasattr(usage, "completion_tokens_details") and usage.completion_tokens_details:
log["reasoning"] = usage.completion_tokens_details.reasoning_tokens
print(json.dumps(log))
Svarbiausi punktai
usageobjekte yraprompt_tokens,completion_tokensirtotal_tokensprompt_tokensdidėja su kiekvienu apsikeitimu dėl siunčiamos istorijos- Samprotavimo modeliai prideda
reasoning_tokenslaukącompletion_tokens_details - Samprotavimo tokenai apmokestinami išvesties tarifu, bet yra nematomi atsakyme – jų dalis kainoje priklauso nuo užduoties ir pastangų, todėl ją reikia matuoti
- Optimizuokite apibendrindami istoriją, reguliuodami samprotavimo intensyvumą, ribodami
max_completion_tokensir pasirinkdami tinkamą modelį