Tokenu izmantošana un reasoning_tokens
Šajā lapā
Atjaunināts 2026. gada 3. novembrī. Pamatojoties uz xAI Chat Completions API atsauces dokumentāciju:
max_tokensir novecojis par labumax_completion_tokens, kas ierobežo tikai redzamo atbildi. Avots: Chat Completions.
Izprasti tokenu tarifikāciju
Par katru pieprasījumu Chat Completions API tiek piemērota maksa, pamatojoties patērēto tokenu skaitu. Atbildē esošais usage objekts sniedz precīzu skaitli, kas ir būtisks izmaksu uzraudzībai, promptu optimizēšanai un API budžeta plānošanai.
Standarta usage objekts
Lūk, kāda izskatās usage objekta struktūra, kas tiek atgriezta ar katru atbildi:
{
"usage": {
"prompt_tokens": 127,
"completion_tokens": 342,
"total_tokens": 469
}
}
Trīs pamata skaitītāji
prompt_tokens: tokenu skaits tavā pieprasījumā (sistēmas ziņojums + vēsture + jaunais ziņojums). Šī ir tarifikācijas „ievades” puse.completion_tokens: modeļa ģenerēto tokenu skaits tā atbildē. Šī ir „izvades” puse.total_tokens: abu iepriekšējo summa. Šī ir kopējā maksa par šo pieprasījumu.
Vēstures ietekme uz izmaksām
Tā kā galapunkts ir bezstāvokļa (stateless), vēsture tiek nosūtīta ar katru pieprasījumu. Tas nozīmē, ka prompt_tokens skaits pieaug ar katru apmaiņu:
Apmaiņa 1 : prompt_tokens = 50 (sistēma + 1 lietotāja ziņojums)
Apmaiņa 2 : prompt_tokens = 150 (sistēma + 2 lietotāja + 1 asistenta)
Apmaiņa 3 : prompt_tokens = 300 (sistēma + 3 lietotāja + 2 asistenta)
Apmaiņa 10: prompt_tokens = 1500 (sistēma + 10 lietotāja + 9 asistenta)
Garās sarunās vēstures izmaksas var ātri pārsniegt pašas atbildes izmaksas.
reasoning_tokens: specifiski spriešanas modeļiem
Grok modeļiem ar spriešanas iespējām (piemēram, grok-4.20-0309-reasoning) usage objektam tiek pievienots papildu lauks:
{
"usage": {
"prompt_tokens": 127,
"completion_tokens": 892,
"total_tokens": 1019,
"completion_tokens_details": {
"reasoning_tokens": 550
}
}
}
Kas ir reasoning_tokens?
reasoning_tokens apzīmē tokenus, ko modelis izmanto savai iekšējai spriešanai — „domāšanas” procesam, ko tas veic pirms gala atbildes ģenerēšanas. Šie tokeni tiek ģenerēti, bet tie neparādās atbildes content laukā.
Iepriekšējā piemērā:
- Modelis kopā ģenerēja 892 tokenus (
completion_tokens) - No tiem 550 bija iekšējie spriešanas tokeni (
reasoning_tokens) - Atlikušie 342 bija redzamie atbildes tokeni (892 - 550)
Kāpēc tas ir svarīgi
Spriešanas tokeni tiek tarificēti tāpat kā parastie izvades tokeni. Spriešanas modelim redzamā atbilde var veidot tikai daļu no kopējām izmaksām:
usage = response.usage
visible_tokens = usage.completion_tokens - usage.completion_tokens_details.reasoning_tokens
reasoning_tokens = usage.completion_tokens_details.reasoning_tokens
print(f"Visible tokens: {visible_tokens}")
print(f"Reasoning tokens: {reasoning_tokens}")
print(f"Reasoning ratio: {reasoning_tokens / usage.completion_tokens * 100:.0f}%")
Nav nekas neparasts, ka sarežģītos jautājumos spriešanas tokeni veido 50 līdz 80% no visiem completion_tokens.
Izmaksu optimizācijas stratēģijas
Samazini prompt_tokens
- Apkopoj vēsturi: visa sarunas nosūtīšanas vietā apkopo vecākas apmaiņas
- Ierobežo sistēmas ziņojumu: 500 tokenu sistēmas prompts reti ir nepieciešams — tiecies uz 100–200 tokeniem
- Filtrē ziņojumus: nosūti tikai tās apmaiņas, kas ir būtiskas konkrētajam jautājumam
Kontrolē completion_tokens
- Izmanto
max_completion_tokens(max_tokensir novecojis): tas ierobežo redzamo atbildi, nevis spriešanu - Norādi formātu: „Atbildi 3 teikumos” maksā mazāk nekā „Paskaidro detalizēti”
- Izvēlies pareizo modeli: ja uzdevums neprasa sarežģītu domāšanu, nespriešanas modelis ir lētāks
Uzraugi izmaksas ražošanas vidē
import json
def log_usage(response, requete_id: str):
usage = response.usage
log = {
"id": requete_id,
"prompt": usage.prompt_tokens,
"completion": usage.completion_tokens,
"total": usage.total_tokens,
}
if hasattr(usage, "completion_tokens_details") and usage.completion_tokens_details:
log["reasoning"] = usage.completion_tokens_details.reasoning_tokens
print(json.dumps(log))
Galvenās atziņas
usageobjekts saturprompt_tokens,completion_tokensuntotal_tokensprompt_tokenspieaug ar katru apmaiņu nosūtītās vēstures dēļ- Spriešanas modeļi pievieno
reasoning_tokenslaukācompletion_tokens_details - Spriešanas tokeni tiek tarificēti pēc izvades likmes, bet atbildē tie nav redzami — to īpatsvars izmaksās ir atkarīgs no uzdevuma un piepūles, tāpēc to ir jāmēra
- Optimizē, apkopojot vēsturi, pielāgojot spriešanas piepūli, ierobežojot
max_completion_tokensun izvēloties piemērotāko modeli