Pāriet uz galveno saturu
Latviešu— Izvēlēties valodu
Izvēlne

Tokenu izmantošana un reasoning_tokens

Nodarbība 9 no 12 Atjaunota 2026. gada 3. novembris Programmētājs
Šajā lapā
  1. Izprasti tokenu tarifikāciju
  2. Standarta usage objekts
  3. reasoning_tokens: specifiski spriešanas modeļiem
  4. Izmaksu optimizācijas stratēģijas
  5. Galvenās atziņas

Atjaunināts 2026. gada 3. novembrī. Pamatojoties uz xAI Chat Completions API atsauces dokumentāciju: max_tokens ir novecojis par labu max_completion_tokens, kas ierobežo tikai redzamo atbildi. Avots: Chat Completions.

Izprasti tokenu tarifikāciju

Par katru pieprasījumu Chat Completions API tiek piemērota maksa, pamatojoties patērēto tokenu skaitu. Atbildē esošais usage objekts sniedz precīzu skaitli, kas ir būtisks izmaksu uzraudzībai, promptu optimizēšanai un API budžeta plānošanai.

Standarta usage objekts

Lūk, kāda izskatās usage objekta struktūra, kas tiek atgriezta ar katru atbildi:

{
  "usage": {
    "prompt_tokens": 127,
    "completion_tokens": 342,
    "total_tokens": 469
  }
}

Trīs pamata skaitītāji

  • prompt_tokens: tokenu skaits tavā pieprasījumā (sistēmas ziņojums + vēsture + jaunais ziņojums). Šī ir tarifikācijas „ievades” puse.
  • completion_tokens: modeļa ģenerēto tokenu skaits tā atbildē. Šī ir „izvades” puse.
  • total_tokens: abu iepriekšējo summa. Šī ir kopējā maksa par šo pieprasījumu.

Vēstures ietekme uz izmaksām

Tā kā galapunkts ir bezstāvokļa (stateless), vēsture tiek nosūtīta ar katru pieprasījumu. Tas nozīmē, ka prompt_tokens skaits pieaug ar katru apmaiņu:

Apmaiņa 1 : prompt_tokens = 50   (sistēma + 1 lietotāja ziņojums)
Apmaiņa 2 : prompt_tokens = 150  (sistēma + 2 lietotāja + 1 asistenta)
Apmaiņa 3 : prompt_tokens = 300  (sistēma + 3 lietotāja + 2 asistenta)
Apmaiņa 10: prompt_tokens = 1500 (sistēma + 10 lietotāja + 9 asistenta)

Garās sarunās vēstures izmaksas var ātri pārsniegt pašas atbildes izmaksas.

reasoning_tokens: specifiski spriešanas modeļiem

Grok modeļiem ar spriešanas iespējām (piemēram, grok-4.20-0309-reasoning) usage objektam tiek pievienots papildu lauks:

{
  "usage": {
    "prompt_tokens": 127,
    "completion_tokens": 892,
    "total_tokens": 1019,
    "completion_tokens_details": {
      "reasoning_tokens": 550
    }
  }
}

Kas ir reasoning_tokens?

reasoning_tokens apzīmē tokenus, ko modelis izmanto savai iekšējai spriešanai — „domāšanas” procesam, ko tas veic pirms gala atbildes ģenerēšanas. Šie tokeni tiek ģenerēti, bet tie neparādās atbildes content laukā.

Iepriekšējā piemērā:

  • Modelis kopā ģenerēja 892 tokenus (completion_tokens)
  • No tiem 550 bija iekšējie spriešanas tokeni (reasoning_tokens)
  • Atlikušie 342 bija redzamie atbildes tokeni (892 - 550)

Kāpēc tas ir svarīgi

Spriešanas tokeni tiek tarificēti tāpat kā parastie izvades tokeni. Spriešanas modelim redzamā atbilde var veidot tikai daļu no kopējām izmaksām:

usage = response.usage

visible_tokens = usage.completion_tokens - usage.completion_tokens_details.reasoning_tokens
reasoning_tokens = usage.completion_tokens_details.reasoning_tokens

print(f"Visible tokens: {visible_tokens}")
print(f"Reasoning tokens: {reasoning_tokens}")
print(f"Reasoning ratio: {reasoning_tokens / usage.completion_tokens * 100:.0f}%")

Nav nekas neparasts, ka sarežģītos jautājumos spriešanas tokeni veido 50 līdz 80% no visiem completion_tokens.

Izmaksu optimizācijas stratēģijas

Samazini prompt_tokens

  • Apkopoj vēsturi: visa sarunas nosūtīšanas vietā apkopo vecākas apmaiņas
  • Ierobežo sistēmas ziņojumu: 500 tokenu sistēmas prompts reti ir nepieciešams — tiecies uz 100–200 tokeniem
  • Filtrē ziņojumus: nosūti tikai tās apmaiņas, kas ir būtiskas konkrētajam jautājumam

Kontrolē completion_tokens

  • Izmanto max_completion_tokens (max_tokens ir novecojis): tas ierobežo redzamo atbildi, nevis spriešanu
  • Norādi formātu: „Atbildi 3 teikumos” maksā mazāk nekā „Paskaidro detalizēti”
  • Izvēlies pareizo modeli: ja uzdevums neprasa sarežģītu domāšanu, nespriešanas modelis ir lētāks

Uzraugi izmaksas ražošanas vidē

import json

def log_usage(response, requete_id: str):
    usage = response.usage
    log = {
        "id": requete_id,
        "prompt": usage.prompt_tokens,
        "completion": usage.completion_tokens,
        "total": usage.total_tokens,
    }
    if hasattr(usage, "completion_tokens_details") and usage.completion_tokens_details:
        log["reasoning"] = usage.completion_tokens_details.reasoning_tokens

    print(json.dumps(log))

Galvenās atziņas

  • usage objekts satur prompt_tokens, completion_tokens un total_tokens
  • prompt_tokens pieaug ar katru apmaiņu nosūtītās vēstures dēļ
  • Spriešanas modeļi pievieno reasoning_tokens laukā completion_tokens_details
  • Spriešanas tokeni tiek tarificēti pēc izvades likmes, bet atbildē tie nav redzami — to īpatsvars izmaksās ir atkarīgs no uzdevuma un piepūles, tāpēc to ir jāmēra
  • Optimizē, apkopojot vēsturi, pielāgojot spriešanas piepūli, ierobežojot max_completion_tokens un izvēloties piemērotāko modeli