Kuluväljad vastustes
Sellel lehel
Jälgi kulusid reaalajas
Iga Grok API vastus sisaldab detaile just tehtud kulude kohta. Paljud meeskonnad avastavad selle info liiga hilja, kui saabub igakuine arve, kuigi see on saadaval iga päringu kohta algusest peale. Kasutades seda integratsiooni algusest, märkad kõrvalekaldeid tunni jooksul pärast nende tekkimist: süsteemne vihje, mis pärast deployd kahekordistus, halvasti seadistatud kordus-tsükkel, mis kordab samu väljakutseid, või kontekst, mis ületab arveldusläve. Ilma selle jälgimiseta jäävad need intsidendid nähtamatuks kuni arve saabumiseni.
Objekt usage
Iga vastus sisaldab objekti usage, mis kirjeldab tokenite tarbimist ja sellega seotud kulu:
{
"usage": {
"prompt_tokens": 1250,
"completion_tokens": 340,
"total_tokens": 1590,
"cached_tokens": 800,
"cost_in_usd_ticks": 5000000000,
"cost_in_nano_usd": 500000000
}
}
Neli loendamisvälja tähendavad järgmist.
| Väli | Tähendus |
|---|---|
prompt_tokens | sisendtokenite arv (sinu täielik vihje) |
completion_tokens | väljundtokenite arv (mudeli vastus) |
total_tokens | sisendi ja väljundi tokenite summa |
cached_tokens | vahemälust serveeritud sisendtokenid |
Üks detail hoiab ära levinud vea: cached_tokens on kaasatud väljale prompt_tokens, mitte ei lisata sellele. Ülaltoodud näites sisenes mudelisse 1250 tokenit, 800 neist tuli vahemälust ja ainult 450 arveldati täishinnaga. Kui sinu agregaator liidab mõlemad väljad, loeb ta vahemälu osa topelt ja paisutab kunstlikult sinu mahustatistikat.
Kaks skaalat sama kulu jaoks
Päringu kulu esitatakse kahes täisarvulises ühikus. See valik pole juhuslik: murdosa sentide väljendamine ujukomaarvudes toob kaasa ümardusvead, mis muutuvad nähtavaks miljoneid väljakutseid agregeerides. Täisarvud väldivad seda probleemi täielikult.
Väli cost_in_usd_ticks loeb „tikkides“, kus ühe dollari kohta on 10 miljardit tikki. Väärtus 5 000 000 000 näites vastab seega 0,50 $-le ja üks miljon tikki võrdub 0,0001 $-ga. Teisendus mahub ühte ritta:
cost_usd = cost_in_usd_ticks / 10_000_000_000
Väli cost_in_nano_usd loeb nanodollarites, kus ühe dollari kohta on üks miljard nanodollarit. Väärtus 500 000 000 näites tähistab sama summat, 0,50 $, ja tuhat nanodollarit võrdub 0,000001 $-ga. Teisendus järgib sama loogikat:
cost_usd = cost_in_nano_usd / 1_000_000_000
Mõlemad väljad kirjeldavad sama summat erinevates skaalades. cost_in_nano_usd on intuitiivsem käsitleda, samas kui cost_in_usd_ticks pakub veidi suuremat täpsust. Vali üks ja püsi selle juures kogu oma mõõtmisahelas: mõlema segamine samas agregeeringus on kindlaim viis saada ebajärjekindlaid summasid.
Ehita kulude jälgija
Tootmises piisab ühest akumulaatorist, et muuta need väljad armatuurlauaks. Allpool olev klass salvestab iga usage objekti ja avaldab kumulatiivse kulu koos vahemälu määraga:
class CostTracker:
def __init__(self):
self.total_nano_usd = 0
self.requests = 0
self.input_tokens = 0
self.output_tokens = 0
self.cached_tokens = 0
def record(self, usage):
self.total_nano_usd += usage.get("cost_in_nano_usd", 0)
self.requests += 1
self.input_tokens += usage.get("prompt_tokens", 0)
self.output_tokens += usage.get("completion_tokens", 0)
self.cached_tokens += usage.get("cached_tokens", 0)
@property
def total_cost_usd(self):
return self.total_nano_usd / 1_000_000_000
@property
def cache_rate(self):
if self.input_tokens == 0:
return 0
return self.cached_tokens / self.input_tokens
Järgnevalt lisa läved total_cost_usd jaoks. Esimene lävi 80% juures päevaeelarvest käivitab tehnilisele meeskonnale informatiivse hoiatuse; teine 95% juures muutub kriitiliseks hoiatuseks, mis nõuab inimlikku otsust; 100% juures rakendus katkestab automaatselt mittekriitilised päringud – batch-tööd, eelarvutused, edasilükatud rikastamised – ja lubab ainult otsest kasutajaliiklust. See sujuv degradeerumine on parem kui ootamatu teenuse seiskumine tipptunnil.
Analüüsi vahemälu määra
Omadus cache_rate väärib omaette armatuurlauda, kuna see peegeldab otseselt sinu vihje struktuuri kvaliteeti.
| Vahemälu määr | Tõlgendus |
|---|---|
| 0 kuni 20% | efektiivset vahemälu pole, vaata vihje struktuur üle |
| 20 kuni 50% | osaline vahemälu, kontrolli süsteemsete vihjete stabiilsust |
| 50 kuni 80% | hea määr vestluste jaoks |
| 80% ja enam | suurepärane, tüüpiline pikkadele ja stabiilsetele vihjetele |
Määr, mis langeb ühest nädalast teise järsult, on peaaegu alati märk deploy’st, mis tõi vihje algusesse muutuja. Järgmine tund kirjeldab mehhanismi; praegu pea meeles, et see näitaja on sama väärtuslik taandarengu indikaator kui veamäär.
Hinnad seisuga 5. august 2026 – hinnad muutuvad regulaarselt: enne eelarve arvutamist kontrolli kehtivat hinnakirja xAI ametlikul mudelite ja hindade lehel.
Peamised punktid
- Iga API vastus sisaldab objekti
usagekoos tokenite detailide ja kuluga cost_in_usd_ticks: 10 miljardit tikki = 1 USDcost_in_nano_usd: 1 miljard nanodollarit = 1 USD- Väli
cached_tokensmõõdab vahemälu efektiivsust - Ehita tootmisse kulude jälgija eelarve hoiatustega