Obračunavanje in upravljanje stroškov
Na tej strani
Razumevanje, za kaj plačuješ
API Responses ima pomembno podrobnost pri obračunavanju: v verižnem pogovoru se zaračuna celotna zgodovina, tudi če je eksplicitno ne pošlješ znova. Razumevanje tega mehanizma je ključno za nadzor stroškov v proizvodnem okolju.
Past kumulativne zgodovine
S parametrom previous_response_id strežnik samodejno rekonstruira celoten kontekst. To je za razvijalca priročno, vendar pomeni, da se žetoni kopičijo:
| Krog | Tvoje sporočilo | Zaračunani žetoni (vhod) |
|---|---|---|
| 1 | 50 žetonov | 50 |
| 2 | 30 žetonov + zgodovina 1. kroga | 130 |
| 3 | 40 žetonov + zgodovina 1.–2. kroga | 350 |
| 4 | 25 žetonov + zgodovina 1.–3. kroga | 725 |
Rast je kvadratna. Do 10. kroga pogovora so vhodni žetoni lahko 10- do 50-krat višji od vašega začetnega sporočila.
Branje stroškov v odgovoru
Vsak odgovor vključuje predmet usage z natančnim stroškom:
{
"usage": {
"input_tokens": 450,
"output_tokens": 280,
"total_tokens": 730,
"output_tokens_details": {
"reasoning_tokens": 200
},
"cost_in_nano_usd": 1500000
}
}
cost_in_nano_usd
Polje cost_in_nano_usd podaja strošek v nano-dolarjih:
1.000.000.000 nano-USD = 1 USD
Za pretvorbo:
cost_usd = response.usage.cost_in_nano_usd / 1_000_000_000
print(f"Strošek tega zahtevka: ${cost_usd:.6f}")
Žetoni za razmišljanje
reasoning_tokens v output_tokens_details se zaračunajo po tarifi za izhodne žetone. Pri modelih za razmišljanje lahko predstavljajo 50 do 80 % izhodnih žetonov.
Strategije optimizacije
Omejitev dolžine pogovora
Namesto neskončnega veriženja občasno povzemi:
# Po N krogih povzemi in začni znova
if turn_count > 5:
summary = client.responses.create(
model="grok-4.20-0309-reasoning",
input="Povzemi ta pogovor v 3 ključnih točkah.",
previous_response_id=last_id
)
# Ponovni zagon s povzetkom kot novim kontekstom
new_start = client.responses.create(
model="grok-4.20-0309-reasoning",
instructions=f"Prejšnji kontekst: {summary.output[0].content[0].text}",
input=user_message
)
Izbira pravega modela
Vsi modeli ne stanejo enako. Za preproste naloge uporabi manj zmogljiv (in cenejši) model. Modele za razmišljanje prihrani za kompleksne probleme.
Nadzor max_output_tokens
Omeji izhod, ko ne potrebuješ dolgih odgovorov:
{
"model": "grok-4.20-0309-reasoning",
"input": "Odgovori v enem stavku: kaj je glavno mesto Japonske?",
"max_output_tokens": 100
}
Uporaba store: false, kadar je mogoče
Neshranjeni odgovori se ne hranijo na strežniku. To ne zmanjša neposrednega stroška, vendar preprečuje kopičenje nepotrebnih podatkov.
Sledenje stroškom v proizvodnji
Vzpostavi sistematično sledenje:
import json
from datetime import datetime
def log_usage(response, user_id, feature):
log_entry = {
"timestamp": datetime.now().isoformat(),
"user_id": user_id,
"feature": feature,
"response_id": response.id,
"model": response.model,
"input_tokens": response.usage.input_tokens,
"output_tokens": response.usage.output_tokens,
"reasoning_tokens": response.usage.output_tokens_details.reasoning_tokens,
"cost_nano_usd": response.usage.cost_in_nano_usd,
"cost_usd": response.usage.cost_in_nano_usd / 1e9
}
# Shrani v svoj sistem beleženja
save_to_db(log_entry)
Opozorila o stroških
Nastavi pragove za opozarjanje:
MAX_COST_PER_REQUEST = 0.05 # 5 USD centov
cost = response.usage.cost_in_nano_usd / 1e9
if cost > MAX_COST_PER_REQUEST:
alert(f"Zaznan drag zahtevek: ${cost:.4f} (uporabnik: {user_id})")
Ključne ugotovitve
- Verižni pogovori zaračunajo celotno zgodovino pri vsakem krogu – kvadratna rast
cost_in_nano_usd/ 1 milijarda = strošek v USD- Žetoni za razmišljanje se zaračunajo, vendar v odgovoru niso vidni
- Dolge pogovore povzemaj, da obdržiš stroške pod nadzorom
- Vzpostavi sistematično sledenje stroškov na uporabnika in funkcijo