Naplaćivanje i upravljanje troškovima
Na ovoj stranici
Razumijevanje onoga za što plaćaš
Responses API ima važnu pojedinost vezanu uz naplatu: u lančanom razgovoru naplaćuje ti se cijela povijest, čak i ako je eksplicitno ne pošalješ ponovno. Razumijevanje ovog mehanizma ključno je za kontrolu tvojih troškova u produkciji.
Zamka kumulativne povijesti
Korištenjem previous_response_id, poslužitelj automatski rekonstruira puni kontekst. To je zgodno za programera, ali znači da se tokeni akumuliraju:
| Okret | Tvoja poruka | Naplaćeni tokeni (ulaz) |
|---|---|---|
| 1 | 50 tokena | 50 |
| 2 | 30 tokena + povijest 1. okreta | 130 |
| 3 | 40 tokena + povijest 1.–2. okreta | 350 |
| 4 | 25 tokena + povijest 1.–3. okreta | 725 |
Rast je kvadratan. Do 10. okreta razgovora, ulazni tokeni mogu biti 10 do 50 puta veći od tvoje početne poruke.
Čitanje troškova u odgovoru
Svaki odgovor uključuje objekt usage s točnim troškom:
{
"usage": {
"input_tokens": 450,
"output_tokens": 280,
"total_tokens": 730,
"output_tokens_details": {
"reasoning_tokens": 200
},
"cost_in_nano_usd": 1500000
}
}
cost_in_nano_usd
Polje cost_in_nano_usd daje trošak u nano-dolarima:
1.000.000.000 nano-USD = 1 USD
Za pretvorbu:
cost_usd = response.usage.cost_in_nano_usd / 1_000_000_000
print(f"Trošak ovog zahtjeva: ${cost_usd:.6f}")
Tokeni za rezoniranje
reasoning_tokens u output_tokens_details naplaćuju se po stopi izlaznih tokena. Oni mogu činiti 50 do 80% izlaznih tokena na modelima za rezoniranje.
Strategije optimizacije
Ograniči duljinu razgovora
Umjesto beskrajnog lančanja, povremeno sažimaj sadržaj:
# Nakon N okreta, sažmi i ponovno pokreni
if turn_count > 5:
summary = client.responses.create(
model="grok-4.20-0309-reasoning",
input="Summarize this conversation in 3 key points.",
previous_response_id=last_id
)
# Ponovno pokreni sa sažetkom kao novim kontekstom
new_start = client.responses.create(
model="grok-4.20-0309-reasoning",
instructions=f"Previous context: {summary.output[0].content[0].text}",
input=user_message
)
Odaberi pravi model
Nisu svi modeli jednako skupi. Za jednostavne zadatke koristi manje snažan (i jeftiniji) model. Modelе za rezoniranje čuvaj za složene probleme.
Kontroliraj max_output_tokens
Ograniči izlaz kada ti nisu potrebni dugi odgovori:
{
"model": "grok-4.20-0309-reasoning",
"input": "Answer in one sentence: what is the capital of Japan?",
"max_output_tokens": 100
}
Koristi store: false kada je moguće
Nepohranjeni odgovori ne zadržavaju se na poslužitelju. To ne smanjuje izravni trošak, ali izbjegava akumulaciju nepotrebnih podataka.
Praćenje troškova u produkciji
Implementiraj sustavno praćenje:
import json
from datetime import datetime
def log_usage(response, user_id, feature):
log_entry = {
"timestamp": datetime.now().isoformat(),
"user_id": user_id,
"feature": feature,
"response_id": response.id,
"model": response.model,
"input_tokens": response.usage.input_tokens,
"output_tokens": response.usage.output_tokens,
"reasoning_tokens": response.usage.output_tokens_details.reasoning_tokens,
"cost_nano_usd": response.usage.cost_in_nano_usd,
"cost_usd": response.usage.cost_in_nano_usd / 1e9
}
# Spremi u svoj sustav za bilježenje
save_to_db(log_entry)
Upozorenja o troškovima
Postavi pragove za upozorenja:
MAX_COST_PER_REQUEST = 0.05 # 5 USD centi
cost = response.usage.cost_in_nano_usd / 1e9
if cost > MAX_COST_PER_REQUEST:
alert(f"Detektiran skup zahtjev: ${cost:.4f} (korisnik: {user_id})")
Ključne točke
- Lančani razgovori naplaćuju cijelu povijest u svakom okretu – kvadratan rast
cost_in_nano_usd/ 1 milijarda = trošak u USD- Tokeni za rezoniranje se naplaćuju, ali su nevidljivi u odgovoru
- Sažimaj duge razgovore kako bi obuzdao troškove
- Implementiraj sustavno praćenje troškova po korisniku i po funkcionalnosti