Arveldamine ja kulude haldamine
Sellel lehel
Mõista, mille eest sa maksad
Responses API-l on üks oluline arveldusdetail: aheldatud vestluses arveldatakse sulle kogu ajalugu, isegi kui sa seda otseselt uuesti ei saada. Selle mehhanismi mõistmine on hädavajalik sinu kulude kontrollimiseks tootmiskeskkonnas.
Kumuleeruva ajaloo lõks
Kasutades previous_response_id, rekonstrueerib server automaatselt kogu konteksti. See on arendajale mugav, kuid tähendab, et tokenid kuhjuvad:
| Voor | Sinu sõnum | Arveldatud tokenid (sisend) |
|---|---|---|
| 1 | 50 tokenit | 50 |
| 2 | 30 tokenit + 1. vooru ajalugu | 130 |
| 3 | 40 tokenit + 1.–2. vooru ajalugu | 350 |
| 4 | 25 tokenit + 1.–3. vooru ajalugu | 725 |
Kasv on ruutkeskmine. Vestluse 10. vooruks võib sisendtokenite arv olla 10 kuni 50 korda suurem kui sinu esialgses sõnumis.
Kulude lugemine vastuses
Iga vastus sisaldab objekti usage täpse kuluga:
{
"usage": {
"input_tokens": 450,
"output_tokens": 280,
"total_tokens": 730,
"output_tokens_details": {
"reasoning_tokens": 200
},
"cost_in_nano_usd": 1500000
}
}
cost_in_nano_usd
Väli cost_in_nano_usd annab kulu nano-dollarites:
1 000 000 000 nano-USD = 1 USD
Teisendamiseks:
cost_usd = response.usage.cost_in_nano_usd / 1_000_000_000
print(f"Cost of this request: ${cost_usd:.6f}")
Põhjendustokenid
Väljas output_tokens_details olevad reasoning_tokens arveldatakse väljundtokenite hinnaga. Põhjendusmudelitel võivad need moodustada 50–80% väljundtokenitest.
Optimeerimisstrateegiad
Piira vestluse pikkust
Selle asemel, et lõputult aheldada, tee perioodiliselt kokkuvõtteid:
# After N turns, summarize and restart
if turn_count > 5:
summary = client.responses.create(
model="grok-4.20-0309-reasoning",
input="Summarize this conversation in 3 key points.",
previous_response_id=last_id
)
# Restart with the summary as the new context
new_start = client.responses.create(
model="grok-4.20-0309-reasoning",
instructions=f"Previous context: {summary.output[0].content[0].text}",
input=user_message
)
Vali õige mudel
Kõik mudelid ei maksa sama palju. Lihtsate ülesannete jaoks kasuta vähem võimsat (ja odavamat) mudelit. Jäta põhjendusmudelid keerukate probleemide lahendamiseks.
Kontrolli max_output_tokens
Piira väljundit, kui sa ei vaja pikki vastuseid:
{
"model": "grok-4.20-0309-reasoning",
"input": "Answer in one sentence: what is the capital of Japan?",
"max_output_tokens": 100
}
Kasuta võimalusel store: false
Salvestamata vastuseid serveris ei hoita. See ei vähenda otsest kulu, kuid hoiab ära ebavajalike andmete kuhjumise.
Kulude jälgimine tootmiskeskkonnas
Rakenda süstemaatiline jälgimine:
import json
from datetime import datetime
def log_usage(response, user_id, feature):
log_entry = {
"timestamp": datetime.now().isoformat(),
"user_id": user_id,
"feature": feature,
"response_id": response.id,
"model": response.model,
"input_tokens": response.usage.input_tokens,
"output_tokens": response.usage.output_tokens,
"reasoning_tokens": response.usage.output_tokens_details.reasoning_tokens,
"cost_nano_usd": response.usage.cost_in_nano_usd,
"cost_usd": response.usage.cost_in_nano_usd / 1e9
}
# Save to your logging system
save_to_db(log_entry)
Kuluhoiatused
Seadista hoiatuse läved:
MAX_COST_PER_REQUEST = 0.05 # 5 USD cents
cost = response.usage.cost_in_nano_usd / 1e9
if cost > MAX_COST_PER_REQUEST:
alert(f"Expensive request detected: ${cost:.4f} (user: {user_id})")
Peamised punktid
- Aheldatud vestlustes arveldatakse igas voorus kogu ajalugu – kasv on ruutkeskmine
cost_in_nano_usd/ 1 miljard = kulu USD-des- Põhjendustokenid arveldatakse, kuid ei ole vastuses nähtavad
- Tee pikkadest vestlustest kokkuvõtteid, et kulusid ohjata
- Rakenda süstemaatiline kulude jälgimine kasutaja ja funktsiooni lõikes