Fakturering og omkostningsstyring
På denne side
Forstå, hvad du betaler for
Responses API har en vigtig faktureringsdetalje: I en kædet samtale bliver du opkrævet for hele historikken, selvom du ikke eksplicit videresender den. Det er afgørende at forstå denne mekanisme for at kunne styre dine omkostninger i produktion.
Fælden med kumulativ historik
Med previous_response_id rekonstruerer serveren automatisk den fulde kontekst. Det er praktisk for udvikleren, men det betyder, at tokens ophobes:
| Omgang | Din besked | Fakturerede tokens (input) |
|---|---|---|
| 1 | 50 tokens | 50 |
| 2 | 30 tokens + historik fra omgang 1 | 130 |
| 3 | 40 tokens + historik fra omgang 1–2 | 350 |
| 4 | 25 tokens + historik fra omgang 1–3 | 725 |
Væksten er kvadratisk. Ved den 10. omgang i en samtale kan input-tokens være 10 til 50 gange højere end din oprindelige besked.
Aflæsning af omkostninger i svaret
Hvert svar indeholder et usage-objekt med de nøjagtige omkostninger:
{
"usage": {
"input_tokens": 450,
"output_tokens": 280,
"total_tokens": 730,
"output_tokens_details": {
"reasoning_tokens": 200
},
"cost_in_nano_usd": 1500000
}
}
cost_in_nano_usd
Feltet cost_in_nano_usd angiver omkostningen i nano-dollar:
1.000.000.000 nano-USD = 1 USD
Sådan konverterer du:
cost_usd = response.usage.cost_in_nano_usd / 1_000_000_000
print(f"Cost of this request: ${cost_usd:.6f}")
Reasoning-tokens
reasoning_tokens i output_tokens_details faktureres til taksten for output-tokens. På ræsonnementsmodeller kan de udgøre 50 til 80 % af output-tokens.
Optimeringsstrategier
Begræns samtalelængden
I stedet for at kæde uendeligt videre, bør du opsummere med jævne mellemrum:
# Efter N omgange: opsummer og genstart
if turn_count > 5:
summary = client.responses.create(
model="grok-4.20-0309-reasoning",
input="Summarize this conversation in 3 key points.",
previous_response_id=last_id
)
# Genstart med sammendraget som ny kontekst
new_start = client.responses.create(
model="grok-4.20-0309-reasoning",
instructions=f"Previous context: {summary.output[0].content[0].text}",
input=user_message
)
Vælg den rigtige model
Ikke alle modeller koster det samme. Brug en mindre kraftfuld (og billigere) model til enkle opgaver. Gem ræsonnementsmodellerne til komplekse problemer.
Styr max_output_tokens
Begræns outputtet, når du ikke har brug for lange svar:
{
"model": "grok-4.20-0309-reasoning",
"input": "Answer in one sentence: what is the capital of Japan?",
"max_output_tokens": 100
}
Brug store: false, når det er muligt
Ikke-gemte svar opbevares ikke på serveren. Det reducerer ikke den direkte omkostning, men undgår ophobning af unødvendige data.
Sporing af omkostninger i produktion
Implementér systematisk sporing:
import json
from datetime import datetime
def log_usage(response, user_id, feature):
log_entry = {
"timestamp": datetime.now().isoformat(),
"user_id": user_id,
"feature": feature,
"response_id": response.id,
"model": response.model,
"input_tokens": response.usage.input_tokens,
"output_tokens": response.usage.output_tokens,
"reasoning_tokens": response.usage.output_tokens_details.reasoning_tokens,
"cost_nano_usd": response.usage.cost_in_nano_usd,
"cost_usd": response.usage.cost_in_nano_usd / 1e9
}
# Gem i dit logningssystem
save_to_db(log_entry)
Omkostningsalarmer
Opsæt alarmtærskler:
MAX_COST_PER_REQUEST = 0.05 # 5 USD cent
cost = response.usage.cost_in_nano_usd / 1e9
if cost > MAX_COST_PER_REQUEST:
alert(f"Expensive request detected: ${cost:.4f} (user: {user_id})")
Vigtige pointer
- Kædede samtaler fakturerer hele historikken ved hver omgang – kvadratisk vækst
cost_in_nano_usd/ 1 milliard = omkostning i USD- Reasoning-tokens faktureres, men er usynlige i selve svaret
- Opsummer lange samtaler for at holde omkostningerne nede
- Implementér systematisk omkostningssporing pr. bruger og pr. funktion