Fakturering och kostnadshantering
På denna sida
Förstå vad du betalar för
Responses API har en viktig detalj gällande fakturering: i en kedjad konversation debiteras du för hela historiken, även om du inte uttryckligen skickar den på nytt. Att förstå denna mekanism är avgörande för att kontrollera dina kostnader i produktion.
Fällan med kumulativ historik
Med previous_response_id återskapar servern automatiskt hela kontexten. Detta är bekvämt för utvecklaren, men det innebär att token ackumuleras:
| Varv | Ditt meddelande | Debiterade token (inmatning) |
|---|---|---|
| 1 | 50 token | 50 |
| 2 | 30 token + historik från varv 1 | 130 |
| 3 | 40 token + historik från varv 1–2 | 350 |
| 4 | 25 token + historik från varv 1–3 | 725 |
Tillväxten är kvadratisk. Vid det tionde varvet i en konversation kan antalet inmatningstoken vara 10 till 50 gånger högre än ditt första meddelande.
Läsa kostnader i svaret
Varje svar inkluderar ett usage-objekt med den exakta kostnaden:
{
"usage": {
"input_tokens": 450,
"output_tokens": 280,
"total_tokens": 730,
"output_tokens_details": {
"reasoning_tokens": 200
},
"cost_in_nano_usd": 1500000
}
}
cost_in_nano_usd
Fältet cost_in_nano_usd anger kostnaden i nanodollar:
1 000 000 000 nano-USD = 1 USD
För att konvertera:
cost_usd = response.usage.cost_in_nano_usd / 1_000_000_000
print(f"Cost of this request: ${cost_usd:.6f}")
Resonemangstoken (Reasoning Tokens)
reasoning_tokens i output_tokens_details debiteras till samma pris som utmatningstoken. De kan stå för 50 till 80 % av utmatningstoken på resonemangsmodeller.
Optimeringsstrategier
Begränsa konversationslängden
Istället för att kedja oändligt, sammanfatta då och då:
# Efter N varv, sammanfatta och starta om
if turn_count > 5:
summary = client.responses.create(
model="grok-4.20-0309-reasoning",
input="Summarize this conversation in 3 key points.",
previous_response_id=last_id
)
# Starta om med sammanfattningen som ny kontext
new_start = client.responses.create(
model="grok-4.20-0309-reasoning",
instructions=f"Previous context: {summary.output[0].content[0].text}",
input=user_message
)
Välj rätt modell
Alla modeller kostar inte lika mycket. För enkla uppgifter bör du använda en mindre kraftfull (och billigare) modell. Spara resonemangsmodeller för komplexa problem.
Styr max_output_tokens
Begränsa utmatningen när du inte behöver långa svar:
{
"model": "grok-4.20-0309-reasoning",
"input": "Answer in one sentence: what is the capital of Japan?",
"max_output_tokens": 100
}
Använd store: false när det är möjligt
Svar som inte lagras sparas inte på servern. Detta minskar inte den direkta kostnaden, men undviker ackumulering av onödig data.
Spåra kostnader i produktion
Implementera systematisk spårning:
import json
from datetime import datetime
def log_usage(response, user_id, feature):
log_entry = {
"timestamp": datetime.now().isoformat(),
"user_id": user_id,
"feature": feature,
"response_id": response.id,
"model": response.model,
"input_tokens": response.usage.input_tokens,
"output_tokens": response.usage.output_tokens,
"reasoning_tokens": response.usage.output_tokens_details.reasoning_tokens,
"cost_nano_usd": response.usage.cost_in_nano_usd,
"cost_usd": response.usage.cost_in_nano_usd / 1e9
}
# Spara till ditt loggningssystem
save_to_db(log_entry)
Kostnadslarm
Ställ in tröskelvärden för larm:
MAX_COST_PER_REQUEST = 0.05 # 5 USD cent
cost = response.usage.cost_in_nano_usd / 1e9
if cost > MAX_COST_PER_REQUEST:
alert(f"Expensive request detected: ${cost:.4f} (user: {user_id})")
Viktiga punkter
- Kedjade konversationer debiterar för hela historiken vid varje varv – kvadratisk tillväxt
cost_in_nano_usd/ 1 miljard = kostnad i USD- Resonemangstoken debiteras men syns inte i svaret
- Sammanfatta långa konversationer för att hålla kostnaderna nere
- Implementera systematisk kostnadsspårning per användare och per funktion