Számlázás és költséggazdálkodás
Ezen az oldalon
Értsd meg, miért fizetsz
A Responses API számlázásának van egy fontos részlete: láncolt beszélgetés esetén a teljes előzményt számlázzák, még akkor is, ha nem küldöd vissza explicit módon. E mechanizmus megértése elengedhetetlen a költségek termelési környezetben történő kontrollálásához.
A kumulatív előzmények csapdája
A previous_response_id használatával a szerver automatikusan újraépíti a teljes kontextust. Ez kényelmes a fejlesztő számára, de azt jelenti, hogy a tokenek felhalmozódnak:
| Kör | Üzeneted | Számlázott tokenek (bemenet) |
|---|---|---|
| 1 | 50 token | 50 |
| 2 | 30 token + 1. kör előzménye | 130 |
| 3 | 40 token + 1–2. körök előzménye | 350 |
| 4 | 25 token + 1–3. körök előzménye | 725 |
A növekedés kvadratikus. Egy beszélgetés 10. körére a bemeneti tokenek száma 10–50-szerese lehet az eredeti üzenetednek.
Költségek leolvasása a válaszból
Minden válasz tartalmaz egy usage objektumot a pontos költséggel:
{
"usage": {
"input_tokens": 450,
"output_tokens": 280,
"total_tokens": 730,
"output_tokens_details": {
"reasoning_tokens": 200
},
"cost_in_nano_usd": 1500000
}
}
cost_in_nano_usd
A cost_in_nano_usd mező a költséget nano-dollárban adja meg:
1 000 000 000 nano-USD = 1 USD
Átváltáshoz:
cost_usd = response.usage.cost_in_nano_usd / 1_000_000_000
print(f"Cost of this request: ${cost_usd:.6f}")
Reasoning tokenek
A output_tokens_details alatt található reasoning_tokens a kimeneti tokenek árával vannak számlázva. A reasoning modelleknél ezek a kimeneti tokenek 50–80%-át is kitehetik.
Optimalizálási stratégiák
Beszélgetés hosszának korlátozása
A végtelen láncolás helyett időnként foglalj össze:
# N kör után összefoglalás és újraindítás
if turn_count > 5:
summary = client.responses.create(
model="grok-4.20-0309-reasoning",
input="Summarize this conversation in 3 key points.",
previous_response_id=last_id
)
# Újraindítás az összefoglalóval mint új kontextussal
new_start = client.responses.create(
model="grok-4.20-0309-reasoning",
instructions=f"Previous context: {summary.output[0].content[0].text}",
input=user_message
)
A megfelelő modell kiválasztása
Nem minden modell kerül ugyanannyiba. Egyszerű feladatokhoz használj kevésbé erős (és olcsóbb) modellt. A reasoning modelleket csak komplex problémákra tartogasd.
A max_output_tokens szabályozása
Korlátozd a kimenetet, ha nincs szükséged hosszú válaszokra:
{
"model": "grok-4.20-0309-reasoning",
"input": "Answer in one sentence: what is the capital of Japan?",
"max_output_tokens": 100
}
A store: false használata, amikor lehetséges
A nem tárolt válaszokat a szerver nem őrzi meg. Ez közvetlenül nem csökkenti a költséget, de elkerülhető vele a felesleges adatok felhalmozódása.
Költségek nyomon követése termelési környezetben
Valósíts meg rendszeres nyomon követést:
import json
from datetime import datetime
def log_usage(response, user_id, feature):
log_entry = {
"timestamp": datetime.now().isoformat(),
"user_id": user_id,
"feature": feature,
"response_id": response.id,
"model": response.model,
"input_tokens": response.usage.input_tokens,
"output_tokens": response.usage.output_tokens,
"reasoning_tokens": response.usage.output_tokens_details.reasoning_tokens,
"cost_nano_usd": response.usage.cost_in_nano_usd,
"cost_usd": response.usage.cost_in_nano_usd / 1e9
}
# Mentés a naplózási rendszeredbe
save_to_db(log_entry)
Költségriasztások
Állíts be riasztási küszöbértékeket:
MAX_COST_PER_REQUEST = 0.05 # 5 USD cent
cost = response.usage.cost_in_nano_usd / 1e9
if cost > MAX_COST_PER_REQUEST:
alert(f"Expensive request detected: ${cost:.4f} (user: {user_id})")
Főbb megállapítások
- A láncolt beszélgetéseknél minden körben a teljes előzményt számlázzák – kvadratikus növekedés
cost_in_nano_usd/ 1 milliárd = költség USD-ben- A reasoning tokenek számlázásra kerülnek, de a válaszban nem láthatók
- Foglald össze a hosszú beszélgetéseket a költségek kordában tartása érdekében
- Valósíts meg rendszeres költségnkövetést felhasználónként és funkciónként