Facturare și gestionarea costurilor
Pe această pagină
Înțelegeți pentru ce plătiți
API-ul Responses are un detaliu important de facturare: într-o conversație înlănțuită, vi se facturează istoricul complet, chiar dacă nu îl retrimiteți în mod explicit. Înțelegerea acestui mecanism este esențială pentru controlul costurilor în producție.
Capcana istoricului cumulativ
Cu previous_response_id, serverul reconstruiește automat contextul complet. Acest lucru este convenabil pentru dezvoltator, dar înseamnă că tokenii se acumulează:
| Rând | Mesajul dumneavoastră | Tokeni facturați (input) |
|---|---|---|
| 1 | 50 tokeni | 50 |
| 2 | 30 tokeni + istoricul rândului 1 | 130 |
| 3 | 40 tokeni + istoricul rândurilor 1–2 | 350 |
| 4 | 25 tokeni + istoricul rândurilor 1–3 | 725 |
Creșterea este pătratică. La al 10-lea rând al unei conversații, tokenii de input pot fi de 10 până la 50 de ori mai mari decât mesajul inițial.
Citirea costurilor în răspuns
Fiecare răspuns include un obiect usage cu costul exact:
{
"usage": {
"input_tokens": 450,
"output_tokens": 280,
"total_tokens": 730,
"output_tokens_details": {
"reasoning_tokens": 200
},
"cost_in_nano_usd": 1500000
}
}
cost_in_nano_usd
Câmpul cost_in_nano_usd oferă costul în nano-dolari:
1.000.000.000 nano-USD = 1 USD
Pentru conversie:
cost_usd = response.usage.cost_in_nano_usd / 1_000_000_000
print(f"Cost of this request: ${cost_usd:.6f}")
Tokeni de raționament
Tokenii reasoning_tokens din output_tokens_details sunt facturați la tariful tokenilor de output. Aceștia pot reprezenta între 50% și 80% din tokenii de output la modelele de raționament.
Strategii de optimizare
Limitați lungimea conversației
În loc să înlănțuiți la infinit, faceți rezumate periodic:
# După N rânduri, rezumați și reporniți
if turn_count > 5:
summary = client.responses.create(
model="grok-4.20-0309-reasoning",
input="Summarize this conversation in 3 key points.",
previous_response_id=last_id
)
# Reporniți cu rezumatul ca nou context
new_start = client.responses.create(
model="grok-4.20-0309-reasoning",
instructions=f"Previous context: {summary.output[0].content[0].text}",
input=user_message
)
Alegeți modelul potrivit
Nu toate modelele costă la fel. Pentru sarcini simple, utilizați un model mai puțin puternic (și mai ieftin). Rezervați modelele de raționament pentru probleme complexe.
Controlați max_output_tokens
Limitați outputul când nu aveți nevoie de răspunsuri lungi:
{
"model": "grok-4.20-0309-reasoning",
"input": "Answer in one sentence: what is the capital of Japan?",
"max_output_tokens": 100
}
Utilizați store: false când este posibil
Răspunsurile nestocate nu sunt păstrate pe server. Acest lucru nu reduce costul direct, dar evită acumularea de date inutile.
Urmărirea costurilor în producție
Implementați o urmărire sistematică:
import json
from datetime import datetime
def log_usage(response, user_id, feature):
log_entry = {
"timestamp": datetime.now().isoformat(),
"user_id": user_id,
"feature": feature,
"response_id": response.id,
"model": response.model,
"input_tokens": response.usage.input_tokens,
"output_tokens": response.usage.output_tokens,
"reasoning_tokens": response.usage.output_tokens_details.reasoning_tokens,
"cost_nano_usd": response.usage.cost_in_nano_usd,
"cost_usd": response.usage.cost_in_nano_usd / 1e9
}
# Salvați în sistemul dumneavoastră de logging
save_to_db(log_entry)
Alertă de cost
Configurați praguri de alertă:
MAX_COST_PER_REQUEST = 0.05 # 5 cenți USD
cost = response.usage.cost_in_nano_usd / 1e9
if cost > MAX_COST_PER_REQUEST:
alert(f"Expensive request detected: ${cost:.4f} (user: {user_id})")
Puncte cheie
- Conversațiile înlănțuite facturează istoricul complet la fiecare rând – creștere pătratică
cost_in_nano_usd/ 1 miliard = cost în USD- Tokenii de raționament sunt facturați, dar invizibili în răspuns
- Rezumați conversațiile lungi pentru a limita costurile
- Implementați o urmărire sistematică a costurilor per utilizator și per funcționalitate