Sąskaitų faktūrų išrašymas ir išlaidų valdymas
Šiame puslapyje
Suprask, už ką mokai
„Responses“ API turi svarbią sąskaitų faktūrų išrašymo detalę: grandininio pokalbio metu tau išrašoma sąskaita už visą istoriją, net jei jos aiškiai nebesiunči iš naujo. Šio mechanizmo supratimas yra būtinas norint kontroliuoti savo išlaidas gamybinėje aplinkoje.
Kumuliacinės istorijos spąstai
Naudojant previous_response_id, serveris automatiškai atkuria visą kontekstą. Tai patogu kūrėjui, tačiau tai reiškia, kad tokenai kaupiasi:
| Ėjimas | Tavo žinutė | Apmokestinami tokenai (įvestis) |
|---|---|---|
| 1 | 50 tokenų | 50 |
| 2 | 30 tokenų + 1-ojo ėjimo istorija | 130 |
| 3 | 40 tokenų + 1–2 ėjimų istorija | 350 |
| 4 | 25 tokenų + 1–3 ėjimų istorija | 725 |
Augimas yra kvadratinis. Dešimtojo pokalbio ėjimo metu įvesties tokenų skaičius gali būti 10–50 kartų didesnis nei tavo pradinėje žinutėje.
Išlaidų skaitymas atsakyme
Kiekviename atsakyme pateikiamas usage objektas su tiksliomis išlaidomis:
{
"usage": {
"input_tokens": 450,
"output_tokens": 280,
"total_tokens": 730,
"output_tokens_details": {
"reasoning_tokens": 200
},
"cost_in_nano_usd": 1500000
}
}
cost_in_nano_usd
Laukas cost_in_nano_usd nurodo išlaidas nano-doleriais:
1 000 000 000 nano-USD = 1 USD
Konvertavimui:
cost_usd = response.usage.cost_in_nano_usd / 1_000_000_000
print(f"Cost of this request: ${cost_usd:.6f}")
Samprotavimo tokenai
output_tokens_details esantys reasoning_tokens apmokestinami išvesties tokenų tarifu. Samprotavimo modeliuose jie gali sudaryti 50–80 % visų išvesties tokenų.
Optimizavimo strategijos
Apribok pokalbio trukmę
Užuot grandinę tęsęs be galo, periodiškai apibendrink:
# Po N ėjimų apibendrink ir pradėk iš naujo
if turn_count > 5:
summary = client.responses.create(
model="grok-4.20-0309-reasoning",
input="Summarize this conversation in 3 key points.",
previous_response_id=last_id
)
# Pradėk iš naujo naudodamas santrauką kaip naują kontekstą
new_start = client.responses.create(
model="grok-4.20-0309-reasoning",
instructions=f"Previous context: {summary.output[0].content[0].text}",
input=user_message
)
Pasirink tinkamą modelį
Ne visi modeliai kainuoja vienodai. Paprastoms užduotims naudok mažiau galingą (ir pigesnį) modelį. Samprotavimo modelius palik sudėtingoms problemoms spręsti.
Valdyk max_output_tokens
Apribok išvestį, kai tau nereikia ilgų atsakymų:
{
"model": "grok-4.20-0309-reasoning",
"input": "Answer in one sentence: what is the capital of Japan?",
"max_output_tokens": 100
}
Kai įmanoma, naudok store: false
Neišsaugoti atsakymai serveryje nelaikomi. Tai tiesioginių išlaidų nemažina, tačiau padeda išvengti nereikalingų duomenų kaupimo.
Išlaidų stebėjimas gamybinėje aplinkoje
Įdiek sistemingą stebėjimą:
import json
from datetime import datetime
def log_usage(response, user_id, feature):
log_entry = {
"timestamp": datetime.now().isoformat(),
"user_id": user_id,
"feature": feature,
"response_id": response.id,
"model": response.model,
"input_tokens": response.usage.input_tokens,
"output_tokens": response.usage.output_tokens,
"reasoning_tokens": response.usage.output_tokens_details.reasoning_tokens,
"cost_nano_usd": response.usage.cost_in_nano_usd,
"cost_usd": response.usage.cost_in_nano_usd / 1e9
}
# Įrašyk į savo registravimo sistemą
save_to_db(log_entry)
Išlaidų įspėjimai
Nustatyk įspėjimų slenkstines reikšmes:
MAX_COST_PER_REQUEST = 0.05 # 5 USD centai
cost = response.usage.cost_in_nano_usd / 1e9
if cost > MAX_COST_PER_REQUEST:
alert(f"Expensive request detected: ${cost:.4f} (user: {user_id})")
Svarbiausi punktai
- Grandininiai pokalbiai apmokestinami už visą istoriją kiekvieno ėjimo metu – augimas kvadratinis
cost_in_nano_usd/ 1 milijardas = išlaidos USD- Samprotavimo tokenai apmokestinami, tačiau atsakyme nematomi
- Ilgus pokalbius apibendrink, kad suvaldytum išlaidas
- Įdiek sistemingą išlaidų stebėjimą pagal vartotoją ir funkciją