Spring til hovedindhold
Dansk— Vælg et sprog
Menu

Fakturering og omkostningsstyring

Lektion 14 af 16 Opdateret 30. juli 2026 Udvikler
På denne side
  1. Forstå, hvad du betaler for
  2. Fælden med kumulativ historik
  3. Aflæsning af omkostninger i svaret
  4. Optimeringsstrategier
  5. Sporing af omkostninger i produktion
  6. Omkostningsalarmer
  7. Vigtige pointer

Forstå, hvad du betaler for

Responses API har en vigtig faktureringsdetalje: I en kædet samtale bliver du opkrævet for hele historikken, selvom du ikke eksplicit videresender den. Det er afgørende at forstå denne mekanisme for at kunne styre dine omkostninger i produktion.

Fælden med kumulativ historik

Med previous_response_id rekonstruerer serveren automatisk den fulde kontekst. Det er praktisk for udvikleren, men det betyder, at tokens ophobes:

OmgangDin beskedFakturerede tokens (input)
150 tokens50
230 tokens + historik fra omgang 1130
340 tokens + historik fra omgang 1–2350
425 tokens + historik fra omgang 1–3725

Væksten er kvadratisk. Ved den 10. omgang i en samtale kan input-tokens være 10 til 50 gange højere end din oprindelige besked.

Aflæsning af omkostninger i svaret

Hvert svar indeholder et usage-objekt med de nøjagtige omkostninger:

{
  "usage": {
    "input_tokens": 450,
    "output_tokens": 280,
    "total_tokens": 730,
    "output_tokens_details": {
      "reasoning_tokens": 200
    },
    "cost_in_nano_usd": 1500000
  }
}

cost_in_nano_usd

Feltet cost_in_nano_usd angiver omkostningen i nano-dollar:

1.000.000.000 nano-USD = 1 USD

Sådan konverterer du:

cost_usd = response.usage.cost_in_nano_usd / 1_000_000_000
print(f"Cost of this request: ${cost_usd:.6f}")

Reasoning-tokens

reasoning_tokens i output_tokens_details faktureres til taksten for output-tokens. På ræsonnementsmodeller kan de udgøre 50 til 80 % af output-tokens.

Optimeringsstrategier

Begræns samtalelængden

I stedet for at kæde uendeligt videre, bør du opsummere med jævne mellemrum:

# Efter N omgange: opsummer og genstart
if turn_count > 5:
    summary = client.responses.create(
        model="grok-4.20-0309-reasoning",
        input="Summarize this conversation in 3 key points.",
        previous_response_id=last_id
    )
    # Genstart med sammendraget som ny kontekst
    new_start = client.responses.create(
        model="grok-4.20-0309-reasoning",
        instructions=f"Previous context: {summary.output[0].content[0].text}",
        input=user_message
    )

Vælg den rigtige model

Ikke alle modeller koster det samme. Brug en mindre kraftfuld (og billigere) model til enkle opgaver. Gem ræsonnementsmodellerne til komplekse problemer.

Styr max_output_tokens

Begræns outputtet, når du ikke har brug for lange svar:

{
  "model": "grok-4.20-0309-reasoning",
  "input": "Answer in one sentence: what is the capital of Japan?",
  "max_output_tokens": 100
}

Brug store: false, når det er muligt

Ikke-gemte svar opbevares ikke på serveren. Det reducerer ikke den direkte omkostning, men undgår ophobning af unødvendige data.

Sporing af omkostninger i produktion

Implementér systematisk sporing:

import json
from datetime import datetime

def log_usage(response, user_id, feature):
    log_entry = {
        "timestamp": datetime.now().isoformat(),
        "user_id": user_id,
        "feature": feature,
        "response_id": response.id,
        "model": response.model,
        "input_tokens": response.usage.input_tokens,
        "output_tokens": response.usage.output_tokens,
        "reasoning_tokens": response.usage.output_tokens_details.reasoning_tokens,
        "cost_nano_usd": response.usage.cost_in_nano_usd,
        "cost_usd": response.usage.cost_in_nano_usd / 1e9
    }
    # Gem i dit logningssystem
    save_to_db(log_entry)

Omkostningsalarmer

Opsæt alarmtærskler:

MAX_COST_PER_REQUEST = 0.05  # 5 USD cent

cost = response.usage.cost_in_nano_usd / 1e9
if cost > MAX_COST_PER_REQUEST:
    alert(f"Expensive request detected: ${cost:.4f} (user: {user_id})")

Vigtige pointer

  • Kædede samtaler fakturerer hele historikken ved hver omgang – kvadratisk vækst
  • cost_in_nano_usd / 1 milliard = omkostning i USD
  • Reasoning-tokens faktureres, men er usynlige i selve svaret
  • Opsummer lange samtaler for at holde omkostningerne nede
  • Implementér systematisk omkostningssporing pr. bruger og pr. funktion