Token-Nutzung und reasoning_tokens
Auf dieser Seite
Aktualisiert am 3. November 2026. Basierend auf der xAI Chat-Completions-API-Referenz:
max_tokenswird durchmax_completion_tokensersetzt, das nur die sichtbare Antwort begrenzt. Quelle: Chat-Completions.
Token-Berechnung verstehen
Jede Anfrage an die Chat-Completions-API wird basierend auf der Anzahl der verbrauchten Tokens berechnet. Das usage-Objekt in der Antwort liefert eine genaue Anzahl, die für die Kostenüberwachung, die Optimierung von Prompts und die Dimensionierung Ihrer API-Budgets unerlässlich ist.
Das Standard-Usage-Objekt
Hier ist die Struktur des usage-Objekts, das mit jeder Antwort zurückgegeben wird:
{
"usage": {
"prompt_tokens": 127,
"completion_tokens": 342,
"total_tokens": 469
}
}
Die drei Grundzähler
prompt_tokens: Anzahl der Tokens in Ihrer Anfrage (Systemnachricht + Verlauf + neue Nachricht). Dies ist die „Eingabe”-Seite der Abrechnung.completion_tokens: Anzahl der Tokens, die vom Modell in seiner Antwort generiert wurden. Dies ist die „Ausgabe”-Seite.total_tokens: Summe der beiden vorherigen Werte. Dies ist die für diese Anfrage insgesamt berechnete Menge.
Einfluss des Verlaufs auf die Kosten
Da der Endpunkt zustandslos ist, wird der Verlauf mit jeder Anfrage gesendet. Das bedeutet, dass prompt_tokens mit jedem Austausch zunimmt:
Austausch 1 : prompt_tokens = 50 (System + 1 Benutzernachricht)
Austausch 2 : prompt_tokens = 150 (System + 2 Benutzer + 1 Assistent)
Austausch 3 : prompt_tokens = 300 (System + 3 Benutzer + 2 Assistent)
Austausch 10: prompt_tokens = 1500 (System + 10 Benutzer + 9 Assistent)
Bei langen Gesprächen können die Kosten für den Verlauf schnell die Kosten für die eigentliche Antwort übersteigen.
reasoning_tokens: Spezifisch für Modelle mit Nachdenkfähigkeit
Grok-Modelle mit Nachdenkfähigkeit (wie grok-4.20-0309-reasoning) fügen dem usage-Objekt ein zusätzliches Feld hinzu:
{
"usage": {
"prompt_tokens": 127,
"completion_tokens": 892,
"total_tokens": 1019,
"completion_tokens_details": {
"reasoning_tokens": 550
}
}
}
Was sind reasoning_tokens?
reasoning_tokens stellen die Tokens dar, die das Modell für sein internes Nachdenken verwendet – das „Denken”, das es vor der Erzeugung seiner endgültigen Antwort durchführt. Diese Tokens werden generiert, sind aber nicht im content-Feld der Antwort sichtbar.
Im obigen Beispiel:
- Das Modell hat insgesamt 892 Tokens generiert (
completion_tokens) - Davon sind 550 interne Nachdenktokens (
reasoning_tokens) - Davon bleiben 342 sichtbare Antworttokens (892 - 550)
Warum dies wichtig ist
Nachdenktokens werden berechnet wie normale Completion-Tokens. Bei einem Modell mit Nachdenkfähigkeit kann die sichtbare Antwort nur einen Bruchteil der Gesamtkosten darstellen:
usage = response.usage
visible_tokens = usage.completion_tokens - usage.completion_tokens_details.reasoning_tokens
reasoning_tokens = usage.completion_tokens_details.reasoning_tokens
print(f"Sichtbare Tokens: {visible_tokens}")
print(f"Nachdenktokens: {reasoning_tokens}")
print(f"Nachdenkanteil: {reasoning_tokens / usage.completion_tokens * 100:.0f}%")
Es ist nicht ungewöhnlich, dass Nachdenktokens bei komplexen Fragen 50 bis 80 % der Completion-Tokens ausmachen.
Strategien zur Kostenoptimierung
Reduzierung von prompt_tokens
- Verlauf zusammenfassen: Senden Sie statt des gesamten Gesprächs Zusammenfassungen älterer Austausche
- Systemnachricht begrenzen: Ein System-Prompt von 500 Tokens ist selten notwendig – streben Sie 100–200 Tokens an
- Nachrichten filtern: Senden Sie nur Austausche, die für die aktuelle Frage relevant sind
Kontrolle von completion_tokens
- Verwenden Sie
max_completion_tokens(max_tokensist veraltet): Dies begrenzt die sichtbare Antwort, nicht das Nachdenken - Format angeben: „Beantworten Sie in 3 Sätzen” kostet weniger als „Erklären Sie im Detail”
- Passendes Modell wählen: Ein Modell ohne Nachdenkfähigkeit ist günstiger, wenn die Aufgabe kein komplexes Nachdenken erfordert
Kostenüberwachung in der Produktion
import json
def log_usage(response, requete_id: str):
usage = response.usage
log = {
"id": requete_id,
"prompt": usage.prompt_tokens,
"completion": usage.completion_tokens,
"total": usage.total_tokens,
}
if hasattr(usage, "completion_tokens_details") and usage.completion_tokens_details:
log["reasoning"] = usage.completion_tokens_details.reasoning_tokens
print(json.dumps(log))
Kernaussagen
- Das
usage-Objekt enthältprompt_tokens,completion_tokensundtotal_tokens prompt_tokensnehmen mit jedem Austausch zu, da der Verlauf gesendet wird- Modelle mit Nachdenkfähigkeit fügen
reasoning_tokensincompletion_tokens_detailshinzu - Nachdenktokens werden zum Ausgabe-Tarif berechnet, sind aber in der Antwort unsichtbar – ihr Anteil an den Kosten hängt von der Aufgabe und dem Aufwand ab, daher messen Sie ihn
- Optimieren Sie durch Zusammenfassung des Verlaufs, Anpassung des Nachdenkaufwands, Begrenzung von
max_completion_tokensund Wahl des richtigen Modells