Zużycie tokenów i reasoning_tokens
Na tej stronie
Zaktualizowano 3 listopada 2026 r. Na podstawie dokumentacji referencyjnej API Chat Completions od xAI: parametr
max_tokensjest przestarzały na rzeczmax_completion_tokens, który ogranicza wyłącznie widoczną odpowiedź. Źródło: Chat Completions.
Zrozumienie rozliczania tokenów
Każde żądanie wysłane do API Chat Completions jest rozliczane na podstawie liczby zużytych tokenów. Obiekt usage w odpowiedzi zawiera dokładne liczby, co jest kluczowe dla monitorowania kosztów, optymalizacji promptów i planowania budżetu na korzystanie z API.
Standardowy obiekt usage
Oto struktura obiektu usage zwracanego z każdą odpowiedzią:
{
"usage": {
"prompt_tokens": 127,
"completion_tokens": 342,
"total_tokens": 469
}
}
Trzy podstawowe liczniki
prompt_tokens: liczba tokenów w Twoim żądaniu (wiadomość systemowa + historia + nowa wiadomość). To strona „wejściowa“ rozliczeń.completion_tokens: liczba tokenów wygenerowanych przez model w odpowiedzi. To strona „wyjściowa“.total_tokens: suma dwóch poprzednich wartości. To całkowity koszt rozliczany za to żądanie.
Wpływ historii na koszty
Ponieważ punkt końcowy (endpoint) jest bezstanowy, historia jest wysyłana z każdym żądaniem. Oznacza to, że prompt_tokens rośnie z każdą wymianą zdań:
Wymiana 1 : prompt_tokens = 50 (system + 1 wiadomość użytkownika)
Wymiana 2 : prompt_tokens = 150 (system + 2 użytkownik + 1 asystent)
Wymiana 3 : prompt_tokens = 300 (system + 3 użytkownik + 2 asystent)
Wymiana 10: prompt_tokens = 1500 (system + 10 użytkownik + 9 asystent)
W przypadku długich rozmów koszt przesłania historii może szybko przekroczyć koszt samej odpowiedzi.
reasoning_tokens: specyficzne dla modeli rozumujących
Modele Grok wyposażone w zdolności rozumowania (takie jak grok-4.20-0309-reasoning) dodają dodatkowe pole do obiektu usage:
{
"usage": {
"prompt_tokens": 127,
"completion_tokens": 892,
"total_tokens": 1019,
"completion_tokens_details": {
"reasoning_tokens": 550
}
}
}
Czym są reasoning_tokens?
reasoning_tokens reprezentują tokeny zużyte przez model do wewnętrznego rozumowania – czyli „myślenia“, które wykonuje przed wygenerowaniem ostatecznej odpowiedzi. Tokeny te są generowane, ale nie są widoczne w polu content odpowiedzi.
W powyższym przykładzie:
- Model wygenerował łącznie 892 tokeny (
completion_tokens) - W tym 550 tokenów wewnętrznego rozumowania (
reasoning_tokens) - Pozostawiając 342 tokeny widocznej odpowiedzi (892 - 550)
Dlaczego to ma znaczenie
Tokeny rozumowania są rozliczane tak samo jak zwykłe tokeny wyjściowe (completion). W przypadku modelu rozumującego widoczna odpowiedź może stanowić jedynie ułamek całkowitego kosztu:
usage = response.usage
visible_tokens = usage.completion_tokens - usage.completion_tokens_details.reasoning_tokens
reasoning_tokens = usage.completion_tokens_details.reasoning_tokens
print(f"Visible tokens: {visible_tokens}")
print(f"Reasoning tokens: {reasoning_tokens}")
print(f"Reasoning ratio: {reasoning_tokens / usage.completion_tokens * 100:.0f}%")
Nie jest niczym niezwykłym, że tokeny rozumowania stanowią od 50% do 80% tokenów wyjściowych w przypadku złożonych pytań.
Strategie optymalizacji kosztów
Redukcja prompt_tokens
- Streszczaj historię: zamiast wysyłać całą konwersację, streszcz starsze wymiany zdań
- Ogranicz wiadomość systemową: prompt systemowy na 500 tokenów rzadko jest konieczny – celuj w 100–200 tokenów
- Filtruj wiadomości: wysyłaj tylko te wymiany, które są istotne dla bieżącego pytania
Kontrola completion_tokens
- Użyj
max_completion_tokens(max_tokensjest przestarzałe): ogranicza to widoczną odpowiedź, a nie proces rozumowania - Określ format: „Odpowiedz w 3 zdaniach“ kosztuje mniej niż „Wyjaśnij szczegółowo“
- Wybierz właściwy model: model nierozumujący jest tańszy, jeśli zadanie nie wymaga złożonego myślenia
Monitorowanie kosztów w środowisku produkcyjnym
import json
def log_usage(response, requete_id: str):
usage = response.usage
log = {
"id": requete_id,
"prompt": usage.prompt_tokens,
"completion": usage.completion_tokens,
"total": usage.total_tokens,
}
if hasattr(usage, "completion_tokens_details") and usage.completion_tokens_details:
log["reasoning"] = usage.completion_tokens_details.reasoning_tokens
print(json.dumps(log))
Kluczowe wnioski
- Obiekt
usagezawiera polaprompt_tokens,completion_tokensoraztotal_tokens prompt_tokensrośnie z każdą wymianą zdań ze względu na przesyłaną historię- Modele rozumujące dodają pole
reasoning_tokenswewnątrzcompletion_tokens_details - Tokeny rozumowania są rozliczane według stawki wyjściowej, ale są niewidoczne w odpowiedzi – ich udział w koszcie zależy od zadania i wysiłku, więc warto go mierzyć
- Optymalizuj koszty, streszczając historię, dostosowując wysiłek rozumowania, ograniczając
max_completion_tokensi wybierając odpowiedni model