max_completion_tokens i budżet tokenów
Na tej stronie
Lekcja przepisana 3 listopada 2026 r. na podstawie dokumentacji API xAI (Chat Completions i Responses), przewodnika Reasoning oraz najlepszych praktyk xAI: parametry
max_completion_tokensimax_output_tokensograniczają wyłącznie widoczną odpowiedź – tokeny rozumowania i tokeny wywołań funkcji nie są wliczane do tego limitu – a ich domyślna wartość to 128 000. Poprzednia wersja twierdziła co innego i ustalała limit w oparciu o rozumowanie; narzucała również parametr effort na modelgrok-4.20-0309-reasoning, który go nie obsługuje. Źródła: Chat Completions · Responses · Reasoning.
Co tak naprawdę ogranicza ten limit
W przypadku modelu rozumującego możesz sądzić, że limit wyjścia dzieli swój budżet między proces myślowy a odpowiedź. W xAI jest zupełnie inaczej. Dokumentacja API jest wyraźna: max_completion_tokens (Chat Completions) i max_output_tokens (Responses API) dotyczą wyłącznie widocznych tokenów odpowiedzi; tokeny rozumowania i tokeny wywołań funkcji nie są zliczane.
max_completion_tokens → tylko widoczna odpowiedź
tokeny rozumowania → poza limitem, sterowane przez effort
Bez podanej wartości limit ten domyślnie wynosi 128 000 tokenów. Co do starego parametru max_tokens, został on wycofany na rzecz max_completion_tokens.
Sterowanie rozumowaniem: effort, a nie limit
Ponieważ limit nie dotyczy rozumowania, to parametr effort reguluje jego ilość. W modelach grok-4.7, grok-4.6 i grok-4.5 parametrem jest reasoning_effort w Chat Completions oraz reasoning.effort w Responses API; domyślnie przyjmuje wartość high, akceptuje low i medium, a od wersji Grok 4.6 również xhigh. Nie można wyłączyć rozumowania.
Model grok-4.20-0309-reasoning nie przyjmuje tego parametru: zawsze przeprowadza rozumowanie, natomiast jego wariant grok-4.20-0309-non-reasoning odpowiada bez niego. W przypadku grok-4.20-multi-agent parametr effort nie ustawia głębokości rozumowania, lecz liczbę uruchamianych agentów (4 lub 16).
response = client.chat.completions.create(
model="grok-4.7",
reasoning_effort="low", # proste zadanie: mało rozumowania
messages=[{"role": "user", "content": "Classify this ticket: billing, access, or bug?"}],
)
print(response.usage.completion_tokens_details.reasoning_tokens)
Liczba tokenów rozumowania pojawia się w statystykach użycia odpowiedzi: usage.completion_tokens_details.reasoning_tokens w Chat Completions oraz usage.output_tokens_details.reasoning_tokens w Responses API. Są one częścią tokenów podlegających opłacie: to właśnie effort, a nie limit wyjścia, wpływa na tę pozycję w rozliczeniu.
Dobieranie limitu wyjścia
Limit służy wyłącznie do ograniczenia długości samej odpowiedzi. Najlepsze praktyki xAI podają prostą zasadę: ustaw go powyżej najdłuższej oczekiwanej odpowiedzi lub pozostaw domyślną wartość 128 000 tokenów. Zbyt niski limit utnie widoczną odpowiedź, niezależnie od wysiłku wkładanego w rozumowanie.
| Oczekiwana odpowiedź | Rozsądny limit wyjścia |
|---|---|
| Etykieta, liczba | kilkadziesiąt tokenów |
| Akapit | od 500 do 1000 tokenów |
| Ustrukturyzowany raport | kilka tysięcy tokenów |
| Brak precyzyjnego pomysłu | wartość domyślna |
Wykrywanie ucinania odpowiedzi
Gdy widoczna odpowiedź osiągnie limit, Chat Completions zwraca "length" w polu finish_reason zamiast "stop", a Responses API zwraca status incomplete. Możesz wykryć tę sytuację i ponowić żądanie z wyższym limitem:
response = client.chat.completions.create(
model="grok-4.7",
messages=[{"role": "user", "content": question}],
max_completion_tokens=2000,
)
if response.choices[0].finish_reason == "length":
# Widoczna odpowiedź została ucięta: ponów z wyższym limitem
response = client.chat.completions.create(
model="grok-4.7",
messages=[{"role": "user", "content": question}],
max_completion_tokens=8000,
)
Nie myl z limitem kontekstu
Limit wyjścia jest niezależny od okna kontekstowego modelu – 500 000 tokenów dla grok-4.7, 1 milion dla grok-4.20-0309-reasoning – które ogranicza całą konwersację. Pamiętaj też, że głębokie żądanie rozumowania może potrwać kilka minut: xAI zaleca przydzielanie co najmniej 900 sekund na żądanie i preferowanie streamingu.
Kluczowe wnioski
max_completion_tokensimax_output_tokensograniczają tylko widoczną odpowiedź: rozumowanie nie wlicza się do tego limitu- Bez podanej wartości limit wyjścia domyślnie wynosi 128 000 tokenów;
max_tokensjest przestarzały - Ilość rozumowania ustawia się przez effort (
reasoning_effortlubreasoning.effort) w modelach od grok-4.5 do 4.7;grok-4.20-0309-reasoningnie posiada tej opcji - Tokeny rozumowania pojawiają się w statystykach użycia i są częścią rozliczenia
- Uciętą odpowiedź wykrywasz po
finish_reason: "length"lub statusieincomplete