Kontroluj wysiłek rozumowania: od ChatGPT do API
Na tej stronie
Dostosowywanie refleksji do każdego zadania
Lekcje od 1 do 3 dostarczyły Ci mapy ustawień i wytycznych OpenAI. Ta lekcja przechodzi do sterowania: jak dostosowywać wysiłek w trakcie pracy, zarządzać jego kosztem i automatyzować go w aplikacji. Zasada pozostaje niezmienna: poziom rozumowania to kompromis, a nie suwak jakości. Wpływa on jednocześnie na cztery zmienne: liczbę tokenów rozumowania, czas odpowiedzi, głębię analizy oraz zużycie limitu lub koszt.
W ChatGPT: ustawienie dla każdej wiadomości
W czacie suwak Myślenie dla modelu GPT-6 dostosowuje się do każdej wiadomości: możesz pozostać na poziomie „Natychmiastowe“, aby przeformułować treść, przełączyć się na „Wysokie“ do analizy, a następnie zmniejszyć intensywność. Wyższe poziomy korzystają z limitów specyficznych dla Twojego planu; gdy osiągniesz limit, ChatGPT może kontynuować rozmowę, używając innego dostępnego modelu, i – jeśli to możliwe – poinformuje, kiedy limit zostanie zresetowany. W środowiskach Work i Codex suwak mocy pełni tę samą rolę, ranging od „Szybsze“ do „Mądrzejsze“, przy czym opcje „Maksymalne“ i „Ultra“ są trzymane w rezerwie. Najlepszą praktyką w obu przypadkach jest rozpoczęcie od ustawienia domyślnego i zwiększanie go tylko wtedy, gdy wynik jest niewystarczający.
W API: pięć dźwigni
Dla deweloperów pięć parametrów w API Responses daje pełną kontrolę nad rozumowaniem:
reasoning.effortustawia poziom, odnonedomaxw zależności od modelu: GPT-6 Astra i GPT-6.1 Sol zaczynają odlow, podczas gdy GPT-6.1 Terra i GPT-6 Luna akceptująnone.reasoning.mode, domyślniestandardlubpro, zmusza model do cięższej pracy bez zmiany poziomu wysiłku; ta dodatkowa praca jest rozliczana według standardowej stawki modelu, ale zużywa więcej tokenów.max_output_tokensogranicza całkowitą liczbę wygenerowanych tokenów, wliczając w to rozumowanie. Ustawienie zbyt niskiej wartości skutkuje niekompletnymi odpowiedziami; OpenAI zaleca zarezerwowanie co najmniej 25 000 tokenów na początku eksperymentów.reasoning.summaryżąda podsumowania procesu rozumowania, ponieważ surowe dane rozumowania nigdy nie są udostępniane.configuration_update, element wstawiany między dwie odpowiedzi, zmienia poziom wysiłku w trakcie rozmowy w kompatybilnych modelach GPT-6 bez naruszania ustawień początkowego żądania: prefiks promptu pozostaje nienaruszony, a pamięć podręczna promptu (prompt cache) nadal działa.
Oto jak wygląda ten ostatni element, wstawiany przed następną wiadomością użytkownika:
{
"type": "configuration_update",
"reasoning": { "effort": "high" }
}
Rozmowa rozpoczęta na poziomie low przechodzi tym samym na high dla następnej odpowiedzi i kolejnych, aż do wystąpienia kolejnej aktualizacji.
Wpływ na koszty
Tokeny rozumowania są rozliczane jako tokeny wyjściowe, a ich liczba rośnie szybko wraz z poziomem: od kilku setek do dziesiątek tysięcy w przypadku trudnego problemu. Wybór modelu ma równie duże znaczenie: za token wyjściowy GPT-6 Luna kosztuje dwadzieścia razy mniej niż GPT-6.1 Sol, a GPT-6 Astra kosztuje pięć razy więcej. W ChatGPT koszt przekłada się na limity: liczbę wymagających żądań możliwych do wykonania w danym okresie.
Trzy strategie optymalizacji
Pierwszą jest eskalacja: nie zaczynaj od najwyższego poziomu. Rozpocznij od poziomu domyślnego, medium w API, lub niższego dla trywialnego zadania; jeśli odpowiedź jest niekompletna lub niepoprawna, podnieś poziom o jeden stopień; zarezerwuj xhigh, max, tryb pro, Max i Ultra dla problemów, które tego uzasadniają. W aplikacji configuration_update umożliwia taką eskalację w ramach jednej rozmowy.
Drugą jest triage zadań, który powinieneś wyrobić sobie w nawyk: przeformułowywanie i klasyfikacja na najniższym poziomie, tworzenie szkiców i proste analizy na low, planowanie i ocena na medium, debugowanie i trudne problemy na high, długoterminowe badania na xhigh, a przypadki ekstremalne na max.
Trzecią jest dobranie odpowiedniego modelu do odpowiedniego poziomu. GPT-6.1 Sol na poziomie high lub wyższym, ewentualnie w trybie pro, radzi sobie z wymagającymi problemami; GPT-6 Astra pozostaje do zadań najtrudniejszych; GPT-6.1 Terra obsługuje pisanie, obrazy i orkiestrację aplikacji; GPT-6 Luna, na poziomie low lub medium, pochłania duże wolumeny przy niższym koszcie.
Czas na Ciebie
Znajdź punkt malejących przychodów. Zadaj poniższe pytanie trzykrotnie, na trzech poziomach (Natychmiastowe, Średnie, a następnie Wysokie w Chat lub low, medium, a następnie high w API) i porównaj głębię analizy oraz – w przypadku API – zużyte tokeny rozumowania.
„Firma ma 5 projektów. Projekt A: 100 tys. €, ROI 3,2x, średnie ryzyko. Projekt B: 250 tys. €, ROI 1,8x, niskie ryzyko. Projekt C: 50 tys. €, ROI 5,1x, wysokie ryzyko. Projekt D: 150 tys. €, ROI 2,4x, średnie ryzyko. Projekt E: 75 tys. €, ROI 4,0x, wysokie ryzyko. Całkowity budżet wynosi 400 tys. €. Które projekty należy sfinansować, aby zmaksymalizować ROI skorygowane o ryzyko? Wyraźnie określ użytą regułę dostosowania.”
Zidentyfikuj poziom, przy którym dalsze podnoszenie wnosi niewiele wartości: to będzie Twoje ustawienie dla tego typu pytań.
Źródła oficjalne: Modele rozumowania (OpenAI API: effort, tryb pro, max_output_tokens, podsumowania, configuration_update, rozliczenia) · Modele (akceptowane poziomy wysiłku i cennik dla każdego modelu) · GPT-6 i inne modele w ChatGPT (poziomy, limity i mechanizm awaryjny w Czacie)
Kluczowe wnioski
- Wysiłek zmienia jednocześnie tokeny, opóźnienie, głębię i koszt: to kompromis
- W ChatGPT poziom dostosowuje się do każdej wiadomości, w ramach limitów planu
- W API:
reasoning.effort,reasoning.mode,max_output_tokens,reasoning.summaryiconfiguration_update - Eskalacja, triage zadań i odpowiednie dobranie modelu do poziomu to trzy dźwignie oszczędności
- Zmiana wysiłku w trakcie rozmowy za pomocą
configuration_updatezachowuje pamięć podręczną promptu