Jak działają modele rozumujące
Na tej stronie
Pod maską modeli, które „myślą“
Gdy zwiększasz poziom rozumowania, model nie generuje odpowiedzi natychmiast. Najpierw produkuje tokeny rozumujące, których używa do rozbicia zapytania i zbadania wielu sposobów odpowiedzi. Zrozumienie tego mechanizmu to nie tylko teoria – pozwala ci to odpowiednio dobrać poziom, przewidzieć koszty i poprawnie zinterpretować wynik działania modelu.
Pomyśl, zanim odpowiesz
Przy szybkim poziomie (Instant w Czacie, none lub low w API) model odpowiada niemal bezpośrednio. Im wyższy poziom ustawisz, tym więcej tokenów zużyje na myślenie przed wygenerowaniem widocznej odpowiedzi. Możesz traktować tę fazę jako szkic: rozbijanie problemu, badanie ścieżek, odrzucanie ślepych uliczek, weryfikację, a następnie syntezy. To pomocny model mentalny, a nie oficjalny opis działania wewnętrznego; OpenAI opisuje model, który dekomponuje zapytanie i rozważa kilka podejść przed udzieleniem odpowiedzi.
Weźmy wyrażenie „17 × 23 + 45 ÷ 9 − 12“. Bez rozumowania ryzyko błędu dotyczącego pierwszeństwa operatorów jest realne. Przy wyższym poziomie model poświęca czas na przetworzenie najpierw mnożenia i dzielenia (391 i 5), następnie dodawania i odejmowania (391 + 5 − 12 = 384), a przed podaniem wyniku weryfikuje go.
Tokeny rozumujące: niewidoczne, ale liczone
Tokeny rozumujące nie pojawiają się w odpowiedzi, ale są liczone. W API zajmują miejsce w oknie kontekstowym i są rozliczane jako tokeny wyjściowe. W zależności od trudności model może wygenerować od kilkuset do kilkudziesięciu tysięcy takich tokenów. Jeśli limit wyjścia (max_output_tokens) zostanie osiągnięty podczas rozumowania, odpowiedź zostanie zwrócona ze statusem incomplete, czasem zanim wygenerowany zostanie jakikolwiek widoczny tekst; OpenAI zaleca zarezerwowanie co najmniej 25 000 tokenów na rozumowanie i odpowiedź, gdy zaczynasz eksperymenty.
Surowe rozumowanie nie jest udostępniane. W API możesz zażądać podsumowania rozumowania za pomocą parametru reasoning.summary. W ChatGPT, przy użyciu GPT-6, odpowiedź może zacząć się generować, gdy model wciąż myśli, a następnie zostać wzbogacona o szczegóły później.
Pro, Max i Ultra: trzy sposoby na zrobienie więcej
Poza poziomami wysiłku, trzy mechanizmy pozwalają pchnąć rozumowanie dalej i warto ich nie mylić.
- Tryb Pro (
reasoning.mode: "pro"w API, poziom Pro w Czacie) sprawia, że model ciężej pracuje nad trudnymi zadaniami, które tolerują większe opóźnienia. W API ta dodatkowa praca jest rozliczana według standardowej stawki dla wybranego modelu, ale zużywa więcej tokenów. - Max, w Work i Codex oraz w API (
max), daje modelowi więcej czasu na rozumowanie w ramach jednego zadania. - Ultra, dostępne tylko w Work i Codex, wykracza poza pojedynczego agenta: przydziela części złożonego zadania pod-agentom pracującym równolegle. Jest przydatne tylko wtedy, gdy pracę można podzielić na niezależne fragmenty. GPT-6 Luna sięga poziomu Max, ale nie Ultra.
Co zmienia rozumowanie, a czego nie
Wysoki poziom rozumowania ma znaczenie dla konkretnych rodzin problemów: matematyki i statystyki, logiki i dedukcji, złożonego kodu i debugowania, analizy strategicznej z ważonymi kryteriami oraz ogólnie wszelkich zadań wieloetapowych. OpenAI zaleca zatem high dla trudnego rozumowania, złożonego debugowania i głębokiego planowania.
To jednak nie jest magiczna różdżka. Model nadal może popełniać błędy po przeprowadzeniu rozumowania: fałszywa przesłanka prowadzi do fałszywego wniosku, niezależnie od tego, jak staranny był proces rozumowania. Rozumowanie wydłuża czas odpowiedzi i zwiększa koszt. W przypadku prostego zadania nie wnosi niczego, z czym nie poradziłby sobie już szybki poziom.
Wypróbuj to sam
Zobacz mechanizm w akcji. Zadaj to pytanie najpierw na szybkim poziomie, a następnie na wysokim (Instant, a potem High w Czacie lub low, a potem high w API): „Pociąg wyjeżdża z Paryża o 8:00 rano, jadąc z prędkością 120 km/h. Inny wyjeżdża z Lyonu, oddalonego o 465 km, o 8:30 rano, jadąc z prędkością 150 km/h w kierunku Paryża. O której godzinie i w jakiej odległości od Paryża się spotkają?”. Zweryfikuj oczekiwaną odpowiedź samodzielnie: 10:00 rano, 240 km od Paryża. Jeśli używasz API, porównaj liczbę tokenów rozumowania zgłoszonych w sekcji usage odpowiedzi dla obu poziomów.
Źródła oficjalne: Modele rozumujące (OpenAI API: tokeny rozumujące, rozliczenia, kontekst, podsumowania, tryb pro, poziomy wysiłku) · Modele (dokumentacja ChatGPT: Max i Ultra) · GPT-6 i inne modele w ChatGPT (odpowiedzi zaczynające się podczas rozumowania)
Kluczowe wnioski
- Rozumowanie dodaje tokeny myślenia przed odpowiedzią; ich liczba rośnie wraz z wybranym poziomem
- Niewidoczne, tokeny te zajmują kontekst i są rozliczane jako tokeny wyjściowe w API
- Zapewnij wystarczający margines wyjścia, inaczej odpowiedź zostanie zwrócona jako niekompletna
- Pro sprawia, że model pracuje ciężej, Max daje mu więcej czasu, Ultra rozdziela pracę między pod-agentów (Work i Codex)
- Rozumowanie nie uodparnia na błędy: fałszywa przesłanka prowadzi do fałszywego wniosku