Πώς λειτουργούν τα μοντέλα συλλογισμού
Σε αυτήν τη σελίδα
Κάτω από το καπό των μοντέλων που «σκέφτονται»
Όταν αυξάνετε το επίπεδο συλλογισμού, το μοντέλο δεν παράγει αμέσως την απάντησή του. Πρώτα, δημιουργεί tokens συλλογισμού, τα οποία χρησιμοποιεί για να αναλύσει το αίτημα και να εξερευνήσει πολλαπλούς τρόπους απόκρισης. Η κατανόηση αυτού του μηχανισμού δεν είναι απλώς θεωρητική· σας επιτρέπει να ορίζετε το κατάλληλο επίπεδο, να προβλέπετε το κόστος και να ερμηνεύετε σωστά την έξοδο του μοντέλου.
Σκέψου πριν απαντήσεις
Σε γρήγορο επίπεδο (Instant στο Chat, none ή low στο API), το μοντέλο αποκρίνεται σχεδόν άμεσα. Όσο υψηλότερο ορίζετε το επίπεδο, τόσο περισσότερα tokens ξοδεύει το μοντέλο για σκέψη πριν παράγει την ορατή απάντηση. Μπορείτε να θεωρήσετε αυτή τη φάση ως ένα προσχέδιο: ανάλυση του προβλήματος, εξερεύνηση διαδρομών, απόρριψη αδιεξόδων, επαλήθευση και στη συνέχεια σύνθεση. Αυτό είναι ένα χρήσιμο νοητικό μοντέλο, όχι μια επίσημη περιγραφή της εσωτερικής λειτουργίας· αυτό που περιγράφει η OpenAI είναι ένα μοντέλο που αποσυνθέτει το αίτημα και εξετάζει αρκετές προσεγγίσεις πριν απαντήσει.
Πάρτε την παράσταση “17 × 23 + 45 ÷ 9 − 12”. Χωρίς συλλογισμό, ο κίνδυνος σφάλματος σχετικά με την προτεραιότητα των τελεστών είναι υπαρκτός. Με υψηλότερο επίπεδο, το μοντέλο αφιερώνει χρόνο για να επεξεργαστεί πρώτα τον πολλαπλασιασμό και τη διαίρεση (391 και 5), κατόπιν την πρόσθεση και την αφαίρεση (391 + 5 − 12 = 384) και επαληθεύει το αποτέλεσμα πριν το διατυπώσει.
Tokens συλλογισμού: Αόρατα αλλά χρεώσιμα
Τα tokens συλλογισμού δεν εμφανίζονται στην απάντηση, αλλά προσμετρώνται. Στο API, καταλαμβάνουν χώρο στο παράθυρο συμφραζομένων (context window) και χρεώνονται ως tokens εξόδου. Ανάλογα με τη δυσκολία, ένα μοντέλο μπορεί να παράγει από μερικές εκατοντάδες έως αρκετές δεκάδες χιλιάδες τέτοια tokens. Εάν επιτευχθεί το όριο εξόδου (max_output_tokens) κατά τη διάρκεια του συλλογισμού, η απόκριση επιστρέφει με κατάσταση incomplete, μερικές φορές πριν παραχθεί οποιοδήποτε ορατό κείμενο· η OpenAI συνιστά να δεσμεύετε τουλάχιστον 25.000 tokens για τον συλλογισμό και την απάντηση όταν ξεκινάτε τα πειράματα.
Ο ακατέργαστος συλλογισμός δεν εκτίθεται. Στο API, μπορείτε να ζητήσετε μια περίληψη συλλογισμού χρησιμοποιώντας την παράμετρο reasoning.summary. Στο ChatGPT, με το GPT-6, μια απάντηση μπορεί να ξεκινήσει ενώ το μοντέλο σκέφτεται ακόμα και στη συνέχεια να εμπλουτιστεί με λεπτομέρειες.
Pro, Max και Ultra: Τρεις τρόποι να κάνετε περισσότερα
Πέρα από τα επίπεδα προσπάθειας, τρεις μηχανισμοί ωθούν τον συλλογισμό πιο μακριά και είναι χρήσιμο να μην τους μπερδεύετε.
- Λειτουργία Pro (
reasoning.mode: "pro"στο API, επίπεδο Pro στο Chat) κάνει το μοντέλο να εργάζεται σκληρότερα σε δύσκολα καθήκοντα που ανέχονται μεγαλύτερη καθυστέρηση. Στο API, αυτή η επιπλέον εργασία χρεώνεται με τον τυπικό ρυθμό για το επιλεγμένο μοντέλο, αλλά καταναλώνει περισσότερα tokens. - Max, τόσο στο Work και το Codex όσο και στο API (
max), δίνει στο μοντέλο περισσότερο χρόνο για να συλλογιστεί σε ένα ενιαίο καθήκον. - Ultra, μόνο στο Work και το Codex, πηγαίνει πέρα από έναν μοναδικό πράκτορα: αναθέτει τμήματα ενός σύνθετου καθήκοντος σε υπο-πράκτορες που εργάζονται παράλληλα. Είναι χρήσιμο μόνο εάν η εργασία μπορεί να χωριστεί σε ανεξάρτητα τμήματα. Το GPT-6 Luna φτάνει έως το Max, αλλά όχι το Ultra.
Τι αλλάζει ο συλλογισμός και τι όχι
Ένα υψηλό επίπεδο συλλογισμού κάνει τη διαφορά σε συγκεκριμένες οικογένειες προβλημάτων: μαθηματικά και στατιστική, λογική και παραγωγή συμπερασμάτων, σύνθετος κώδικας και αποσφαλμάτωση, στρατηγική ανάλυση με σταθμισμένα κριτήρια και γενικά οποιοδήποτε έργο πολλαπλών βημάτων. Η OpenAI συνιστά επομένως το high για δύσκολο συλλογισμό, σύνθετη αποσφαλμάτωση και βαθύ σχεδιασμό.
Ωστόσο, δεν είναι πανάκεια. Το μοντέλο μπορεί ακόμα να κάνει λάθη μετά τον συλλογισμό: μια λανθασμένη προκείμενη οδηγεί σε λανθασμένο συμπέρασμα, ανεξάρτητα από το πόσο προσεκτική είναι η διαδικασία συλλογισμού. Ο συλλογισμός αυξάνει τον χρόνο απόκρισης και το κόστος. Και για ένα απλό καθήκον, δεν προσφέρει τίποτα που ένα γρήγορο επίπεδο δεν θα μπορούσε ήδη να διαχειριστεί.
Δοκιμάστε το μόνοι σας
Δείτε τον μηχανισμό σε δράση. Κάντε αυτή την ερώτηση πρώτα σε γρήγορο επίπεδο και μετά σε υψηλό επίπεδο (Instant και μετά High στο Chat, ή low και μετά high στο API): «Ένα τρένο αναχωρεί από το Παρίσι στις 8:00 π.μ. ταξιδεύοντας με 120 χλμ./ώρα. Ένα άλλο αναχωρεί από τη Λυών, 465 χλμ. μακριά, στις 8:30 π.μ. ταξιδεύοντας με 150 χλμ./ώρα προς το Παρίσι. Πότε και σε ποια απόσταση από το Παρίσι συναντιούνται;» Επαληθεύστε μόνοι σας την αναμενόμενη απάντηση: 10:00 π.μ., 240 χλμ. από το Παρίσι. Εάν χρησιμοποιείτε το API, συγκρίνετε τον αριθμό των tokens συλλογισμού που αναφέρονται στη χρήση (usage) της απόκρισης και για τα δύο επίπεδα.
Επίσημες πηγές: Μοντέλα συλλογισμού (OpenAI API: tokens συλλογισμού, χρέωση, συμφραζόμενα, περιλήψεις, λειτουργία pro, επίπεδα προσπάθειας) · Μοντέλα (Τεκμηρίωση ChatGPT: Max και Ultra) · GPT-6 και άλλα μοντέλα στο ChatGPT (απαντήσεις που ξεκινούν κατά τη διάρκεια του συλλογισμού)
Βασικά σημεία
- Ο συλλογισμός προσθέτει tokens σκέψης πριν την απάντηση· ο αριθμός τους αυξάνεται με το επιλεγμένο επίπεδο
- Αόρατα, αυτά τα tokens καταλαμβάνουν συμφραζόμενα και χρεώνονται ως tokens εξόδου στο API
- Επιτρέψτε επαρκές περιθώριο εξόδου, διαφορετικά η απόκριση θα επιστρέψει ως incomplete
- Το Pro κάνει το μοντέλο να εργάζεται σκληρότερα, το Max του δίνει περισσότερο χρόνο, το Ultra κατανέμει την εργασία σε υπο-πράκτορες (Work και Codex)
- Ο συλλογισμός δεν ανοσοποιεί against το σφάλμα: μια λανθασμένη προκείμενη οδηγεί σε λανθασμένο συμπέρασμα