Έλεγχος της προσπάθειας συλλογισμού, από το ChatGPT στο API
Σε αυτήν τη σελίδα
Ρύθμιση της αναστοχαστικής διαδικασίας για κάθε εργασία
Τα μαθήματα 1 έως 3 σας έδωσαν τον χάρτη των ρυθμίσεων και των κατευθυντήριων γραμμών της OpenAI. Αυτό το μάθημα εστιάζει στους ελέγχους: πώς να προσαρμόζετε την προσπάθεια κατά τη διάρκεια της εργασίας σας, να διαχειρίζεστε το κόστος της και να την αυτοματοποιείτε μέσα σε μια εφαρμογή. Η αρχή παραμένει αμετάβλητη: το επίπεδο συλλογισμού αποτελεί συμβιβασμό, όχι έναν διακόπτη ποιότητας. Επηρεάζει ταυτόχρονα τέσσερις μεταβλητές: τον αριθμό των token συλλογισμού, τον χρόνο απόκρισης, το βάθος της ανάλυσης και την κατανάλωση ορίου χρήσης ή το κόστος.
Στο ChatGPT: Μια ρύθμιση ανά μήνυμα
Στη συνομιλία (Chat), η μπάρα κύλισης Thinking για το GPT-6 προσαρμόζεται ανά μήνυμα: μπορείτε να παραμείνετε στο Instant για αναδιατύπωση, να μεταβείτε στο High για ανάλυση και στη συνέχεια να το μειώσετε ξανά. Τα υψηλότερα επίπεδα αντλούν από όρια χρήσης συγκεκριμένα για το πρόγραμμά σας· όταν φτάσετε σε ένα όριο, το ChatGPT ενδέχεται να συνεχίσει με ένα άλλο διαθέσιμο μοντέλο και, όπου είναι εφικτό, να υποδεικνύει πότε επαναφέρεται το όριο χρήσης. Στο Work και στο Codex, η μπάρα ισχύος παίζει τον ίδιο ρόλο, κυμαινόμενη από το Faster στο Smarter, με τα Max και Ultra να κρατούνται σε εφεδρεία. Βέλτιστη πρακτική και στις δύο περιπτώσεις: ξεκινήστε με την προεπιλεγμένη ρύθμιση και αυξήστε την μόνο εάν το αποτέλεσμα δεν είναι επαρκές.
Στο API: Πέντε μοχλοί
Για τους προγραμματιστές, πέντε παράμετροι στο Responses API σας δίνουν τον έλεγχο του συλλογισμού:
reasoning.effortορίζει το επίπεδο, απόnoneέωςmaxανάλογα με το μοντέλο: τα GPT-6 Astra και GPT-6.1 Sol ξεκινούν απόlow, ενώ τα GPT-6.1 Terra και GPT-6 Luna δέχονταιnone.reasoning.mode,standardως προεπιλογή ήpro, αναγκάζει το μοντέλο να εργαστεί σκληρότερα χωρίς να αλλάζει το επίπεδο προσπάθειας· αυτή η επιπλέον εργασία χρεώνεται με τον τυπικό συντελεστή του μοντέλου αλλά καταναλώνει περισσότερα token.max_output_tokensθέτει ένα ανώτατο όριο στον συνολικό αριθμό των παραγόμενων token, συμπεριλαμβανομένου του συλλογισμού. Αν το ορίσετε πολύ χαμηλά, θα λάβετε ελλιπείς απαντήσεις· η OpenAI συνιστά να δεσμεύετε τουλάχιστον 25.000 token όταν ξεκινάτε τα πειράματα.reasoning.summaryζητά μια σύνοψη της διαδικασίας συλλογισμού, καθώς ο ακατέργαστος συλλογισμός δεν εκτίθεται ποτέ.configuration_update, ένα στοιχείο που εισάγεται μεταξύ δύο απαντήσεων, αλλάζει το επίπεδο προσπάθειας στη μέση της συνομιλίας σε συμβατά μοντέλα GPT-6 χωρίς να αγγίζει τις αρχικές ρυθμίσεις του αιτήματος: το πρόθεμα της εντολής (prompt prefix) παραμένει άθικτο και η προσωρινή μνήμη της εντολής (prompt cache) συνεχίζει να εξυπηρετεί.
Ορίστε πώς φαίνεται αυτό το τελευταίο στοιχείο, εισαγόμενο πριν από το επόμενο μήνυμα του χρήστη:
{
"type": "configuration_update",
"reasoning": { "effort": "high" }
}
Μια συνομιλία που ξεκίνησε στο low μετατοπίζεται έτσι στο high για την επόμενη απάντηση και τις ακόλουθες, μέχρι να συμβεί άλλη μια ενημέρωση.
Ο αντίκτυπος στο κόστος
Τα token συλλογισμού χρεώνονται ως token εξόδου και ο αριθμός τους αυξάνεται γρήγορα με το επίπεδο: από μερικές εκατοντάδες έως δεκάδες χιλιάδες για ένα δύσκολο πρόβλημα. Η επιλογή του μοντέλου έχει εξίσου μεγάλη σημασία: ανά token εξόδου, το GPT-6 Luna κοστίζει είκοσι φορές λιγότερο από το GPT-6.1 Sol, και το GPT-6 Astra κοστίζει πέντε φορές περισσότερο. Στο ChatGPT, το κόστος μεταφράζεται σε όρια χρήσης: τον αριθμό των απαιτητικών αιτημάτων που είναι δυνατά ανά περίοδο.
Τρεις στρατηγικές βελτιστοποίησης
Η πρώτη είναι η κλιμάκωση: μην ξεκινάτε από την κορυφή. Ξεκινήστε με το προεπιλεγμένο επίπεδο, medium στο API, ή χαμηλότερο για μια τετριμμένη εργασία· εάν η απάντηση είναι ελλιπής ή λανθασμένη, ανεβείτε ένα σκαλοπάτι· κρατήστε τα xhigh, max, τη λειτουργία pro, τα Max και Ultra για προβλήματα που τα δικαιολογούν. Σε μια εφαρμογή, το configuration_update καθιστά δυνατή αυτή την κλιμάκωση μέσα σε μια ενιαία συνομιλία.
Η δεύτερη είναι η διαλογή βάσει εργασίας, την οποία πρέπει να κάνετε συνήθεια: αναδιατύπωση και ταξινόμηση στο χαμηλότερο επίπεδο, σύνταξη και απλές αναλύσεις στο low, σχεδιασμός και κρίση στο medium, αποσφαλμάτωση και δύσκολα προβλήματα στο high, έρευνα μακράς διάρκειας στο xhigh και ακραίες περιπτώσεις στο max.
Η τρίτη είναι να συνδυάσετε το σωστό μοντέλο με το σωστό επίπεδο. Το GPT-6.1 Sol στο high ή υψηλότερα, πιθανώς σε λειτουργία pro, χειρίζεται απαιτητικά προβλήματα· το GPT-6 Astra παραμένει για τα πιο δύσκολα· το GPT-6.1 Terra χειρίζεται τη συγγραφή, τις εικόνες και την ενοποίηση εφαρμογών· το GPT-6 Luna, στο low ή medium, απορροφά όγκο με χαμηλότερο κόστος.
Η σειρά σας
Βρείτε το σημείο μειούμενων αποδόσεων. Κάντε την ακόλουθη ερώτηση τρεις φορές, σε τρία επίπεδα (Instant, Medium και στη συνέχεια High στο Chat, ή low, medium και στη συνέχεια high στο API) και συγκρίνετε το βάθος της ανάλυσης και, στο API, τα token συλλογισμού που καταναλώθηκαν.
“Μια εταιρεία έχει 5 έργα. Έργο Α: 100.000 €, ROI 3,2x, μεσαίο ρίσκο. Έργο Β: 250.000 €, ROI 1,8x, χαμηλό ρίσκο. Έργο Γ: 50.000 €, ROI 5,1x, υψηλό ρίσκο. Έργο Δ: 150.000 €, ROI 2,4x, μεσαίο ρίσκο. Έργο Ε: 75.000 €, ROI 4,0x, υψηλό ρίσκο. Ο συνολικός προϋπολογισμός είναι 400.000 €. Ποια έργα πρέπει να χρηματοδοτηθούν για να μεγιστοποιηθεί το ROI προσαρμοσμένο στο ρίσκο; Δηλώστε ρητά τον κανόνα προσαρμογής που χρησιμοποιήθηκε.”
Εντοπίστε το επίπεδο στο οποίο η περαιτέρω αύξηση προσθέτει ελάχιστη αξία: αυτή είναι η ρύθμισή σας για αυτόν τον τύπο ερώτησης.
Επίσημες πηγές: Μοντέλα συλλογισμού (OpenAI API: effort, pro mode, max_output_tokens, summaries, configuration_update, χρέωση) · Μοντέλα (αποδεκτά επίπεδα effort και τιμολόγηση ανά μοντέλο) · GPT-6 και άλλα μοντέλα στο ChatGPT (επίπεδα, όρια χρήσης και εναλλακτική λύση στο Chat)
Βασικά σημεία
- Η προσπάθεια μεταβάλλει ταυτόχρονα τα token, τον λανθάνοντα χρόνο, το βάθος και το κόστος: αποτελεί συμβιβασμό
- Στο ChatGPT, το επίπεδο προσαρμόζεται ανά μήνυμα, εντός των ορίων του προγράμματος
- Στο API:
reasoning.effort,reasoning.mode,max_output_tokens,reasoning.summaryκαιconfiguration_update - Η κλιμάκωση, η διαλογή εργασιών και ο σωστός συνδυασμός μοντέλου-επιπέδου είναι οι τρεις μοχλοί εξοικονόμησης
- Η αλλαγή της προσπάθειας στη μέση της συνομιλίας με το
configuration_updateδιατηρεί την προσωρινή μνήμη της εντολής