Top P και Δειγματοληψία Πυρήνα
Σε αυτήν τη σελίδα
Ένας Δεύτερος Μοχλός Ελέγχου της Δημιουργίας
Το προηγούμενο μάθημα σας παρουσίασε τον πρώτο μοχλό ελέγχου της δημιουργίας: τη θερμοκρασία. Το Top P, γνωστό και ως δειγματοληψία πυρήνα (nucleus sampling), αποτελεί το φυσικό του συμπλήρωμα. Ενώ η θερμοκρασία μεταβάλλει ολόκληρη την κατανομή πιθανοτήτων, το Top P λειτουργεί ως φίλτρο που περιορίζει τον αριθμό των υποψήφιων token. Και οι δύο παράμετροι επηρεάζουν την ποικιλομορφία της απάντησης, αλλά μέσω πολύ διαφορετικών μηχανισμών—και ακριβώς αυτή η διαφορά είναι που θα σας επιτρέψει να ρυθμίσετε με ακρίβεια τη συμπεριφορά του μοντέλου Mistral, αντί να πειράζετε τυχαία τις ρυθμίσεις.
Πώς Λειτουργεί το Top P
Ας επαναλάβουμε τη διαδικασία δημιουργίας. Σε κάθε βήμα, το μοντέλο υπολογίζει μια πιθανότητα για κάθε πιθανό token. Το Top P παρεμβαίνει σε τρία στάδια: πρώτον, οι πιθανότητες προσαρμόζονται από τη θερμοκρασία· έπειτα, τα token ταξινομούνται κατά φθίνουσα πιθανότητα και οι πιθανότητές τους αθροίζονται σωρευτικά· τέλος, διατηρούνται μόνο τα token των οποίων η σωρευτική πιθανότητα δεν υπερβαίνει το κατώφλι Top P. Η τελική επιλογή γίνεται αποκλειστικά μεταξύ αυτών των επιζώντων.
Ένα παράδειγμα καθιστά τον μηχανισμό σαφή. Φανταστείτε ότι το μοντέλο πρέπει να επιλέξει την επόμενη λέξη μετά τη φράση “The cat is on the”:
| Token | Πιθανότητα | Σωρευτική |
|---|---|---|
| roof | 0.35 | 0.35 |
| bed | 0.25 | 0.60 |
| sofa | 0.15 | 0.75 |
| floor | 0.10 | 0.85 |
| ledge | 0.05 | 0.90 |
| wall | 0.03 | 0.93 |
| … | … | … |
Με Top P = 0.75, διατηρούνται μόνο τα “roof”, “bed” και “sofa”, καθώς το άθροισμά τους φτάνει ακριβώς το 0.75: το μοντέλο θα επιλέξει αποκλειστικά μεταξύ αυτών των τριών επιλογών. Με Top P = 0.90, συμμετέχουν επίσης τα “floor” και “ledge”. Ο γενικός κανόνας προκύπτει σαφώς από τον πίνακα: όσο υψηλότερο είναι το Top P, τόσο περισσότεροι υποψήφιοι λαμβάνονται υπόψη.
Top P έναντι Θερμοκρασίας: Ποια η Διαφορά;
Επειδή και οι δύο παράμετροι ελέγχουν την ποικιλομορφία, μπορεί να νομίζετε ότι είναι εναλλάξιμες. Δεν είναι. Η θερμοκρασία αλλάζει το σχήμα της κατανομής: μια υψηλή τιμή ισοπεδώνει την καμπύλη και καθιστά σταδιακά πιο προσιτά τα απίθανα token, χωρίς ποτέ να αποκλείει κανένα. Το Top P, αντιθέτως, κόβει την κατανομή: τα token κάτω από το κατώφλι αγνοούνται πλήρως, ανεξάρτητα από την υπολειπόμενη πιθανότητά τους.
Κρατήστε αυτή την εικόνα στο μυαλό σας: η θερμοκρασία είναι μια “μαλακή” ρύθμιση, που προσαρμόζεται σταδιακά, ενώ το Top P είναι μια “κοφτή” ρύθμιση, που περιλαμβάνει ή αποκλείει. Σε δημιουργικά κείμενα, μια υψηλή θερμοκρασία με μέτριο Top P επιτρέπει τη φαντασία αποτρέποντας παράλληλα την εκτροπή προς πραγματικά απίθανα token—αυτός είναι συχνά ο πιο άνετος συνδυασμός.
Χρήση του Top P με το Mistral API
Στον κώδικα, η παράμετρος προστίθεται απλώς στην κλήση, μαζί με τη θερμοκρασία:
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Propose a name for an AI startup."}
],
temperature=0.7,
top_p=0.9
)
Πότε να Ρυθμίζετε το Top P
Ένα χαμηλό Top P, μεταξύ 0.1 και 0.5, εστιάζει το μοντέλο στις πιο πιθανές επιλογές—μέγιστη ακρίβεια. Αυτή είναι η σωστή επιλογή όταν η αναμενόμενη απάντηση ανήκει σε ένα κλειστό σύνολο, όπως σε αυτή την αυστηρή ταξινόμηση:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "system", "content": "Respond only with: positive, neutral, or negative."},
{"role": "user", "content": "Classify: The product arrived in good condition."}
],
temperature=0.0,
top_p=0.3
)
Ένα μέτριο Top P, μεταξύ 0.5 και 0.8, ταιριάζει στις περισσότερες επαγγελματικές εργασίες: το κείμενο παραμένει συνεκτικό χωρίς να γίνεται μονότονο. Αυτό είναι το καθεστώς για μια αναφορά, μια σύνοψη ή μια εισαγωγή εγγράφου:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Write the introduction for a report on cybersecurity in SMEs."}
],
temperature=0.5,
top_p=0.7
)
Τέλος, ένα υψηλό Top P, μεταξύ 0.8 και 1.0, ανοίγει το πεδίο για δημιουργικότητα και εξερεύνηση ιδεών—δέχεστε λιγότερο πιθανούς υποψήφιους για να λάβετε προτάσεις που ξεφεύγουν από τα συνηθισμένα:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Invent 5 innovative restaurant concepts."}
],
temperature=0.9,
top_p=0.95
)
Ο Πρακτικός Κανόνας: Ρυθμίστε Μία Παράμετρο τη Φορά
Η τεκμηρίωση του Mistral προτείνει μια μεθοδική προσέγγιση που πρέπει να υιοθετήσετε από τις πρώτες σας δοκιμές: ορίστε το Top P στο 1.0 (χωρίς φιλτράρισμα) και ρυθμίστε μόνο τη θερμοκρασία, ή ορίστε τη θερμοκρασία στο 1.0 και ρυθμίστε μόνο το Top P· μόνο τότε βελτιώστε τη δεύτερη παράμετρο εάν χρειάζεται. Ο λόγος είναι απλός: αν αλλάξετε και τις δύο ταυτόχρονα και η συμπεριφορά αλλάξει, δεν θα ξέρετε ποια είναι υπεύθυνη. Είναι το ίδιο αντανακλαστικό με την αποσφαλμάτωση—αλλάζετε μόνο μία μεταβλητή τη φορά.
Για να σας δώσουμε συγκεκριμένα σημεία εκκίνησης: η εξαγωγή δεδομένων ή η έξοδος JSON ορίζεται τυπικά σε temperature=0.0, top_p=1.0· η επαγγελματική γραφή σε temperature=0.4, top_p=0.9· η δημιουργική παραγωγή σε temperature=0.8, top_p=0.95· και ο κώδικας ή το τεχνικό περιεχόμενο σε temperature=0.2, top_p=0.9. Αυτές οι τιμές είναι απλά σημεία εκκίνησης—ο πειραματισμός παραμένει απαραίτητος για τη δική σας συγκεκριμένη περίπτωση χρήσης.
Βασικά σημεία
- Το Top P φιλτράρει τα υποψήφια token βάσει κατωφλίου σωρευτικής πιθανότητας
- Σε αντίθεση με τη θερμοκρασία που μαλακώνει την κατανομή, το Top P την κόβει
- Ρυθμίστε μία παράμετρο τη φορά για να κατανοήσετε την επίδρασή της
- Χαμηλό Top P = εστιασμένες απαντήσεις, Υψηλό Top P = ποικίλες απαντήσεις
- Ξεκινήστε μόνο με τη θερμοκρασία, προσθέστε το Top P για βελτίωση