Μετάβαση στο κύριο περιεχόμενο
Ελληνικά— Επιλέξτε γλώσσα
Μενού

Θερμοκρασία και Top P σε βάθος

Μάθημα 13 / 16 Ενημερώθηκε 2 Νοεμβρίου 2026 Για developers
Σε αυτήν τη σελίδα
  1. Κατανόηση της Τυχαιοποίησης Εξόδου
  2. Πώς λειτουργεί η Θερμοκρασία
  3. Πώς λειτουργεί το Top P (Δειγματοληψία Πυρήνα)
  4. Ο Χρυσός Κανόνας: Μία Παράμετρος τη Φορά
  5. Βαθμονόμηση ανά Περίπτωση Χρήσης
  6. Πειραματιστείτε Μεθοδικά
  7. Βασικά σημεία

Κατανόηση της Τυχαιοποίησης Εξόδου

Καλύψατε τα βασικά των παραμέτρων temperature και top_p στο Μάθημα 3. Τώρα είναι η στιγμή να εμβαθύνουμε: πώς αυτές οι δύο παράμετροι επηρεάζουν μαθηματικά τη δημιουργία κειμένου, πώς να τις ρυθμίζετε για συγκεκριμένες περιπτώσεις χρήσης και γιατί ο συνδυασμός τους αποτελεί κλασική πηγή προβλημάτων σε περιβάλλοντα παραγωγής.

Πώς λειτουργεί η Θερμοκρασία

Σε κάθε βήμα δημιουργίας, το μοντέλο υπολογίζει μια κατανομή πιθανοτήτων πάνω σε ολόκληρο το λεξιλόγιο: ποιο token θα ακολουθήσει και με ποια πιθανότητα. Η θερμοκρασία παρεμβαίνει σε αυτή την κατανομή πριν από τη δειγματοληψία, αλλάζοντας το σχήμα της.

Μεταξύ 0.0 και 0.3, η κατανομή γίνεται «μυτερή»: το πιο πιθανό token κυριαρχεί συντριπτικά έναντι των άλλων, καθιστώντας το μοντέλο quasi-ντετερμινιστικό. Αυτό είναι αυτό που θέλετε για εξαγωγή ή ταξινόμηση, όπου δύο πανομοιότυπες κλήσεις πρέπει να παράγουν πανομοιότυπα αποτελέσματα. Μεταξύ 0.4 και 0.8, αναδύεται μια ισορροπία μεταξύ συνοχής και ποικιλίας—αυτό είναι το πιο συνηθισμένο εύρος στην παραγωγή, που χρησιμοποιείται για chatbots και υποβοηθούμενη γραφή. Πέρα από αυτό, από 0.9 έως 1.5, η κατανομή ισοπεδώνεται: tokens με σημαντικά μικρότερη πιθανότητα αποκτούν πλέον ρεαλιστική chance επιλογής. Η δημιουργικότητα αυξάνεται, αλλά αυξάνεται επίσης ο κίνδυνος ασυνέπειας, και τα δύο ανεβαίνουν μαζί.

Το παρακάτω πείραμα καθιστά αυτό το φαινόμενο απτό χρησιμοποιώντας μια σκόπιμα κοινότοπη πρόταση.

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))

prompt = [
    {"role": "system", "content": "Complete the sentence with a single word."},
    {"role": "user", "content": "The color of the sky is..."}
]

# Temperature 0 — always the same response
for i in range(3):
    r = client.chat.complete(model="mistral-large-latest", messages=prompt, temperature=0.0, max_tokens=5)
    print(f"T=0.0 trial {i+1}: {r.choices[0].message.content}")
# blue, blue, blue

# Temperature 1.5 — varied responses
for i in range(3):
    r = client.chat.complete(model="mistral-large-latest", messages=prompt, temperature=1.5, max_tokens=5)
    print(f"T=1.5 trial {i+1}: {r.choices[0].message.content}")
# blue, azure, turquoise (varies)

Μια διευκρίνιση είναι απαραίτητη όσον αφορά το temperature=0: ακόμη και σε αυτή την τιμή, μικρές διακυμάνσεις μπορεί να εμφανιστούν μεταξύ δύο κλήσεων. Η αιτία δεν βρίσκεται στο μοντέλο αλλά στο υλικό—οι πράξεις κινητής υποδιαστολής στις GPU δεν εγγυώνται πανομοιότυπη σειρά αξιολόγησης σε κάθε εκτέλεση, και μια απόκλιση στρογγυλοποίησης μερικές φορές αρκεί για να γείρει η επιλογή μεταξύ δύο σχεδόν ισοπίθανων tokens. Αν η περίπτωση χρήσης σας απαιτεί μέγιστη αναπαραγωγιμότητα, συνδυάστε το temperature=0 με ένα random_seed όταν το μοντέλο το υποστηρίζει.

Πώς λειτουργεί το Top P (Δειγματοληψία Πυρήνα)

Το Top P δρα μετά τη θερμοκρασία, στην κατανομή που έχει ήδη διαμορφώσει. Η αρχή του δεν είναι να παραμορφώνει τις πιθανότητες αλλά να περικόπτει τη λίστα των υποψηφίων, κρατώντας μόνο τα tokens των οποίων το αθροιστικό άθροισμα πιθανοτήτων φτάνει το κατώφλι P. Η πλήρης ακολουθία εκτυλίσσεται σε τέσσερα βήματα:

  1. Το μοντέλο υπολογίζει τις πιθανότητες για κάθε token
  2. Η θερμοκρασία τροποποιεί αυτές τις πιθανότητες
  3. Τα tokens ταξινομούνται κατά φθίνουσα πιθανότητα
  4. Το Top P κρατά τα tokens μέχρι να επιτευχθεί το αθροιστικό κατώφλι

Συγκεκριμένα, ένα top_p 0.1 αφήνει ζωντανούς μόνο μια χούφτα υποψήφιους—χρήσιμο όταν η αναμενόμενη απάντηση είναι πραγματική και σχεδόν μοναδική. Στο 0.95, σχεδόν ολόκληρο το εύλογο λεξιλόγιο παραμένει σε συναγωνισμό, κάτι που ταιριάζει σε ένα αίτημα για επινόηση.

# Top P = 0.1 — very restrictive, only the most probable tokens
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "The capital of France is"}],
    temperature=0.7,
    top_p=0.1  # Only the top 10% of the probability mass
)

# Top P = 0.95 — broad, almost all tokens considered
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "Invent a new word for a feeling."}],
    temperature=0.7,
    top_p=0.95
)

Ο Χρυσός Κανόνας: Μία Παράμετρος τη Φορά

Η Mistral συνιστά ρητά να μην ρυθμίζετε ταυτόχρονα τη θερμοκρασία και το top_p. Ο λόγος προκύπτει από τα προηγούμενα: και τα δύο δρουν στην ίδια κατανομή, το ένα παραμορφώνοντάς την, το άλλο περικόπτοντάς την. Τα αποτελέσματά τους πολλαπλασιάζονται με απρόβλεπτους τρόπους και χάνετε κάθε ικανότητα να αποδώσετε μια αλλαγή συμπεριφοράς στο ένα ή στο άλλο κατά τη διάρκεια των δοκιμών. Επιλέξτε τον μοχλό σας και αφήστε τον άλλον στην προεπιλεγμένη τιμή του.

# GOOD — adjust temperature, top_p default
response = client.chat.complete(
    model="mistral-large-latest",
    messages=messages,
    temperature=0.3  # top_p remains at 1.0 by default
)

# GOOD — adjust top_p, temperature default
response = client.chat.complete(
    model="mistral-large-latest",
    messages=messages,
    top_p=0.5  # temperature remains at 0.7 by default
)

# AVOID — both at the same time
response = client.chat.complete(
    model="mistral-large-latest",
    messages=messages,
    temperature=0.2,
    top_p=0.5  # Unpredictable interaction
)

Βαθμονόμηση ανά Περίπτωση Χρήσης

Αντί να επιλέγετε μια θερμοκρασία ad hoc, ονομάστε τις διαμορφώσεις σας και σκεφτείτε με βάση τον στόχο. Η εξαγωγή και η ταξινόμηση στοχεύουν σε μια ακριβή, αναπαραγώγιμη απάντηση, άρα 0.0. Η σύνοψη παραμένει πιστή στο κείμενο προέλευσης με λίγη ρευστότητα, άρα 0.3. Η υποβοηθούμενη γραφή αναζητά φυσικότητα χωρίς περιττή δημιουργικότητα, στο 0.5· τα conversational chatbots χρειάζονται ποικίλες απαντήσεις, στο 0.7· ο καταιγισμός ιδεών απαιτεί μέγιστη δημιουργικότητα, στο 1.2. Σε όλες τις περιπτώσεις, το top_p παραμένει στο 1.0, σύμφωνα με τον προηγούμενο κανόνα.

# Data Extraction / Classification
# Objective: exact, reproducible response
CONFIG_EXTRACTION = {"temperature": 0.0, "top_p": 1.0}

# Summarization / Reformulation
# Objective: faithful to source text with some fluidity
CONFIG_SUMMARY = {"temperature": 0.3, "top_p": 1.0}

# Assisted Writing / Professional Email
# Objective: natural but not too creative
CONFIG_WRITING = {"temperature": 0.5, "top_p": 1.0}

# Conversational Chatbot
# Objective: varied and natural responses
CONFIG_CHATBOT = {"temperature": 0.7, "top_p": 1.0}

# Brainstorming / Idea Generation
# Objective: maximum creativity
CONFIG_CREATIVE = {"temperature": 1.2, "top_p": 1.0}

# Usage
def smart_complete(client, messages, task_type="chatbot"):
    configs = {
        "extraction": CONFIG_EXTRACTION,
        "summary": CONFIG_SUMMARY,
        "writing": CONFIG_WRITING,
        "chatbot": CONFIG_CHATBOT,
        "creative": CONFIG_CREATIVE,
    }
    config = configs.get(task_type, CONFIG_CHATBOT)

    return client.chat.complete(
        model="mistral-large-latest",
        messages=messages,
        **config
    )

Πειραματιστείτε Μεθοδικά

Αυτές οι τιμές είναι σημεία εκκίνησης, όχι απόλυτες αλήθειες. Για να βρείτε τη σωστή ρύθμιση για τη δική σας εργασία, πρέπει να μετρήσετε, και μια μόνο δοκιμή ανά θερμοκρασία δεν μετράει τίποτα. Η παρακάτω συνάρτηση εκτελεί πέντε δημιουργίες για κάθε δοκιμαζόμενη τιμή και μετρά τις μοναδικές απαντήσεις: αυτός είναι ο δείκτης ποικιλίας σας. Μια εργασία που αποδίδει 5/5 μοναδικές απαντήσεις στο T=0.3 σηματοδοτεί ένα prompt που είναι πολύ ανοιχτό, πολύ περισσότερο από μια κακώς επιλεγμένη θερμοκρασία.

def test_temperature_range(client, messages, temperatures):
    """Tests multiple temperatures on the same prompt."""
    results = []
    for temp in temperatures:
        responses = []
        for _ in range(5):  # 5 trials per temperature
            r = client.chat.complete(
                model="mistral-large-latest",
                messages=messages,
                temperature=temp,
                max_tokens=200
            )
            responses.append(r.choices[0].message.content)

        # Measure diversity
        unique = len(set(responses))
        results.append({
            "temperature": temp,
            "unique_responses": unique,
            "sample": responses[0][:100]
        })

    for r in results:
        print(f"T={r['temperature']:.1f} | {r['unique_responses']}/5 unique | {r['sample']}...")

# Test
test_temperature_range(
    client,
    [{"role": "user", "content": "Give a productivity tip."}],
    [0.0, 0.3, 0.7, 1.0, 1.5]
)

Βασικά σημεία

  • Η θερμοκρασία τροποποιεί το σχήμα της κατανομής πιθανοτήτων των tokens
  • Το Top P περικόπτει την κατανομή κρατώντας τα πιο πιθανά tokens
  • Ποτέ να μην ρυθμίζετε και τα δύο ταυτόχρονα—τροποποιήστε μία παράμετρο, κρατήστε την άλλη στην προεπιλογή
  • Το temperature=0 δεν είναι απόλυτα ντετερμινιστικό λόγω στρογγυλοποίησης GPU
  • Βαθμονομήστε με μεθοδικές δοκιμές: 5+ δοκιμές ανά διαμόρφωση, μετρήστε την ποικιλία