Salt la conținutul principal
Română— Alege o limbă
Meniu

Temperature și Top P în detaliu

Lecția 13 din 16 Actualizată 2 noiembrie 2026 Dezvoltator
Pe această pagină
  1. Stăpânirea aleatorizării ieșirilor
  2. Cum funcționează Temperature
  3. Cum funcționează Top P (Eșantionarea Nucleului)
  4. Regula de aur: Un singur parametru simultan
  5. Calibrare pe cazuri de utilizare
  6. Experimentați metodic
  7. Puncte cheie

Stăpânirea aleatorizării ieșirilor

Ați parcurs noțiunile de bază despre temperature și top_p în Lecția 3. Este momentul să aprofundați: cum influențează matematic acești doi parametri generarea, cum să îi calibrați pentru cazuri de utilizare specifice și de ce combinarea lor reprezintă o sursă clasică de probleme în producție.

Cum funcționează Temperature

La fiecare pas de generare, modelul calculează o distribuție de probabilitate pe întregul vocabular: care este următorul token și cu ce probabilitate apare. Parametrul temperature intervine asupra acestei distribuții înainte de eșantionare, modificându-i forma.

Între 0.0 și 0.3, distribuția devine „ascuțită“: tokenul cel mai probabil domină masiv celelalte, făcând modelul cvasi-determinist. Acesta este comportamentul dorit pentru extracție sau clasificare, unde două apeluri identice trebuie să producă rezultate identice. Între 0.4 și 0.8, apare un echilibru între coerență și varietate—acesta este intervalul cel mai frecvent în producție, utilizat pentru chatboți și scriere asistată. Dincolo de acest prag, de la 0.9 la 1.5, distribuția se aplatizează: tokenurile semnificativ mai puțin probabile au acum o șansă realistică de a fi selectate. Creativitatea crește, dar și riscul de incoerență, ambele evoluând simultan.

Experimentul următor face acest fenomen tangibil folosind o propoziție deliberat banală.

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))

prompt = [
    {"role": "system", "content": "Complete the sentence with a single word."},
    {"role": "user", "content": "The color of the sky is..."}
]

# Temperature 0 — always the same response
for i in range(3):
    r = client.chat.complete(model="mistral-large-latest", messages=prompt, temperature=0.0, max_tokens=5)
    print(f"T=0.0 trial {i+1}: {r.choices[0].message.content}")
# blue, blue, blue

# Temperature 1.5 — varied responses
for i in range(3):
    r = client.chat.complete(model="mistral-large-latest", messages=prompt, temperature=1.5, max_tokens=5)
    print(f"T=1.5 trial {i+1}: {r.choices[0].message.content}")
# blue, azure, turquoise (varies)

O clarificare este necesară privind temperature=0: chiar și la această valoare, pot apărea ușoare variații între două apeluri. Cauza nu rezidă în model, ci în hardware—operațiile în virgulă mobilă pe GPU nu garantează o ordine de evaluare identică la fiecare execuție, iar o discrepanță de rotunjire este uneori suficientă pentru a înclina alegerea între doi tokenuri cvasi-echiprobabili. Dacă cazul dumneavoastră de utilizare impune reproductibilitate maximă, combinați temperature=0 cu un random_seed, atunci când modelul suportă această opțiune.

Cum funcționează Top P (Eșantionarea Nucleului)

Top P acționează după temperature, asupra distribuției pe care aceasta a remodelat-o deja. Principiul său nu este distorsionarea probabilităților, ci trunchierea listei de candidați, păstrând doar tokenurile a căror sumă cumulată a probabilităților atinge pragul P. Secvența completă se desfășoară în patru pași:

  1. Modelul calculează probabilitățile pentru fiecare token
  2. Temperature modifică aceste probabilități
  3. Tokenurile sunt sortate în ordine descrescătoare a probabilității
  4. Top P reține tokenurile până când se atinge pragul cumulativ

Concret, un top_p de 0.1 lasă în viață doar câțiva candidați—util atunci când răspunsul așteptat este factual și cvasi-unic. La 0.95, aproape întregul vocabular plauzibil rămâne în competiție, ceea ce se potrivește unei cereri de invenție.

# Top P = 0.1 — very restrictive, only the most probable tokens
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "The capital of France is"}],
    temperature=0.7,
    top_p=0.1  # Only the top 10% of the probability mass
)

# Top P = 0.95 — broad, almost all tokens considered
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "Invent a new word for a feeling."}],
    temperature=0.7,
    top_p=0.95
)

Regula de aur: Un singur parametru simultan

Mistral recomandă explicit să nu ajustați temperature și top_p simultan. Motivul decurge din cele prezentate anterior: ambii acționează asupra aceleiași distribuții, unul distorsionând-o, celălalt trunchiind-o. Efectele lor se multiplică în moduri imprevizibile, iar dumneavoastră pierdeți orice capacitate de a atribui o schimbare de comportament unuia sau celuilalt parametru în timpul testelor. Alegeți pârghia dorită și lăsați-o pe cealaltă la valoarea implicită.

# GOOD — adjust temperature, top_p default
response = client.chat.complete(
    model="mistral-large-latest",
    messages=messages,
    temperature=0.3  # top_p remains at 1.0 by default
)

# GOOD — adjust top_p, temperature default
response = client.chat.complete(
    model="mistral-large-latest",
    messages=messages,
    top_p=0.5  # temperature remains at 0.7 by default
)

# AVOID — both at the same time
response = client.chat.complete(
    model="mistral-large-latest",
    messages=messages,
    temperature=0.2,
    top_p=0.5  # Unpredictable interaction
)

Calibrare pe cazuri de utilizare

În loc să alegeți o temperatură ad-hoc, denumiți-vă configurațiile și raționați în funcție de obiectiv. Extracția și clasificarea vizează un răspuns exact și reproductibil, deci 0.0. Rezumarea rămâne fidelă textului sursă cu puțină fluiditate, deci 0.3. Scrierea asistată caută naturalețea fără creativitate superfluă, la 0.5; chatboții conversaționali au nevoie de răspunsuri variate, la 0.7; brainstorming-ul cere creativitate maximă, la 1.2. În toate cazurile, top_p rămâne la 1.0, conform regulii precedente.

# Data Extraction / Classification
# Objective: exact, reproducible response
CONFIG_EXTRACTION = {"temperature": 0.0, "top_p": 1.0}

# Summarization / Reformulation
# Objective: faithful to source text with some fluidity
CONFIG_SUMMARY = {"temperature": 0.3, "top_p": 1.0}

# Assisted Writing / Professional Email
# Objective: natural but not too creative
CONFIG_WRITING = {"temperature": 0.5, "top_p": 1.0}

# Conversational Chatbot
# Objective: varied and natural responses
CONFIG_CHATBOT = {"temperature": 0.7, "top_p": 1.0}

# Brainstorming / Idea Generation
# Objective: maximum creativity
CONFIG_CREATIVE = {"temperature": 1.2, "top_p": 1.0}

# Usage
def smart_complete(client, messages, task_type="chatbot"):
    configs = {
        "extraction": CONFIG_EXTRACTION,
        "summary": CONFIG_SUMMARY,
        "writing": CONFIG_WRITING,
        "chatbot": CONFIG_CHATBOT,
        "creative": CONFIG_CREATIVE,
    }
    config = configs.get(task_type, CONFIG_CHATBOT)

    return client.chat.complete(
        model="mistral-large-latest",
        messages=messages,
        **config
    )

Experimentați metodic

Aceste valori sunt puncte de plecare, nu adevăruri absolute. Pentru a găsi setarea potrivită pentru propria sarcină, trebuie să măsurați, iar o singură încercare per temperatură nu măsoară nimic. Funcția de mai jos rulează cinci generări pentru fiecare valoare testată și numără răspunsurile unice: acesta este indicatorul dumneavoastră de diversitate. O sarcină care produce 5/5 răspunsuri unice la T=0.3 semnalează un prompt prea deschis, mult mai mult decât o temperatură aleasă greșit.

def test_temperature_range(client, messages, temperatures):
    """Tests multiple temperatures on the same prompt."""
    results = []
    for temp in temperatures:
        responses = []
        for _ in range(5):  # 5 trials per temperature
            r = client.chat.complete(
                model="mistral-large-latest",
                messages=messages,
                temperature=temp,
                max_tokens=200
            )
            responses.append(r.choices[0].message.content)

        # Measure diversity
        unique = len(set(responses))
        results.append({
            "temperature": temp,
            "unique_responses": unique,
            "sample": responses[0][:100]
        })

    for r in results:
        print(f"T={r['temperature']:.1f} | {r['unique_responses']}/5 unique | {r['sample']}...")

# Test
test_temperature_range(
    client,
    [{"role": "user", "content": "Give a productivity tip."}],
    [0.0, 0.3, 0.7, 1.0, 1.5]
)

Puncte cheie

  • Temperature modifică forma distribuției de probabilitate a tokenurilor
  • Top P trunchiază distribuția păstrând tokenurile cele mai probabile
  • Nu ajustați niciodată ambii parametri simultan—modificați unul, mențineți-l pe celălalt la valoarea implicită
  • temperature=0 nu este perfect determinist din cauza rotunjirilor GPU
  • Calibrați prin testare metodică: 5+ încercări per configurație, măsurați diversitatea