Preskok na glavno vsebino
Slovenščina— Izberite jezik
Meni

Temperatura in Top P do podrobnosti

Lekcija 13 od 16 Posodobljeno 2. november 2026 Razvijalec
Na tej strani
  1. Obvladovanje naključnosti izhoda
  2. Kako deluje temperatura
  3. Kako deluje Top P (vzorčenje jedra)
  4. Zlato pravilo: en parameter naenkrat
  5. Umerjanje glede na primer uporabe
  6. Sistematično eksperimentiraj
  7. Ključne ugotovitve

Obvladovanje naključnosti izhoda

Osnove parametrov temperature in top_p si že spoznal v lekciji 3. Zdaj je čas za poglobitev: kako ta dva parametra matematično vplivata na generiranje, kako ju umeriti za specifične primere uporabe in zakaj je njuna hkratna uporaba klasičen vir težav v produkcijskih okoljih.

Kako deluje temperatura

Ob vsakem koraku generiranja model izračuna porazdelitev verjetnosti za celoten besednjak: kateri žeton sledi in z kakšno verjetnostjo. Temperatura poseže v to porazdelitev pred vzorčenjem in spremeni njeno obliko.

Med 0,0 in 0,3 porazdelitev postane „koničasta”: najbolj verjeten žeton močno prevlada nad ostalimi, zaradi česar je model skoraj determinističen. To želiš pri ekstrakciji ali klasifikaciji, kjer morata dva enaka klica proizvesti enake rezultate. Med 0,4 in 0,8 se vzpostavi ravnovesje med koherenco in raznolikostjo – to je najpogostejše območje v produkciji, ki se uporablja za klepetalne botove in pomoč pri pisanju. Nad to mejo, od 0,9 do 1,5, se porazdelitev splošči: znatno manj verjetni žetoni zdaj dobijo realno možnost izbire. Kreativnost narašča, a z njo narašča tudi tveganje za nekoherentnost, in to hkrati.

Naslednji poskus ta pojav naredi otipljiv z namerno banalnim stavkom.

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))

prompt = [
    {"role": "system", "content": "Complete the sentence with a single word."},
    {"role": "user", "content": "The color of the sky is..."}
]

# Temperature 0 — always the same response
for i in range(3):
    r = client.chat.complete(model="mistral-large-latest", messages=prompt, temperature=0.0, max_tokens=5)
    print(f"T=0.0 trial {i+1}: {r.choices[0].message.content}")
# blue, blue, blue

# Temperature 1.5 — varied responses
for i in range(3):
    r = client.chat.complete(model="mistral-large-latest", messages=prompt, temperature=1.5, max_tokens=5)
    print(f"T=1.5 trial {i+1}: {r.choices[0].message.content}")
# blue, azure, turquoise (varies)

Potrebna je ena razjasnitev glede temperature=0: tudi pri tej vrednosti se lahko med dvema klicema pojavijo rahla odstopanja. Vzrok ni v modelu, temveč v strojni opremi – operacije s plavajočo vejico na GPE-jih ne zagotavljajo identičnega vrstnega reda ovrednotenja ob vsakem izvajanju, včasih pa že razlika pri zaokroževanju zadostuje, da se tehtnica nagne v korist enega od dveh skoraj enako verjetnih žetonov. Če tvoj primer uporabe zahteva največjo ponovljivost, kombiniraj temperature=0 s parametrom random_seed, če ga model podpira.

Kako deluje Top P (vzorčenje jedra)

Top P deluje po temperaturi, na porazdelitvi, ki jo je ta že preoblikovala. Njegovo načelo ni popačenje verjetnosti, temveč okrnitev seznama kandidatov, pri čemer ohrani le tiste žetone, katerih kumulativna vsota verjetnosti doseže prag P. Celoten zaporedje poteka v štirih korakih:

  1. Model izračuna verjetnosti za vsak žeton
  2. Temperatura spremeni te verjetnosti
  3. Žetoni se razvrstijo po padajoči verjetnosti
  4. Top P obdrži žetone, dokler ni dosežen kumulativni prag

Konkretno top_p z vrednostjo 0,1 ohrani le peščico kandidatov – kar je uporabno, ko je pričakovan odgovor dejanski in skoraj edinstven. Pri 0,95 ostane v izboru skoraj celoten smiseln besednjak, kar ustreza zahtevi po izumljanju.

# Top P = 0.1 — very restrictive, only the most probable tokens
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "The capital of France is"}],
    temperature=0.7,
    top_p=0.1  # Only the top 10% of the probability mass
)

# Top P = 0.95 — broad, almost all tokens considered
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "Invent a new word for a feeling."}],
    temperature=0.7,
    top_p=0.95
)

Zlato pravilo: en parameter naenkrat

Mistral izrecno priporoča, da ne prilagajaš temperature in top_p hkrati. Razlog izhaja iz zgoraj navedenega: oba delujeta na isto porazdelitev, prvi jo popači, drugi jo odreže. Njuna učinka se nepredvidljivo množita in med testiranjem izgubiš sposobnost, da bi spremembo vedenja pripisal enemu ali drugemu parametru. Izberi svojo vzvod in drugega pusti na privzeti vrednosti.

# GOOD — adjust temperature, top_p default
response = client.chat.complete(
    model="mistral-large-latest",
    messages=messages,
    temperature=0.3  # top_p remains at 1.0 by default
)

# GOOD — adjust top_p, temperature default
response = client.chat.complete(
    model="mistral-large-latest",
    messages=messages,
    top_p=0.5  # temperature remains at 0.7 by default
)

# AVOID — both at the same time
response = client.chat.complete(
    model="mistral-large-latest",
    messages=messages,
    temperature=0.2,
    top_p=0.5  # Unpredictable interaction
)

Umerjanje glede na primer uporabe

Namesto ad hoc izbire temperature poimenuj svoje konfiguracije in razmišljaj glede na cilj. Ekstrakcija in klasifikacija ciljata na točen, ponovljiv odgovor, torej 0,0. Povzemanje ostane zvesto izvornemu besedilu z nekaj tekočnosti, torej 0,3. Pomoč pri pisanju išče naravnost brez odvečne kreativnosti, pri 0,5; konverzacijski klepetalni boti potrebujejo raznolike odgovore, pri 0,7; možganska nevihta zahteva največjo kreativnost, pri 1,2. V vseh primerih ostane top_p na vrednosti 1,0, v skladu s prejšnjim pravilom.

# Data Extraction / Classification
# Objective: exact, reproducible response
CONFIG_EXTRACTION = {"temperature": 0.0, "top_p": 1.0}

# Summarization / Reformulation
# Objective: faithful to source text with some fluidity
CONFIG_SUMMARY = {"temperature": 0.3, "top_p": 1.0}

# Assisted Writing / Professional Email
# Objective: natural but not too creative
CONFIG_WRITING = {"temperature": 0.5, "top_p": 1.0}

# Conversational Chatbot
# Objective: varied and natural responses
CONFIG_CHATBOT = {"temperature": 0.7, "top_p": 1.0}

# Brainstorming / Idea Generation
# Objective: maximum creativity
CONFIG_CREATIVE = {"temperature": 1.2, "top_p": 1.0}

# Usage
def smart_complete(client, messages, task_type="chatbot"):
    configs = {
        "extraction": CONFIG_EXTRACTION,
        "summary": CONFIG_SUMMARY,
        "writing": CONFIG_WRITING,
        "chatbot": CONFIG_CHATBOT,
        "creative": CONFIG_CREATIVE,
    }
    config = configs.get(task_type, CONFIG_CHATBOT)

    return client.chat.complete(
        model="mistral-large-latest",
        messages=messages,
        **config
    )

Sistematično eksperimentiraj

Te vrednosti so izhodišča, ne absolutne resnice. Da bi našel pravo nastavitev za svojo nalogo, moraš meriti, en sam poskus na temperaturo pa ne pove nič. Spodnja funkcija za vsako testirano vrednost izvede pet generiranj in prešteje edinstvene odgovore: to je tvoj kazalnik raznolikosti. Naloga, ki pri T=0,3 vrne 5/5 edinstvenih odgovorov, signalizira poziv, ki je preveč odprt, kar je veliko bolj problematično kot slabo izbrana temperatura.

def test_temperature_range(client, messages, temperatures):
    """Tests multiple temperatures on the same prompt."""
    results = []
    for temp in temperatures:
        responses = []
        for _ in range(5):  # 5 trials per temperature
            r = client.chat.complete(
                model="mistral-large-latest",
                messages=messages,
                temperature=temp,
                max_tokens=200
            )
            responses.append(r.choices[0].message.content)

        # Measure diversity
        unique = len(set(responses))
        results.append({
            "temperature": temp,
            "unique_responses": unique,
            "sample": responses[0][:100]
        })

    for r in results:
        print(f"T={r['temperature']:.1f} | {r['unique_responses']}/5 unique | {r['sample']}...")

# Test
test_temperature_range(
    client,
    [{"role": "user", "content": "Give a productivity tip."}],
    [0.0, 0.3, 0.7, 1.0, 1.5]
)

Ključne ugotovitve

  • Temperatura spremeni obliko porazdelitve verjetnosti žetonov
  • Top P okrniti porazdelitev tako, da obdrži najbolj verjetne žetone
  • Nikoli ne prilagajaj obeh hkrati – spremeni en parameter, drugega pusti privzetega
  • temperature=0 ni popolnoma deterministična zaradi zaokroževanja na GPE-jih
  • Umerjaj s sistematičnim testiranjem: 5+ poskusov na konfiguracijo, meri raznolikost