Preskoči na glavni sadržaj
Hrvatski— Odaberite jezik
Izbornik

Temperatura i Top P u detalje

Lekcija 13 od 16 Ažurirano 2. studenoga 2026. Programer
Na ovoj stranici
  1. Savladavanje nasumičnosti izlaza
  2. Kako funkcionira temperatura
  3. Kako funkcionira Top P (uzorkovanje jezgre)
  4. Zlatno pravilo: Jedan parametar odjednom
  5. Kalibracija prema slučaju upotrebe
  6. Eksperimentiraj metodično
  7. Ključne točke

Savladavanje nasumičnosti izlaza

Osnove parametara temperature i top_p obradio si u Lekciji 3. Sada je vrijeme da zaronimo dublje: kako ta dva parametra matematički utječu na generiranje, kako ih kalibrirati za specifične slučajeve upotrebe i zašto je njihovo kombiniranje klasičan izvor problema u proizvodnji.

Kako funkcionira temperatura

U svakom koraku generiranja model izračunava distribuciju vjerojatnosti nad cijelim rječnikom: koji token slijedi i s kojom vjerojatnošću. Temperatura intervenira u tu distribuciju prije uzorkovanja, mijenjajući njezin oblik.

Između 0,0 i 0,3 distribucija postaje „šiljata“: najvjerojatniji token masovno dominira nad ostalima, čineći model kvazideterminističkim. To želiš kod ekstrakcije ili klasifikacije, gdje dva identična poziva moraju proizvesti identične rezultate. Između 0,4 i 0,8 uspostavlja se ravnoteža između koherencije i raznolikosti – to je najčešći raspon u proizvodnji, koji se koristi za chatbotove i asistiranu izradu teksta. Iznad toga, od 0,9 do 1,5, distribucija se izravnava: tokeni sa znatno manjom vjerojatnošću sada imaju realnu šansu biti odabrani. Kreativnost raste, ali raste i rizik od nekoherentnosti, i to zajedno.

Sljedeći eksperiment čini ovaj fenomen opipljivim koristeći namjerno banalnu rečenicu.

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))

prompt = [
    {"role": "system", "content": "Complete the sentence with a single word."},
    {"role": "user", "content": "The color of the sky is..."}
]

# Temperature 0 — always the same response
for i in range(3):
    r = client.chat.complete(model="mistral-large-latest", messages=prompt, temperature=0.0, max_tokens=5)
    print(f"T=0.0 trial {i+1}: {r.choices[0].message.content}")
# blue, blue, blue

# Temperature 1.5 — varied responses
for i in range(3):
    r = client.chat.complete(model="mistral-large-latest", messages=prompt, temperature=1.5, max_tokens=5)
    print(f"T=1.5 trial {i+1}: {r.choices[0].message.content}")
# blue, azure, turquoise (varies)

Potrebno je jedno pojašnjenje vezano uz temperature=0: čak i pri ovoj vrijednosti mogu se pojaviti male varijacije između dva poziva. Uzrok nije u modelu već u hardveru – operacije s pomičnim zarezom na GPU-ovima ne garantiraju identičan redoslijed evaluacije pri svakom izvršavanju, a ponekad je dovoljna i najmanja razlika u zaokruživanju da prevagne izbor između dva gotovo jednako vjerojatna tokena. Ako tvoj slučaj upotrebe zahtijeva maksimalnu reproduktivnost, kombiniraj temperature=0 s random_seed kada ga model podržava.

Kako funkcionira Top P (uzorkovanje jezgre)

Top P djeluje nakon temperature, na distribuciju koju je ona već oblikovala. Njegovo načelo nije iskrivljavanje vjerojatnosti, već skraćivanje popisa kandidata, zadržavajući samo one tokene čiji kumulativni zbroj vjerojatnosti doseže prag P. Cijeli se slijed odvija u četiri koraka:

  1. Model izračunava vjerojatnosti za svaki token
  2. Temperatura modificira te vjerojatnosti
  3. Tokeni se sortiraju po opadajućoj vjerojatnosti
  4. Top P zadržava tokene dok se ne dosegne kumulativni prag

Konkretno, top_p od 0,1 ostavlja živima samo šačicu kandidata – korisno kada je očekivani odgovor činjeničan i gotovo jedinstven. Pri 0,95 gotovo cijeli plausible rječnik ostaje u utrci, što odgovara zahtjevu za izmišljanjem.

# Top P = 0.1 — very restrictive, only the most probable tokens
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "The capital of France is"}],
    temperature=0.7,
    top_p=0.1  # Only the top 10% of the probability mass
)

# Top P = 0.95 — broad, almost all tokens considered
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "Invent a new word for a feeling."}],
    temperature=0.7,
    top_p=0.95
)

Zlatno pravilo: Jedan parametar odjednom

Mistral izričito preporučuje ne podešavati istovremeno temperaturu i top_p. Razlog proizlazi iz prethodnog: oba djeluju na istu distribuciju, jedan je iskrivljujući, drugi je reže. Njihovi se učinci množe na nepredvidive načine i gubiš svaku mogućnost da tijekom testiranja promjenu ponašanja pripišeš jednom ili drugom parametru. Odaberi svoju polugu, a drugu ostavi na zadanoj vrijednosti.

# GOOD — adjust temperature, top_p default
response = client.chat.complete(
    model="mistral-large-latest",
    messages=messages,
    temperature=0.3  # top_p remains at 1.0 by default
)

# GOOD — adjust top_p, temperature default
response = client.chat.complete(
    model="mistral-large-latest",
    messages=messages,
    top_p=0.5  # temperature remains at 0.7 by default
)

# AVOID — both at the same time
response = client.chat.complete(
    model="mistral-large-latest",
    messages=messages,
    temperature=0.2,
    top_p=0.5  # Unpredictable interaction
)

Kalibracija prema slučaju upotrebe

Umjesto ad hoc odabira temperature, imenuj svoje konfiguracije i razmišljaj prema cilju. Ekstrakcija i klasifikacija teže točnom, reproduktivnom odgovoru, dakle 0,0. Sažimanje ostaje vjerno izvornom tekstu uz malo fluidnosti, dakle 0,3. Asistirano pisanje traži prirodnost bez suvišne kreativnosti, na 0,5; konverzacijski chatbotovi trebaju raznolike odgovore, na 0,7; oluja ideja zahtijeva maksimalnu kreativnost, na 1,2. U svim slučajevima top_p ostaje na 1,0, u skladu s prethodnim pravilom.

# Data Extraction / Classification
# Objective: exact, reproducible response
CONFIG_EXTRACTION = {"temperature": 0.0, "top_p": 1.0}

# Summarization / Reformulation
# Objective: faithful to source text with some fluidity
CONFIG_SUMMARY = {"temperature": 0.3, "top_p": 1.0}

# Assisted Writing / Professional Email
# Objective: natural but not too creative
CONFIG_WRITING = {"temperature": 0.5, "top_p": 1.0}

# Conversational Chatbot
# Objective: varied and natural responses
CONFIG_CHATBOT = {"temperature": 0.7, "top_p": 1.0}

# Brainstorming / Idea Generation
# Objective: maximum creativity
CONFIG_CREATIVE = {"temperature": 1.2, "top_p": 1.0}

# Usage
def smart_complete(client, messages, task_type="chatbot"):
    configs = {
        "extraction": CONFIG_EXTRACTION,
        "summary": CONFIG_SUMMARY,
        "writing": CONFIG_WRITING,
        "chatbot": CONFIG_CHATBOT,
        "creative": CONFIG_CREATIVE,
    }
    config = configs.get(task_type, CONFIG_CHATBOT)

    return client.chat.complete(
        model="mistral-large-latest",
        messages=messages,
        **config
    )

Eksperimentiraj metodično

Ove su vrijednosti polazišne točke, a ne apsolutne istine. Da bi pronašao pravu postavku za svoj zadatak, moraš mjeriti, a jedan pokušaj po temperaturi ne mjeri ništa. Funkcija u nastavku pokreće pet generiranja za svaku testiranu vrijednost i broji jedinstvene odgovore: to je tvoj pokazatelj raznolikosti. Zadatak koji pri T=0,3 daje 5/5 jedinstvenih odgovora signalizira upit koji je previše otvoren, daleko više nego loše odabranu temperaturu.

def test_temperature_range(client, messages, temperatures):
    """Tests multiple temperatures on the same prompt."""
    results = []
    for temp in temperatures:
        responses = []
        for _ in range(5):  # 5 trials per temperature
            r = client.chat.complete(
                model="mistral-large-latest",
                messages=messages,
                temperature=temp,
                max_tokens=200
            )
            responses.append(r.choices[0].message.content)

        # Measure diversity
        unique = len(set(responses))
        results.append({
            "temperature": temp,
            "unique_responses": unique,
            "sample": responses[0][:100]
        })

    for r in results:
        print(f"T={r['temperature']:.1f} | {r['unique_responses']}/5 unique | {r['sample']}...")

# Test
test_temperature_range(
    client,
    [{"role": "user", "content": "Give a productivity tip."}],
    [0.0, 0.3, 0.7, 1.0, 1.5]
)

Ključne točke

  • Temperatura modificira oblik distribucije vjerojatnosti tokena
  • Top P skraćuje distribuciju zadržavajući najvjerojatnije tokene
  • Nikada ne podešavaj oba istovremeno – modificiraj jedan parametar, drugi ostavi na zadanom
  • temperature=0 nije savršeno determinističan zbog zaokruživanja na GPU-u
  • Kalibriraj metodičkim testiranjem: 5+ pokušaja po konfiguraciji, mjeri raznolikost