Prejsť na hlavný obsah
Slovenčina— Vyberte jazyk
Menu

Hĺbkový pohľad na teplotu a Top P

Lekcia 13 z 16 Aktualizované 2. novembra 2026 Vývojár
Na tejto strane
  1. Ovládnutie náhodnosti výstupu
  2. Ako funguje teplota
  3. Ako funguje Top P (vzorkovanie jadrom)
  4. Zlaté pravidlo: Jeden parameter naraz
  5. Kalibrácia podľa prípadu použitia
  6. Experimentuj metodicky
  7. Kľúčové poznatky

Ovládnutie náhodnosti výstupu

Základy parametrov temperature a top_p si prebral v lekcii 3. Teraz je čas ísť do hĺbky: ako tieto dva parametre matematicky ovplyvňujú generovanie, ako ich kalibrovať pre konkrétne prípady použitia a prečo je ich kombinácia klasickým zdrojom problémov v produkcii.

Ako funguje teplota

V každom kroku generovania model vypočíta rozdelenie pravdepodobnosti nad celou slovnou zásobou: ktorý token príde ďalší a s akou pravdepodobnosťou. Teplota zasahuje do tohto rozdelenia pred vzorkovaním a mení jeho tvar.

Medzi 0,0 a 0,3 sa rozdelenie stáva „hrotitým“: najpravdepodobnejší token masívne dominuje ostatným, čo robí model kvázi-deterministickým. To je presne to, čo chceš pri extrakcii alebo klasifikácii, kde dve identické volania musia vyprodukovať identické výsledky. Medzi 0,4 a 0,8 nastáva rovnováha medzi koherenciou a variabilitou – toto je najbežnejší rozsah v produkcii, používaný pre chatboty a asistované písanie. Nad touto hranicou, od 0,9 do 1,5, sa rozdelenie splošťuje: výrazne menej pravdepodobné tokeny teraz majú reálnu šancu byť vybrané. Kreativita rastie, ale spolu s ňou rastie aj riziko nekoherencie.

Nasledujúci experiment robí tento jav hmatateľným pomocou zámerne všednej vety.

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))

prompt = [
    {"role": "system", "content": "Complete the sentence with a single word."},
    {"role": "user", "content": "The color of the sky is..."}
]

# Temperature 0 — always the same response
for i in range(3):
    r = client.chat.complete(model="mistral-large-latest", messages=prompt, temperature=0.0, max_tokens=5)
    print(f"T=0.0 trial {i+1}: {r.choices[0].message.content}")
# blue, blue, blue

# Temperature 1.5 — varied responses
for i in range(3):
    r = client.chat.complete(model="mistral-large-latest", messages=prompt, temperature=1.5, max_tokens=5)
    print(f"T=1.5 trial {i+1}: {r.choices[0].message.content}")
# blue, azure, turquoise (varies)

Je potrebné jedno objasnenie týkajúce sa temperature=0: aj pri tejto hodnote sa môžu medzi dvoma volaniami objaviť malé variácie. Príčina nespočíva v modeli, ale v hardvéri – operácie s pohyblivou desatinnou čiarkou na GPU nezaručujú identické poradie vyhodnotenia pri každom spustení a niekedy stačí aj nepatrná rozdielnosť v zaokrúhľovaní, aby sa rozhodnutie priklonilo k inému z dvoch takmer rovnako pravdepodobných tokenov. Ak tvoj prípad použitia vyžaduje maximálnu reprodukovateľnosť, skombinuj temperature=0 s parametrom random_seed, ak ho model podporuje.

Ako funguje Top P (vzorkovanie jadrom)

Top P pôsobí po teplote, na rozdelení, ktoré už bolo ňou upravené. Jeho princípom nie je skresľovať pravdepodobnosti, ale orezávať zoznam kandidátov tak, aby zostali len tokeny, ktorých kumulatívny súčet pravdepodobností dosiahne prah P. Celý postup prebieha v štyroch krokoch:

  1. Model vypočíta pravdepodobnosti pre každý token
  2. Teplota upraví tieto pravdepodobnosti
  3. Tokeny sa zoradia podľa klesajúcej pravdepodobnosti
  4. Top P ponechá tokeny, kým sa nedosiahne kumulatívny prah

Konkrétne hodnota top_p 0,1 ponechá nažive len hŕstku kandidátov – čo je užitočné, keď je očakávaná odpoveď faktická a takmer jedinečná. Pri hodnote 0,95 zostáva v súťaži takmer celá pravdepodobná slovná zásoba, čo vyhovuje požiadavke na tvorivosť.

# Top P = 0.1 — very restrictive, only the most probable tokens
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "The capital of France is"}],
    temperature=0.7,
    top_p=0.1  # Only the top 10% of the probability mass
)

# Top P = 0.95 — broad, almost all tokens considered
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "Invent a new word for a feeling."}],
    temperature=0.7,
    top_p=0.95
)

Zlaté pravidlo: Jeden parameter naraz

Spoločnosť Mistral výslovne odporúča neupravovať súčasne teplotu aj top_p. Dôvod vyplýva z predchádzajúceho: oba parametre pôsobia na to isté rozdelenie, jeden ho skresľuje a druhý ho orezáva. Ich efekty sa násobia nepredvídateľným spôsobom a počas testovania stratíš schopnosť pripísať zmenu správania jednému alebo druhému parametru. Vyber si svoju páku a druhú nechaj na predvolenej hodnote.

# GOOD — adjust temperature, top_p default
response = client.chat.complete(
    model="mistral-large-latest",
    messages=messages,
    temperature=0.3  # top_p remains at 1.0 by default
)

# GOOD — adjust top_p, temperature default
response = client.chat.complete(
    model="mistral-large-latest",
    messages=messages,
    top_p=0.5  # temperature remains at 0.7 by default
)

# AVOID — both at the same time
response = client.chat.complete(
    model="mistral-large-latest",
    messages=messages,
    temperature=0.2,
    top_p=0.5  # Unpredictable interaction
)

Kalibrácia podľa prípadu použitia

Namiesto ad hoc výberu teploty pomenuj svoje konfigurácie a uvažuj podľa cieľa. Extrakcia a klasifikácia cieľia na presnú, reprodukovateľnú odpoveď, teda 0,0. Zhrnutie zostáva verné zdrojovému textu s trochou plynulosti, teda 0,3. Asistované písanie hľadá prirodzenosť bez nadbytočnej kreativity, teda 0,5; konverzačné chatboty potrebujú variabilné odpovede, teda 0,7; brainstorming si vyžaduje maximálnu kreativitu, teda 1,2. Vo všetkých prípadoch zostáva top_p na hodnote 1,0 v súlade s predchádzajúcim pravidlom.

# Data Extraction / Classification
# Objective: exact, reproducible response
CONFIG_EXTRACTION = {"temperature": 0.0, "top_p": 1.0}

# Summarization / Reformulation
# Objective: faithful to source text with some fluidity
CONFIG_SUMMARY = {"temperature": 0.3, "top_p": 1.0}

# Assisted Writing / Professional Email
# Objective: natural but not too creative
CONFIG_WRITING = {"temperature": 0.5, "top_p": 1.0}

# Conversational Chatbot
# Objective: varied and natural responses
CONFIG_CHATBOT = {"temperature": 0.7, "top_p": 1.0}

# Brainstorming / Idea Generation
# Objective: maximum creativity
CONFIG_CREATIVE = {"temperature": 1.2, "top_p": 1.0}

# Usage
def smart_complete(client, messages, task_type="chatbot"):
    configs = {
        "extraction": CONFIG_EXTRACTION,
        "summary": CONFIG_SUMMARY,
        "writing": CONFIG_WRITING,
        "chatbot": CONFIG_CHATBOT,
        "creative": CONFIG_CREATIVE,
    }
    config = configs.get(task_type, CONFIG_CHATBOT)

    return client.chat.complete(
        model="mistral-large-latest",
        messages=messages,
        **config
    )

Experimentuj metodicky

Tieto hodnoty sú východiskovými bodmi, nie absolútnymi pravdami. Aby si našiel správne nastavenie pre svoju vlastnú úlohu, musíš merať a jeden pokus na teplotu ti nepovie nič. Funkcia nižšie spustí päť generovaní pre každú testovanú hodnotu a spočíta unikátne odpovede: toto je tvoj indikátor diverzity. Úloha, ktorá pri T=0,3 vyprodukuje 5/5 unikátnych odpovedí, signalizuje príliš otvorený prompt, oveľa viac než zle zvolenú teplotu.

def test_temperature_range(client, messages, temperatures):
    """Tests multiple temperatures on the same prompt."""
    results = []
    for temp in temperatures:
        responses = []
        for _ in range(5):  # 5 trials per temperature
            r = client.chat.complete(
                model="mistral-large-latest",
                messages=messages,
                temperature=temp,
                max_tokens=200
            )
            responses.append(r.choices[0].message.content)

        # Measure diversity
        unique = len(set(responses))
        results.append({
            "temperature": temp,
            "unique_responses": unique,
            "sample": responses[0][:100]
        })

    for r in results:
        print(f"T={r['temperature']:.1f} | {r['unique_responses']}/5 unique | {r['sample']}...")

# Test
test_temperature_range(
    client,
    [{"role": "user", "content": "Give a productivity tip."}],
    [0.0, 0.3, 0.7, 1.0, 1.5]
)

Kľúčové poznatky

  • Teplota mení tvar rozdelenia pravdepodobnosti tokenov
  • Top P orezáva rozdelenie tým, že ponecháva len najpravdepodobnejšie tokeny
  • Nikdy neupravuj oba parametre súčasne – uprav jeden parameter a druhý nechaj na predvolenej hodnote
  • temperature=0 nie je dokonale deterministická kvôli zaokrúhľovaniu na GPU
  • Kalibruj pomocou metodického testovania: 5+ pokusov na konfiguráciu, meraj diverzitu