Ugrás a főtartalomra
Magyar— Nyelv kiválasztása
Menü

A hőmérséklet és a Top P mélyrehatóan

13. lecke 16 közül Frissítve 2026. november 2. Fejlesztő
Ezen az oldalon
  1. A kimeneti véletlenszerűség elsajátítása
  2. Hogyan működik a hőmérséklet (Temperature)
  3. Hogyan működik a Top P (Nukleusz mintavételezés)
  4. Az aranyszabály: egyszerre csak egy paraméter
  5. Kalibrálás használati esetek szerint
  6. Kísérletezz módszeresen
  7. Főbb megállapítások

A kimeneti véletlenszerűség elsajátítása

A 3. leckében már átvettük a temperature és a top_p alapjait. Most mélyebbre ásunk: hogyan befolyásolja ez a két paraméter matematikailag a szöveggenerálást, hogyan kalibráld őket konkrét használati esetekre, és miért válik a kombinálásuk gyakran gyártási hibák forrásává.

Hogyan működik a hőmérséklet (Temperature)

A generálás minden egyes lépésében a modell valószínűségi eloszlást számít ki a teljes szókészletre: melyik token következik, és mekkora valószínűséggel. A hőmérséklet a mintavételezés előtt avatkozik be ebbe az eloszlásba, megváltoztatva annak alakját.

0,0 és 0,3 között az eloszlás „tüskössé“ válik: a legvalószínűbb token hatalmas mértékben dominál a többiek felett, így a modell kvázi determinisztikussá válik. Erre van szükséged adatkiextrakciónál vagy osztályozásnál, ahol két azonos hívásnak azonos eredményt kell produkálnia. 0,4 és 0,8 között egyensúly alakul ki a koherencia és a változatosság között – ez a leggyakoribb tartomány éles környezetben, chatbotokhoz és asszisztált íráshoz használják. Efelett, 0,9 és 1,5 között az eloszlás ellaposodik: a jelentősen kevésbé valószínű tokeneknek is reális esélyük nyílik a kiválasztásra. A kreativitás nő, de vele párhuzamosan a koherencia hiányának kockázata is.

Az alábbi kísérlet kézzelfoghatóvá teszi ezt a jelenséget egy szándékosan hétköznapi mondattal.

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))

prompt = [
    {"role": "system", "content": "Complete the sentence with a single word."},
    {"role": "user", "content": "The color of the sky is..."}
]

# Temperature 0 — always the same response
for i in range(3):
    r = client.chat.complete(model="mistral-large-latest", messages=prompt, temperature=0.0, max_tokens=5)
    print(f"T=0.0 trial {i+1}: {r.choices[0].message.content}")
# blue, blue, blue

# Temperature 1.5 — varied responses
for i in range(3):
    r = client.chat.complete(model="mistral-large-latest", messages=prompt, temperature=1.5, max_tokens=5)
    print(f"T=1.5 trial {i+1}: {r.choices[0].message.content}")
# blue, azure, turquoise (varies)

Egy pontosítás szükséges a temperature=0 kapcsán: ennél az értéknél is előfordulhatnak apró eltérések két hívás között. Ennek oka nem a modellben, hanem a hardverben rejlik – a GPU-kon végzett lebegőpontos műveletek nem garantálják az azonos kiértékelési sorrendet minden futtatás alkalmával, és egy kerekítési eltérés néha elég ahhoz, hogy billentsen a választáson két szinte egyenlő valószínűségű token között. Ha a használati eseted maximális reprodukálhatóságot igényel, kombináld a temperature=0 értéket egy random_seed paraméterrel, amennyiben a modell támogatja azt.

Hogyan működik a Top P (Nukleusz mintavételezés)

A Top P a hőmérséklet után lép működésbe, azon az eloszláson, amelyet az már átformált. Elve nem a valószínűségek torzítása, hanem a jelöltek listájának csonkolása: csak azokat a tokeneket tartja meg, amelyek kumulatív valószínűségi összege eléri a P küszöböt. A teljes folyamat négy lépésben zajlik:

  1. A modell kiszámítja az egyes tokenek valószínűségét
  2. A hőmérséklet módosítja ezeket a valószínűségeket
  3. A tokeneket csökkenő valószínűség szerint rendezzük
  4. A Top P addig tartja meg a tokeneket, amíg el nem éri a kumulatív küszöböt

Konkrétan: a 0,1-es top_p érték csak maroknyi jelöltet hagy életben – ez akkor hasznos, ha a várt válasz tényalapú és szinte egyedi. 0,95 esetén a teljes plauzibilis szókészlet szinte versenyben marad, ami megfelel egy alkotói jellegű kérésnek.

# Top P = 0.1 — very restrictive, only the most probable tokens
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "The capital of France is"}],
    temperature=0.7,
    top_p=0.1  # Only the top 10% of the probability mass
)

# Top P = 0.95 — broad, almost all tokens considered
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "Invent a new word for a feeling."}],
    temperature=0.7,
    top_p=0.95
)

Az aranyszabály: egyszerre csak egy paraméter

A Mistral kifejezetten azt javasolja, hogy ne állítsd egyszerre a hőmérsékletet és a top_p értéket. Az ok az előzőekből következik: mindkettő ugyanarra az eloszlásra hat, az egyik torzítja, a másik levágja belőle. Hatásaik kiszámíthatatlan módon szorzódnak, és tesztelés közben elveszíted annak lehetőségét, hogy egy viselkedésbeli változást az egyik vagy a másik paraméternek tulajdoníts. Válaszd ki a szabályozó karodat, és hagyd a másikat az alapértelmezett értéken.

# GOOD — adjust temperature, top_p default
response = client.chat.complete(
    model="mistral-large-latest",
    messages=messages,
    temperature=0.3  # top_p remains at 1.0 by default
)

# GOOD — adjust top_p, temperature default
response = client.chat.complete(
    model="mistral-large-latest",
    messages=messages,
    top_p=0.5  # temperature remains at 0.7 by default
)

# AVOID — both at the same time
response = client.chat.complete(
    model="mistral-large-latest",
    messages=messages,
    temperature=0.2,
    top_p=0.5  # Unpredictable interaction
)

Kalibrálás használati esetek szerint

Ahelyett, hogy ad hoc módon választanál hőmérsékletet, nevezd el a konfigurációidat, és célok szerint gondolkodj. Az adatkiextrakció és osztályozás pontos, reprodukálható választ céloz, tehát 0,0. Az összefoglalás hű marad a forrásszöveghez némi folyékonysággal, tehát 0,3. Az asszisztált írás a természetességre törekszik felesleges kreativitás nélkül, ez 0,5; a beszélgetős chatbotok változatos válaszokat igényelnek, ez 0,7; az ötletelés maximális kreativitást követel, ez 1,2. Minden esetben a top_p értéke 1,0 marad, összhangban az előző szabállyal.

# Data Extraction / Classification
# Objective: exact, reproducible response
CONFIG_EXTRACTION = {"temperature": 0.0, "top_p": 1.0}

# Summarization / Reformulation
# Objective: faithful to source text with some fluidity
CONFIG_SUMMARY = {"temperature": 0.3, "top_p": 1.0}

# Assisted Writing / Professional Email
# Objective: natural but not too creative
CONFIG_WRITING = {"temperature": 0.5, "top_p": 1.0}

# Conversational Chatbot
# Objective: varied and natural responses
CONFIG_CHATBOT = {"temperature": 0.7, "top_p": 1.0}

# Brainstorming / Idea Generation
# Objective: maximum creativity
CONFIG_CREATIVE = {"temperature": 1.2, "top_p": 1.0}

# Usage
def smart_complete(client, messages, task_type="chatbot"):
    configs = {
        "extraction": CONFIG_EXTRACTION,
        "summary": CONFIG_SUMMARY,
        "writing": CONFIG_WRITING,
        "chatbot": CONFIG_CHATBOT,
        "creative": CONFIG_CREATIVE,
    }
    config = configs.get(task_type, CONFIG_CHATBOT)

    return client.chat.complete(
        model="mistral-large-latest",
        messages=messages,
        **config
    )

Kísérletezz módszeresen

Ezek az értékek kiindulópontok, nem abszolút igazságok. Ahhoz, hogy megtaláld a saját feladatodhoz illő beállítást, mérned kell, és egyetlen próbálkozás hőmérsékletenként semmit sem mér. Az alábbi függvény öt generálást futtat le minden tesztelt értékre, és megszámolja az egyedi válaszokat: ez a változatosság mutatód. Ha egy feladat T=0,3 esetén 5/5 egyedi választ produkál, az azt jelzi, hogy a prompt túl nyitott, sokkal inkább, mint hogy rosszul választottad volna meg a hőmérsékletet.

def test_temperature_range(client, messages, temperatures):
    """Tests multiple temperatures on the same prompt."""
    results = []
    for temp in temperatures:
        responses = []
        for _ in range(5):  # 5 trials per temperature
            r = client.chat.complete(
                model="mistral-large-latest",
                messages=messages,
                temperature=temp,
                max_tokens=200
            )
            responses.append(r.choices[0].message.content)

        # Measure diversity
        unique = len(set(responses))
        results.append({
            "temperature": temp,
            "unique_responses": unique,
            "sample": responses[0][:100]
        })

    for r in results:
        print(f"T={r['temperature']:.1f} | {r['unique_responses']}/5 unique | {r['sample']}...")

# Test
test_temperature_range(
    client,
    [{"role": "user", "content": "Give a productivity tip."}],
    [0.0, 0.3, 0.7, 1.0, 1.5]
)

Főbb megállapítások

  • A hőmérséklet módosítja a token-valószínűségi eloszlás alakját
  • A Top P csonkolja az eloszlást a legvalószínűbb tokenekek megtartásával
  • Soha ne állítsd egyszerre mindkettőt – módosíts egy paramétert, a másikat hagyd alapértelmezetten
  • A temperature=0 nem tökéletesen determinisztikus a GPU kerekítési hibái miatt
  • Kalibrálj módszeres teszteléssel: konfigurációnként 5+ próbálkozás, mérd a változatosságot