A hőmérséklet és a Top P mélyrehatóan
Ezen az oldalon
A kimeneti véletlenszerűség elsajátítása
A 3. leckében már átvettük a temperature és a top_p alapjait. Most mélyebbre ásunk: hogyan befolyásolja ez a két paraméter matematikailag a szöveggenerálást, hogyan kalibráld őket konkrét használati esetekre, és miért válik a kombinálásuk gyakran gyártási hibák forrásává.
Hogyan működik a hőmérséklet (Temperature)
A generálás minden egyes lépésében a modell valószínűségi eloszlást számít ki a teljes szókészletre: melyik token következik, és mekkora valószínűséggel. A hőmérséklet a mintavételezés előtt avatkozik be ebbe az eloszlásba, megváltoztatva annak alakját.
0,0 és 0,3 között az eloszlás „tüskössé“ válik: a legvalószínűbb token hatalmas mértékben dominál a többiek felett, így a modell kvázi determinisztikussá válik. Erre van szükséged adatkiextrakciónál vagy osztályozásnál, ahol két azonos hívásnak azonos eredményt kell produkálnia. 0,4 és 0,8 között egyensúly alakul ki a koherencia és a változatosság között – ez a leggyakoribb tartomány éles környezetben, chatbotokhoz és asszisztált íráshoz használják. Efelett, 0,9 és 1,5 között az eloszlás ellaposodik: a jelentősen kevésbé valószínű tokeneknek is reális esélyük nyílik a kiválasztásra. A kreativitás nő, de vele párhuzamosan a koherencia hiányának kockázata is.
Az alábbi kísérlet kézzelfoghatóvá teszi ezt a jelenséget egy szándékosan hétköznapi mondattal.
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))
prompt = [
{"role": "system", "content": "Complete the sentence with a single word."},
{"role": "user", "content": "The color of the sky is..."}
]
# Temperature 0 — always the same response
for i in range(3):
r = client.chat.complete(model="mistral-large-latest", messages=prompt, temperature=0.0, max_tokens=5)
print(f"T=0.0 trial {i+1}: {r.choices[0].message.content}")
# blue, blue, blue
# Temperature 1.5 — varied responses
for i in range(3):
r = client.chat.complete(model="mistral-large-latest", messages=prompt, temperature=1.5, max_tokens=5)
print(f"T=1.5 trial {i+1}: {r.choices[0].message.content}")
# blue, azure, turquoise (varies)
Egy pontosítás szükséges a temperature=0 kapcsán: ennél az értéknél is előfordulhatnak apró eltérések két hívás között. Ennek oka nem a modellben, hanem a hardverben rejlik – a GPU-kon végzett lebegőpontos műveletek nem garantálják az azonos kiértékelési sorrendet minden futtatás alkalmával, és egy kerekítési eltérés néha elég ahhoz, hogy billentsen a választáson két szinte egyenlő valószínűségű token között. Ha a használati eseted maximális reprodukálhatóságot igényel, kombináld a temperature=0 értéket egy random_seed paraméterrel, amennyiben a modell támogatja azt.
Hogyan működik a Top P (Nukleusz mintavételezés)
A Top P a hőmérséklet után lép működésbe, azon az eloszláson, amelyet az már átformált. Elve nem a valószínűségek torzítása, hanem a jelöltek listájának csonkolása: csak azokat a tokeneket tartja meg, amelyek kumulatív valószínűségi összege eléri a P küszöböt. A teljes folyamat négy lépésben zajlik:
- A modell kiszámítja az egyes tokenek valószínűségét
- A hőmérséklet módosítja ezeket a valószínűségeket
- A tokeneket csökkenő valószínűség szerint rendezzük
- A Top P addig tartja meg a tokeneket, amíg el nem éri a kumulatív küszöböt
Konkrétan: a 0,1-es top_p érték csak maroknyi jelöltet hagy életben – ez akkor hasznos, ha a várt válasz tényalapú és szinte egyedi. 0,95 esetén a teljes plauzibilis szókészlet szinte versenyben marad, ami megfelel egy alkotói jellegű kérésnek.
# Top P = 0.1 — very restrictive, only the most probable tokens
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": "The capital of France is"}],
temperature=0.7,
top_p=0.1 # Only the top 10% of the probability mass
)
# Top P = 0.95 — broad, almost all tokens considered
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": "Invent a new word for a feeling."}],
temperature=0.7,
top_p=0.95
)
Az aranyszabály: egyszerre csak egy paraméter
A Mistral kifejezetten azt javasolja, hogy ne állítsd egyszerre a hőmérsékletet és a top_p értéket. Az ok az előzőekből következik: mindkettő ugyanarra az eloszlásra hat, az egyik torzítja, a másik levágja belőle. Hatásaik kiszámíthatatlan módon szorzódnak, és tesztelés közben elveszíted annak lehetőségét, hogy egy viselkedésbeli változást az egyik vagy a másik paraméternek tulajdoníts. Válaszd ki a szabályozó karodat, és hagyd a másikat az alapértelmezett értéken.
# GOOD — adjust temperature, top_p default
response = client.chat.complete(
model="mistral-large-latest",
messages=messages,
temperature=0.3 # top_p remains at 1.0 by default
)
# GOOD — adjust top_p, temperature default
response = client.chat.complete(
model="mistral-large-latest",
messages=messages,
top_p=0.5 # temperature remains at 0.7 by default
)
# AVOID — both at the same time
response = client.chat.complete(
model="mistral-large-latest",
messages=messages,
temperature=0.2,
top_p=0.5 # Unpredictable interaction
)
Kalibrálás használati esetek szerint
Ahelyett, hogy ad hoc módon választanál hőmérsékletet, nevezd el a konfigurációidat, és célok szerint gondolkodj. Az adatkiextrakció és osztályozás pontos, reprodukálható választ céloz, tehát 0,0. Az összefoglalás hű marad a forrásszöveghez némi folyékonysággal, tehát 0,3. Az asszisztált írás a természetességre törekszik felesleges kreativitás nélkül, ez 0,5; a beszélgetős chatbotok változatos válaszokat igényelnek, ez 0,7; az ötletelés maximális kreativitást követel, ez 1,2. Minden esetben a top_p értéke 1,0 marad, összhangban az előző szabállyal.
# Data Extraction / Classification
# Objective: exact, reproducible response
CONFIG_EXTRACTION = {"temperature": 0.0, "top_p": 1.0}
# Summarization / Reformulation
# Objective: faithful to source text with some fluidity
CONFIG_SUMMARY = {"temperature": 0.3, "top_p": 1.0}
# Assisted Writing / Professional Email
# Objective: natural but not too creative
CONFIG_WRITING = {"temperature": 0.5, "top_p": 1.0}
# Conversational Chatbot
# Objective: varied and natural responses
CONFIG_CHATBOT = {"temperature": 0.7, "top_p": 1.0}
# Brainstorming / Idea Generation
# Objective: maximum creativity
CONFIG_CREATIVE = {"temperature": 1.2, "top_p": 1.0}
# Usage
def smart_complete(client, messages, task_type="chatbot"):
configs = {
"extraction": CONFIG_EXTRACTION,
"summary": CONFIG_SUMMARY,
"writing": CONFIG_WRITING,
"chatbot": CONFIG_CHATBOT,
"creative": CONFIG_CREATIVE,
}
config = configs.get(task_type, CONFIG_CHATBOT)
return client.chat.complete(
model="mistral-large-latest",
messages=messages,
**config
)
Kísérletezz módszeresen
Ezek az értékek kiindulópontok, nem abszolút igazságok. Ahhoz, hogy megtaláld a saját feladatodhoz illő beállítást, mérned kell, és egyetlen próbálkozás hőmérsékletenként semmit sem mér. Az alábbi függvény öt generálást futtat le minden tesztelt értékre, és megszámolja az egyedi válaszokat: ez a változatosság mutatód. Ha egy feladat T=0,3 esetén 5/5 egyedi választ produkál, az azt jelzi, hogy a prompt túl nyitott, sokkal inkább, mint hogy rosszul választottad volna meg a hőmérsékletet.
def test_temperature_range(client, messages, temperatures):
"""Tests multiple temperatures on the same prompt."""
results = []
for temp in temperatures:
responses = []
for _ in range(5): # 5 trials per temperature
r = client.chat.complete(
model="mistral-large-latest",
messages=messages,
temperature=temp,
max_tokens=200
)
responses.append(r.choices[0].message.content)
# Measure diversity
unique = len(set(responses))
results.append({
"temperature": temp,
"unique_responses": unique,
"sample": responses[0][:100]
})
for r in results:
print(f"T={r['temperature']:.1f} | {r['unique_responses']}/5 unique | {r['sample']}...")
# Test
test_temperature_range(
client,
[{"role": "user", "content": "Give a productivity tip."}],
[0.0, 0.3, 0.7, 1.0, 1.5]
)
Főbb megállapítások
- A hőmérséklet módosítja a token-valószínűségi eloszlás alakját
- A Top P csonkolja az eloszlást a legvalószínűbb tokenekek megtartásával
- Soha ne állítsd egyszerre mindkettőt – módosíts egy paramétert, a másikat hagyd alapértelmezetten
- A
temperature=0nem tökéletesen determinisztikus a GPU kerekítési hibái miatt - Kalibrálj módszeres teszteléssel: konfigurációnként 5+ próbálkozás, mérd a változatosságot