Hőmérséklet
Ezen az oldalon
A modell kreativitásának szabályozása
Eddig a promptod tartalmára összpontosítottunk. Most egy ugyanilyen hatalmas eszközt vizsgálunk meg: a generálási paramétereket. Az első és legfontosabb közülük a hőmérséklet (temperature). Ez közvetlenül befolyásolja a tokenek valószínűségi eloszlását, és eldönti, hogy a modell determinisztikusan viselkedjen-e – azaz hívásról hívásra előre látható, szinte azonos válaszokat adjon –, vagy kreatívan, változatos és néha meglepő kimenetet generáljon. Ugyanaz a prompt két különböző hőmérsékleten elküldve eredményezhet egy józan műszaki specifikációt vagy egy váratlan irányokba kalandozó szöveget. E paraméter megértése elengedhetetlen ahhoz, hogy a Mistral modell viselkedését minden egyes használathoz igazítsd.
Hogyan működik a hőmérséklet
Emlékezz vissza az alapmechanizmusra: minden generálási lépésnél a modell kiszámítja az összes lehetséges token valószínűségét, majd kiválaszt egyet. A hőmérséklet módosítja ennek az eloszlásnak az alakját a kiválasztás előtt. Alacsony hőmérsékletnél, közel a 0-hoz, az eloszlás „élessé“ válik: a modell szinte kizárólag a legvalószínűbb tokenekre fókuszál, így a válaszok előre láthatóak és konzisztensek lesznek. Ha 0,1-es hőmérsékleten kérdezed meg Olaszország fővárosát, szinte minden alkalommal ugyanazt a mondatot kapod.
Magas hőmérsékletnél, közel az 1-hez, az eloszlás ezzel szemben „kilaposodik“: a kevésbé valószínű tokenek ismét elérhetővé válnak, a modell szélesebb körű lehetséges szekvenciákat vesz figyelembe, és a válaszok változatosabbá válnak – néha a koherencia rovására. Pont ezt akarod agyviharozáskor, és pont ezt kell elkerülnöd adatok kinyerésekor. Az alábbi táblázat összefoglalja a hasznos tartományokat.
| Hőmérséklet | Viselkedés | Felhasználási területek |
|---|---|---|
| 0.0 | Szinte determinisztikus, mindig a legvalószínűbb tokent választja | Adatkinyerés, osztályozás, ténybeli válaszok |
| 0.1 - 0.3 | Nagyon előre látható, enyhe variációkkal | Kódgenerálás, fordítás, műszaki dokumentáció |
| 0.4 - 0.6 | Egyensúly a koherencia és a változatosság között | Professzionális írás, átfogalmazás, összefoglalás |
| 0.7 - 0.8 | Kreatív, jó koherenciával | Agyviharozás, marketing szövegek, történetmesélés |
| 0.9 - 1.0 | Nagyon kreatív, meglepő, néha inkonzisztens | Költészet, fikció, szabad ötletelés, felfedezés |
A hőmérséklet használata a Mistral API-val
Az API-ban a hőmérsékletet egyszerű hívási paraméterként adjuk meg. Hasonlítsd össze ezt a két kérést: az első ténybeli és stabil választ vár, a második változatosságot keres.
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
# Alacsony hőmérséklet: ténybeli és determinisztikus válasz
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": "What is the ROI formula?"}],
temperature=0.1
)
# Magas hőmérséklet: kreatív és változatos válasz
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": "Invent a slogan for an organic coffee brand."}],
temperature=0.8
)
A 0-s hőmérséklet nem tökéletesen determinisztikus
Egy gyakori tévhitet azonnal el kell oszlatni: még temperature=0 esetén is előfordulhatnak enyhe eltérések a Mistral válaszai között egyik kérésről a másikra. Ennek oka hardveres tényezőkben rejlik – a lebegőpontos számítások, a GPU-párhuzamosítás –, amelyek apró kerekítési különbségeket vezetnek be, és ezek néha elegendőek ahhoz, hogy egy token kiválasztását elbillentsék. Tehát ha olyan automatizált teszteket vagy benchmarkokat építesz, ahol a reprodukálhatóság kritikus fontosságú, ne támaszkodj kizárólag a temperature=0-ra: kombináld az alacsony hőmérsékletet egy kódszintű ellenőrzéssel, amely a válasz tartalmát validálja, nem pedig annak pontos formáját.
A hőmérséklet igazítása a kontextushoz
Nézzük meg, hogyan működik ez a beállítás három tipikus szakmai helyzetben. Osztályozás vagy kinyerés esetén azt szeretnéd, hogy ugyanaz az ügyfélvélemény mindig ugyanazt az ítéletet hozza: ehhez 0-s hőmérséklet kell.
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "system", "content": "Classify the sentiment: positive, neutral, negative."},
{"role": "user", "content": "The product works correctly."}
],
temperature=0.0
)
Marketing szövegeknél a túl gépies válasz unalmas lenne; 0,7-es értéken a modell változtatja a megfogalmazást, miközben koherens marad – ideális több hook előállítására és a legjobb kiválasztására.
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "system", "content": "You are a creative copywriter."},
{"role": "user", "content": "Write 3 hooks for an email campaign."}
],
temperature=0.7
)
Végül agyviharozáshoz menj fel 0,9-ig: elfogadod, hogy néhány ötlet túlzott lesz, hiszen később úgyis kiszűröd őket. Tíz lead, amelyből három kiváló, jobb, mint öt lead, amelyek mind ésszerűek, de mindet láttad már.
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Propose 10 innovative feature ideas for a fitness app."}
],
temperature=0.9
)
Kísérletezz a megfelelő beállítás megtalálásához
Nincs univerzálisan optimális hőmérséklet: a helyes érték a promptodtól, a modelltől és a változékonysággal szembeni toleranciádtól függ. Az egyetlen megbízható módszer a szigorúan végrehajtott kísérletezés:
- Indulj ki a modell alapértelmezett értékéből
- Teszteld a promptodat 3-4 különböző hőmérsékleten (0,1; 0,4; 0,7; 0,9)
- Hasonlítsd össze az eredményeket értékenként 5-10 futtatás alapján
- Azonosítsd azt az értéket, amely a te esetedben a legjobb koherencia/változatosság arányt kínálja
- Dokumentáld a választott beállítást a promptoddal együtt
Ezt az utolsó pontot gyakran figyelmen kívül hagyják: egy production prompt hőmérséklet nélkül csak félig specifikált; kollégád más beállítással használja majd, és csodálkozni fog, miért kap eltérő eredményeket.
Főbb megállapítások
- A hőmérséklet szabályozza a modell kreativitási szintjét a determinizmussal szemben
- Alacsony értékek (0–0,3) ténybeli feladatokhoz, magas értékek (0,7–1,0) kreatív feladatokhoz
- Még 0-s hőmérsékleten is előfordulhatnak enyhe variációk
- Kísérletezz több értékkel az optimális beállítás megtalálásához
- Production környezetben mindig dokumentáld a promptjaidhoz használt hőmérsékletet