Top P és magmintavételezés
Ezen az oldalon
Egy második eszköz a generálás szabályozására
Az előző leckében megismerkedtél a generálás szabályozásának első eszközével: a hőmérséklettel. A Top P, más néven magmintavételezés (nucleus sampling), ennek természetes kiegészítője. Míg a hőmérséklet a teljes valószínűségi eloszlást módosítja, addig a Top P szűrőként működik, amely korlátozza a jelölt tokenek számát. Mindkét paraméter befolyásolja a válaszok változatosságát, de teljesen eltérő mechanizmusokon keresztül – és éppen ez a különbség teszi lehetővé, hogy finomhangold a Mistral modellek viselkedését, ahelyett, hogy véletlenszerűen tekernéd a gombokat.
Hogyan működik a Top P?
Vegyük át újra a generálási folyamatot. Minden lépésnél a modell valószínűséget számít ki minden lehetséges tokenre. A Top P három szakaszban lép közbe: először a hőmérséklet módosítja a valószínűségeket; ezután a tokeneket csökkenő valószínűség szerint rendezzük, és összeadjuk a valószínűségeiket kumulatívan; végül csak azok a tokenek maradnak meg, amelyek kumulatív valószínűsége nem lépi túl a Top P küszöbértéket. A végső választás kizárólag ezek közül a „túlélők“ közül történik.
Egy példa tisztázza a mechanizmust. Képzeld el, hogy a modellnek ki kell választania a következő szót a „The cat is on the“ („A macska a …“) kifejezés után:
| Token | Valószínűség | Kumulatív |
|---|---|---|
| roof | 0.35 | 0.35 |
| bed | 0.25 | 0.60 |
| sofa | 0.15 | 0.75 |
| floor | 0.10 | 0.85 |
| ledge | 0.05 | 0.90 |
| wall | 0.03 | 0.93 |
| … | … | … |
Top P = 0.75 esetén csak a „roof“, „bed“ és „sofa“ tokenek maradnak meg, mivel kumulatív összegük pontosan eléri a 0.75-öt: a modell kizárólag e három lehetőség közül választ. Top P = 0.90 esetén a „floor“ és a „ledge“ is játékba jön. A táblázatból egyértelmű az általános szabály: minél magasabb a Top P értéke, annál több jelöltet vesz figyelembe a modell.
Top P kontra hőmérséklet: mi a különbség?
Mivel mindkét paraméter a változatosságot szabályozza, azt hihetnéd, hogy felcserélhetők. Nem azok. A hőmérséklet az eloszlás alakját változtatja meg: egy magas érték ellaposítja a görbét, és fokozatosan hozzáférhetővé teszi a kevésbé valószínű tokeneket anélkül, hogy bármelyiket is kizárná. Ezzel szemben a Top P levágja az eloszlást: a küszöbérték alatti tokeneket teljesen figyelmen kívül hagyja, függetlenül a maradék valószínűségüktől.
Jegyezd meg ezt a képet: a hőmérséklet egy „puha“ beállítás, amely fokozatosan állít, míg a Top P egy „éles“ beállítás, amely befogad vagy kizár. Kreatív szövegeknél a magas hőmérséklet mérsékelt Top P-vel párosítva lehetővé teszi a fantázia szárnyalását, miközben megakadályozza, hogy a válasz valóban valószínűtlen irányba sodródjon – ez gyakran a legkényelmesebb kombináció.
A Top P használata a Mistral API-val
A kódban a paramétert egyszerűen hozzáadjuk a híváshoz, a hőmérséklet mellé:
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Propose a name for an AI startup."}
],
temperature=0.7,
top_p=0.9
)
Mikor érdemes módosítani a Top P értékét?
Az alacsony Top P érték (0.1 és 0.5 között) a legvalószínűbb lehetőségekre fókuszálja a modellt – ez a maximális pontosság. Ez a helyes választás akkor, ha a várt válasz egy zárt halmazból kerül ki, mint például ennél a szigorú osztályozásnál:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "system", "content": "Respond only with: positive, neutral, or negative."},
{"role": "user", "content": "Classify: The product arrived in good condition."}
],
temperature=0.0,
top_p=0.3
)
A közepes Top P érték (0.5 és 0.8 között) a legtöbb szakmai feladathoz illik: a szöveg koherens marad anélkül, hogy monotonná válna. Ez a módja egy jelentésnek, összefoglalónak vagy dokumentum-bevezetőnek:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Write the introduction for a report on cybersecurity in SMEs."}
],
temperature=0.5,
top_p=0.7
)
Végül a magas Top P érték (0.8 és 1.0 között) teret nyit a kreativitás és az ötletelés előtt – elfogadsz kevésbé valószínű jelölteket is, hogy a dobozon kívüli javaslatokat kapj:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Invent 5 innovative restaurant concepts."}
],
temperature=0.9,
top_p=0.95
)
A gyakorlati szabály: egyszerre csak egy paramétert állíts
A Mistral dokumentációja módszertani megközelítést javasol, amelyet már az első teszteidtől kezdve fogadj magadévá: állítsd a Top P-t 1.0-ra (nincs szűrés), és csak a hőmérsékletet módosítsd, vagy állítsd a hőmérsékletet 1.0-ra, és csak a Top P-t változtasd; csak ezután finomítsd a második paramétert, ha szükséges. Az ok egyszerű: ha egyszerre változtatsz mindkettőn, és a viselkedés megváltozik, nem fogod tudni, melyik okozta a változást. Ugyanaz a reflex, mint a hibakeresésnél: egyszerre csak egy változót módosítasz.
Hogy konkrét kiindulópontokat adjunk: az adatkiegyezés vagy JSON-kimenet esetén általában a temperature=0.0, top_p=1.0 beállítás a jellemző; szakmai íráshoz a temperature=0.4, top_p=0.9; kreatív generáláshoz a temperature=0.8, top_p=0.95; kód vagy technikai tartalom esetén pedig a temperature=0.2, top_p=0.9. Ezek az értékek csupán kiindulópontok – a specifikus használati esetedhez elengedhetetlen a kísérletezés.
Főbb megállapítások
- A Top P kumulatív valószínűségi küszöbérték alapján szűri a jelölt tokeneket
- Ellentétben a hőmérséklettel, amely puhítja az eloszlást, a Top P levágja azt
- A hatás megértéséhez egyszerre csak egy paramétert módosíts
- Alacsony Top P = fókuszált válaszok, magas Top P = változatos válaszok
- Kezdd csak a hőmérséklettel, és a Top P hozzáadásával finomíts