Ugrás a főtartalomra
Magyar— Nyelv kiválasztása
Menü

Top P és magmintavételezés

10. lecke 16 közül Frissítve 2026. november 2. Kezdő
Ezen az oldalon
  1. Egy második eszköz a generálás szabályozására
  2. Hogyan működik a Top P?
  3. Top P kontra hőmérséklet: mi a különbség?
  4. A Top P használata a Mistral API-val
  5. Mikor érdemes módosítani a Top P értékét?
  6. A gyakorlati szabály: egyszerre csak egy paramétert állíts
  7. Főbb megállapítások

Egy második eszköz a generálás szabályozására

Az előző leckében megismerkedtél a generálás szabályozásának első eszközével: a hőmérséklettel. A Top P, más néven magmintavételezés (nucleus sampling), ennek természetes kiegészítője. Míg a hőmérséklet a teljes valószínűségi eloszlást módosítja, addig a Top P szűrőként működik, amely korlátozza a jelölt tokenek számát. Mindkét paraméter befolyásolja a válaszok változatosságát, de teljesen eltérő mechanizmusokon keresztül – és éppen ez a különbség teszi lehetővé, hogy finomhangold a Mistral modellek viselkedését, ahelyett, hogy véletlenszerűen tekernéd a gombokat.

Hogyan működik a Top P?

Vegyük át újra a generálási folyamatot. Minden lépésnél a modell valószínűséget számít ki minden lehetséges tokenre. A Top P három szakaszban lép közbe: először a hőmérséklet módosítja a valószínűségeket; ezután a tokeneket csökkenő valószínűség szerint rendezzük, és összeadjuk a valószínűségeiket kumulatívan; végül csak azok a tokenek maradnak meg, amelyek kumulatív valószínűsége nem lépi túl a Top P küszöbértéket. A végső választás kizárólag ezek közül a „túlélők“ közül történik.

Egy példa tisztázza a mechanizmust. Képzeld el, hogy a modellnek ki kell választania a következő szót a „The cat is on the“ („A macska a …“) kifejezés után:

TokenValószínűségKumulatív
roof0.350.35
bed0.250.60
sofa0.150.75
floor0.100.85
ledge0.050.90
wall0.030.93
………

Top P = 0.75 esetén csak a „roof“, „bed“ és „sofa“ tokenek maradnak meg, mivel kumulatív összegük pontosan eléri a 0.75-öt: a modell kizárólag e három lehetőség közül választ. Top P = 0.90 esetén a „floor“ és a „ledge“ is játékba jön. A táblázatból egyértelmű az általános szabály: minél magasabb a Top P értéke, annál több jelöltet vesz figyelembe a modell.

Top P kontra hőmérséklet: mi a különbség?

Mivel mindkét paraméter a változatosságot szabályozza, azt hihetnéd, hogy felcserélhetők. Nem azok. A hőmérséklet az eloszlás alakját változtatja meg: egy magas érték ellaposítja a görbét, és fokozatosan hozzáférhetővé teszi a kevésbé valószínű tokeneket anélkül, hogy bármelyiket is kizárná. Ezzel szemben a Top P levágja az eloszlást: a küszöbérték alatti tokeneket teljesen figyelmen kívül hagyja, függetlenül a maradék valószínűségüktől.

Jegyezd meg ezt a képet: a hőmérséklet egy „puha“ beállítás, amely fokozatosan állít, míg a Top P egy „éles“ beállítás, amely befogad vagy kizár. Kreatív szövegeknél a magas hőmérséklet mérsékelt Top P-vel párosítva lehetővé teszi a fantázia szárnyalását, miközben megakadályozza, hogy a válasz valóban valószínűtlen irányba sodródjon – ez gyakran a legkényelmesebb kombináció.

A Top P használata a Mistral API-val

A kódban a paramétert egyszerűen hozzáadjuk a híváshoz, a hőmérséklet mellé:

from mistralai.client import Mistral

client = Mistral(api_key="your-api-key")

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "Propose a name for an AI startup."}
    ],
    temperature=0.7,
    top_p=0.9
)

Mikor érdemes módosítani a Top P értékét?

Az alacsony Top P érték (0.1 és 0.5 között) a legvalószínűbb lehetőségekre fókuszálja a modellt – ez a maximális pontosság. Ez a helyes választás akkor, ha a várt válasz egy zárt halmazból kerül ki, mint például ennél a szigorú osztályozásnál:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "system", "content": "Respond only with: positive, neutral, or negative."},
        {"role": "user", "content": "Classify: The product arrived in good condition."}
    ],
    temperature=0.0,
    top_p=0.3
)

A közepes Top P érték (0.5 és 0.8 között) a legtöbb szakmai feladathoz illik: a szöveg koherens marad anélkül, hogy monotonná válna. Ez a módja egy jelentésnek, összefoglalónak vagy dokumentum-bevezetőnek:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "Write the introduction for a report on cybersecurity in SMEs."}
    ],
    temperature=0.5,
    top_p=0.7
)

Végül a magas Top P érték (0.8 és 1.0 között) teret nyit a kreativitás és az ötletelés előtt – elfogadsz kevésbé valószínű jelölteket is, hogy a dobozon kívüli javaslatokat kapj:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "Invent 5 innovative restaurant concepts."}
    ],
    temperature=0.9,
    top_p=0.95
)

A gyakorlati szabály: egyszerre csak egy paramétert állíts

A Mistral dokumentációja módszertani megközelítést javasol, amelyet már az első teszteidtől kezdve fogadj magadévá: állítsd a Top P-t 1.0-ra (nincs szűrés), és csak a hőmérsékletet módosítsd, vagy állítsd a hőmérsékletet 1.0-ra, és csak a Top P-t változtasd; csak ezután finomítsd a második paramétert, ha szükséges. Az ok egyszerű: ha egyszerre változtatsz mindkettőn, és a viselkedés megváltozik, nem fogod tudni, melyik okozta a változást. Ugyanaz a reflex, mint a hibakeresésnél: egyszerre csak egy változót módosítasz.

Hogy konkrét kiindulópontokat adjunk: az adatkiegyezés vagy JSON-kimenet esetén általában a temperature=0.0, top_p=1.0 beállítás a jellemző; szakmai íráshoz a temperature=0.4, top_p=0.9; kreatív generáláshoz a temperature=0.8, top_p=0.95; kód vagy technikai tartalom esetén pedig a temperature=0.2, top_p=0.9. Ezek az értékek csupán kiindulópontok – a specifikus használati esetedhez elengedhetetlen a kísérletezés.

Főbb megállapítások

  • A Top P kumulatív valószínűségi küszöbérték alapján szűri a jelölt tokeneket
  • Ellentétben a hőmérséklettel, amely puhítja az eloszlást, a Top P levágja azt
  • A hatás megértéséhez egyszerre csak egy paramétert módosíts
  • Alacsony Top P = fókuszált válaszok, magas Top P = változatos válaszok
  • Kezdd csak a hőmérséklettel, és a Top P hozzáadásával finomíts