Lähe põhisisu juurde
Eesti— Vali keel
Menüü

Top P ja tuumasempling

Õppetund 10 / 16 Värskendatud 2. november 2026 Algajatele
Sellel lehel
  1. Teine hoob generatsiooni juhtimiseks
  2. Kuidas Top P töötab
  3. Top P vs temperatuur: mis vahe neil on?
  4. Top P kasutamine Mistrali API-ga
  5. Millal Top P-d kohandada
  6. Praktiline reegel: kohanda ühte parameetrit korraga
  7. Peamised punktid

Teine hoob generatsiooni juhtimiseks

Eelmises õppetükis said tutvuda esimese hoobaga generatsiooni kontrollimiseks: temperatuuriga. Top P, mida nimetatakse ka tuumasemplinguks, on selle loomulik täiendus. Kui temperatuur muudab kogu tõenäosusjaotust, siis Top P toimib filtrina, mis piirab kandidaattokenite arvu. Mõlemad parameetrid mõjutavad vastuste mitmekesisust, kuid teevad seda väga erinevate mehhanismide kaudu – just see erinevus võimaldab sul Mistrali mudeli käitumist täpselt häälestada, mitte nuppe juhuslikult keerata.

Kuidas Top P töötab

Vaatan generatsiooniprotsessi uuesti läbi. Igal sammul arvutab mudel iga võimaliku tokeni tõenäosuse. Top P astub mängu kolmes etapis: esmalt kohandatakse tõenäosusi temperatuuri abil; seejärel sorteeritakse tokenid kahanevas tõenäosusjärjekorras ja liidetakse nende tõenäosused kumulatiivselt; lõpuks jäetakse alles vaid need tokenid, mille kumulatiivne tõenäosus ei ületa Top P lävendit. Lõplik valik tehakse ainult nende ellujäänute seast.

Näide selgitab mehhanismi. Kujuta ette, et mudel peab valima järgmise sõna fraasile „Kass on“:

TokenTõenäosusKumulatiivne
katusel0.350.35
voodis0.250.60
diivanil0.150.75
põrandal0.100.85
aknalaual0.050.90
seinal0.030.93
………

Kui Top P = 0.75, jäävad alles vaid „katusel“, „voodis“ ja „diivanil“, kuna nende summaarne tõenäosus ulatub täpselt 0.75-ni: mudel valib ainult nende kolme variandi seast. Kui Top P = 0.90, tulevad mängu ka „põrandal“ ja „aknalaual“. Tabelist on selge üldreegel: mida suurem on Top P, seda rohkem kandidaate arvestatakse.

Top P vs temperatuur: mis vahe neil on?

Kuna mõlemad parameetrid kontrollivad mitmekesisust, võid arvata, et need on omavahel asendatavad. Nad ei ole. Temperatuur muudab jaotuse kuju: kõrge väärtus lamendab kõverat ja muudab ebatõenäolised tokenid järk-järgult kättesaadavamaks, välistamata seejuures ühtegi neist. Top P seevastu lõikab jaotuse: lävendist allapoole jäävad tokenid ignoreeritakse täielikult, sõltumata nende jääktõenäosusest.

Jäta endale meelde see pilt: temperatuur on „pehme“ säte, mis kohandub järk-järgult, samas kui Top P on „terav“ säte, mis kas kaasab või välistab. Loometekstide puhul võimaldab kõrge temperatuur koos mõõduka Top P-ga fantaasiat, hoides samas eemale tõeliselt ebatõenäolistest tokenitest – see on sageli kõige mugavam kombinatsioon.

Top P kasutamine Mistrali API-ga

Koodis lisatakse parameeter lihtsalt väljakutsesse, kõrvuti temperatuuriga:

from mistralai.client import Mistral

client = Mistral(api_key="your-api-key")

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "Propose a name for an AI startup."}
    ],
    temperature=0.7,
    top_p=0.9
)

Millal Top P-d kohandada

Madal Top P, vahemikus 0.1 kuni 0.5, koondab mudeli kõige tõenäolisematele valikutele – maksimaalne täpsus. See on õige valik, kui oodatav vastus kuulub suletud hulka, nagu selles ranges klassifitseerimises:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "system", "content": "Respond only with: positive, neutral, or negative."},
        {"role": "user", "content": "Classify: The product arrived in good condition."}
    ],
    temperature=0.0,
    top_p=0.3
)

Keskmine Top P, vahemikus 0.5 kuni 0.8, sobib enamiku professionaalsete ülesannete jaoks: tekst jääb sidusaks, muutumata monotoonseks. See on režiim aruande, kokkuvõtte või dokumendi sissejuhatuse jaoks:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "Write the introduction for a report on cybersecurity in SMEs."}
    ],
    temperature=0.5,
    top_p=0.7
)

Lõpuks, kõrge Top P, vahemikus 0.8 kuni 1.0, avab värava loovusele ja ideede uurimisele – nõustud vähem tõenäoliste kandidaatidega, et saada kastist väljas olevaid ettepanekuid:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "Invent 5 innovative restaurant concepts."}
    ],
    temperature=0.9,
    top_p=0.95
)

Praktiline reegel: kohanda ühte parameetrit korraga

Mistrali dokumentatsioon soovitab meetodilist lähenemist, mida peaksid rakendama juba esimestest testidest alates: sea Top P väärtuseks 1.0 (filtreerimata) ja kohanda ainult temperatuuri, või sea temperatuuriks 1.0 ja kohanda ainult Top P-d; alles seejärel täpsusta vajadusel teist parameetrit. Põhjus on lihtne: kui muudad mõlemat samaaegselt ja käitumine muutub, ei tea sa, kumb neist vastutav on. See on sama refleks kui silumisel – muudad korraga ainult ühte muutujat.

Konkreetsete lähtepunktide andmiseks: andmete ekstraheerimine või JSON-väljund seatakse tüüpiliselt väärtustele temperature=0.0, top_p=1.0; professionaalne kirjutamine väärtustele temperature=0.4, top_p=0.9; loov generatsioon väärtustele temperature=0.8, top_p=0.95; ning kood või tehniline sisu väärtustele temperature=0.2, top_p=0.9. Need väärtused on vaid lähtepunktid – katsetamine jääb sinu konkreetse kasutusjuhu jaoks hädavajalikuks.

Peamised punktid

  • Top P filtreerib kandidaattokeneid kumulatiivse tõenäosuse lävendi põhjal
  • Erinevalt temperatuurist, mis pehmendab jaotust, lõikab Top P seda
  • Kohanda ühte parameetrit korraga, et mõista selle mõju
  • Madal Top P = fokuseeritud vastused, kõrge Top P = mitmekesised vastused
  • Alusta ainult temperatuuriga, lisa Top P täpsustamiseks