Top P ja tuumasempling
Sellel lehel
Teine hoob generatsiooni juhtimiseks
Eelmises õppetükis said tutvuda esimese hoobaga generatsiooni kontrollimiseks: temperatuuriga. Top P, mida nimetatakse ka tuumasemplinguks, on selle loomulik täiendus. Kui temperatuur muudab kogu tõenäosusjaotust, siis Top P toimib filtrina, mis piirab kandidaattokenite arvu. Mõlemad parameetrid mõjutavad vastuste mitmekesisust, kuid teevad seda väga erinevate mehhanismide kaudu – just see erinevus võimaldab sul Mistrali mudeli käitumist täpselt häälestada, mitte nuppe juhuslikult keerata.
Kuidas Top P töötab
Vaatan generatsiooniprotsessi uuesti läbi. Igal sammul arvutab mudel iga võimaliku tokeni tõenäosuse. Top P astub mängu kolmes etapis: esmalt kohandatakse tõenäosusi temperatuuri abil; seejärel sorteeritakse tokenid kahanevas tõenäosusjärjekorras ja liidetakse nende tõenäosused kumulatiivselt; lõpuks jäetakse alles vaid need tokenid, mille kumulatiivne tõenäosus ei ületa Top P lävendit. Lõplik valik tehakse ainult nende ellujäänute seast.
Näide selgitab mehhanismi. Kujuta ette, et mudel peab valima järgmise sõna fraasile „Kass on“:
| Token | Tõenäosus | Kumulatiivne |
|---|---|---|
| katusel | 0.35 | 0.35 |
| voodis | 0.25 | 0.60 |
| diivanil | 0.15 | 0.75 |
| põrandal | 0.10 | 0.85 |
| aknalaual | 0.05 | 0.90 |
| seinal | 0.03 | 0.93 |
| … | … | … |
Kui Top P = 0.75, jäävad alles vaid „katusel“, „voodis“ ja „diivanil“, kuna nende summaarne tõenäosus ulatub täpselt 0.75-ni: mudel valib ainult nende kolme variandi seast. Kui Top P = 0.90, tulevad mängu ka „põrandal“ ja „aknalaual“. Tabelist on selge üldreegel: mida suurem on Top P, seda rohkem kandidaate arvestatakse.
Top P vs temperatuur: mis vahe neil on?
Kuna mõlemad parameetrid kontrollivad mitmekesisust, võid arvata, et need on omavahel asendatavad. Nad ei ole. Temperatuur muudab jaotuse kuju: kõrge väärtus lamendab kõverat ja muudab ebatõenäolised tokenid järk-järgult kättesaadavamaks, välistamata seejuures ühtegi neist. Top P seevastu lõikab jaotuse: lävendist allapoole jäävad tokenid ignoreeritakse täielikult, sõltumata nende jääktõenäosusest.
Jäta endale meelde see pilt: temperatuur on „pehme“ säte, mis kohandub järk-järgult, samas kui Top P on „terav“ säte, mis kas kaasab või välistab. Loometekstide puhul võimaldab kõrge temperatuur koos mõõduka Top P-ga fantaasiat, hoides samas eemale tõeliselt ebatõenäolistest tokenitest – see on sageli kõige mugavam kombinatsioon.
Top P kasutamine Mistrali API-ga
Koodis lisatakse parameeter lihtsalt väljakutsesse, kõrvuti temperatuuriga:
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Propose a name for an AI startup."}
],
temperature=0.7,
top_p=0.9
)
Millal Top P-d kohandada
Madal Top P, vahemikus 0.1 kuni 0.5, koondab mudeli kõige tõenäolisematele valikutele – maksimaalne täpsus. See on õige valik, kui oodatav vastus kuulub suletud hulka, nagu selles ranges klassifitseerimises:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "system", "content": "Respond only with: positive, neutral, or negative."},
{"role": "user", "content": "Classify: The product arrived in good condition."}
],
temperature=0.0,
top_p=0.3
)
Keskmine Top P, vahemikus 0.5 kuni 0.8, sobib enamiku professionaalsete ülesannete jaoks: tekst jääb sidusaks, muutumata monotoonseks. See on režiim aruande, kokkuvõtte või dokumendi sissejuhatuse jaoks:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Write the introduction for a report on cybersecurity in SMEs."}
],
temperature=0.5,
top_p=0.7
)
Lõpuks, kõrge Top P, vahemikus 0.8 kuni 1.0, avab värava loovusele ja ideede uurimisele – nõustud vähem tõenäoliste kandidaatidega, et saada kastist väljas olevaid ettepanekuid:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Invent 5 innovative restaurant concepts."}
],
temperature=0.9,
top_p=0.95
)
Praktiline reegel: kohanda ühte parameetrit korraga
Mistrali dokumentatsioon soovitab meetodilist lähenemist, mida peaksid rakendama juba esimestest testidest alates: sea Top P väärtuseks 1.0 (filtreerimata) ja kohanda ainult temperatuuri, või sea temperatuuriks 1.0 ja kohanda ainult Top P-d; alles seejärel täpsusta vajadusel teist parameetrit. Põhjus on lihtne: kui muudad mõlemat samaaegselt ja käitumine muutub, ei tea sa, kumb neist vastutav on. See on sama refleks kui silumisel – muudad korraga ainult ühte muutujat.
Konkreetsete lähtepunktide andmiseks: andmete ekstraheerimine või JSON-väljund seatakse tüüpiliselt väärtustele temperature=0.0, top_p=1.0; professionaalne kirjutamine väärtustele temperature=0.4, top_p=0.9; loov generatsioon väärtustele temperature=0.8, top_p=0.95; ning kood või tehniline sisu väärtustele temperature=0.2, top_p=0.9. Need väärtused on vaid lähtepunktid – katsetamine jääb sinu konkreetse kasutusjuhu jaoks hädavajalikuks.
Peamised punktid
- Top P filtreerib kandidaattokeneid kumulatiivse tõenäosuse lävendi põhjal
- Erinevalt temperatuurist, mis pehmendab jaotust, lõikab Top P seda
- Kohanda ühte parameetrit korraga, et mõista selle mõju
- Madal Top P = fokuseeritud vastused, kõrge Top P = mitmekesised vastused
- Alusta ainult temperatuuriga, lisa Top P täpsustamiseks