Top P ja ydinnäytteenotto
Tällä sivulla
Toinen vipu generoinnin hallintaan
Edellisessä oppitunnissa tutustuit ensimmäiseen generoinnin hallintakeinoon: lämpötilaan. Top P, jota kutsutaan myös ydinnäytteenotoksi (nucleus sampling), on sen luonteva täydennys. Kun lämpötila muuttaa koko todennäköisyysjakaumaa, Top P toimii suodattimena, joka rajoittaa ehdokastokenien määrää. Molemmat parametrit vaikuttavat vasteiden monimuotoisuuteen, mutta hyvin erilaisin mekanismein – ja juuri tämä ero antaa sinulle mahdollisuuden hienosäätää Mistral-mallin käyttäytymistä sen sijaan, että kääntelisit nuppeja sattumanvaraisesti.
Miten Top P toimii
Käydään generointiprosessi uudelleen läpi. Jokaisessa vaiheessa malli laskee todennäköisyyden jokaiselle mahdolliselle tokenille. Top P astuu kuvaan kolmessa vaiheessa: ensin lämpötila säätää todennäköisyyksiä; sen jälkeen tokenit järjestetään todennäköisyyden mukaan laskevaan järjestykseen ja niiden todennäköisyydet lasketaan yhteen kumulatiivisesti; lopuksi vain ne tokenit, joiden kumulatiivinen todennäköisyys ei ylitä Top P -kynnystä, pidetään mukana. Lopullinen arvonta tapahtuu vain näiden jäljelle jääneiden tokenien joukosta.
Esimerkki selventää mekanismia. Kuvittele, että mallin on valittava seuraava sana lauseeseen “The cat is on the”:
| Token | Todennäköisyys | Kumulatiivinen |
|---|---|---|
| roof | 0.35 | 0.35 |
| bed | 0.25 | 0.60 |
| sofa | 0.15 | 0.75 |
| floor | 0.10 | 0.85 |
| ledge | 0.05 | 0.90 |
| wall | 0.03 | 0.93 |
| … | … | … |
Arvolla Top P = 0.75 vain “roof”, “bed” ja “sofa” pidetään mukana, sillä niiden kumulatiivinen summa osuu täsmälleen arvoon 0.75: malli valitsee vain näiden kolmen vaihtoehdon joukosta. Arvolla Top P = 0.90 myös “floor” ja “ledge” tulevat mukaan peliin. Taulukosta käy ilmi yleinen sääntö: mitä korkeampi Top P, sitä useampia ehdokkaita otetaan huomioon.
Top P vs. lämpötila: mikä ero on?
Koska molemmat parametrit ohjaavat monimuotoisuutta, saatat luulla niiden olevan vaihtokelpoisia. Ne eivät ole. Lämpötila muuttaa jakauman muotoa: korkea arvo litistää käyrää ja tekee epätodennäköisistä tokeneista vähitellen helpommin saavutettavia sulkematta kuitenkaan mitään vaihtoehtoa kokonaan pois. Top P sen sijaan leikkaa jakaumaa: kynnyksen alapuolelle jäävät tokenit jätetään huomiotta täysin riippumatta niiden jäljellä olevasta todennäköisyydestä.
Pidä tämä kuva mielessäsi: lämpötila on “pehmeä” asetus, joka säätää asteittain, kun taas Top P on “terävä” asetus, joka joko sisällyttää tai sulkee pois. Luovassa tekstintuotannossa korkea lämpötila yhdistettynä kohtuulliseen Top P:hen mahdollistaa mielikuvituksen lennokkuuden estäen samalla ajautumisen todella epätodennäköisiin tokeneihin – tämä on usein mukavin yhdistelmä.
Top P:n käyttö Mistral API:ssa
Koodissa parametri lisätään yksinkertaisesti kutsuun lämpötilan rinnalle:
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Propose a name for an AI startup."}
],
temperature=0.7,
top_p=0.9
)
Milloin Top P:tä kannattaa säätää
Matala Top P, välillä 0.1–0.5, keskittää mallin todennäköisimpiin vaihtoehtoihin – maksimaalinen tarkkuus. Tämä on oikea valinta silloin, kun odotettu vastaus kuuluu suljettuun joukkoon, kuten tässä tiukassa luokittelutehtävässä:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "system", "content": "Respond only with: positive, neutral, or negative."},
{"role": "user", "content": "Classify: The product arrived in good condition."}
],
temperature=0.0,
top_p=0.3
)
Keskitason Top P, välillä 0.5–0.8, sopii useimpiin ammatillisiin tehtäviin: teksti pysyy johdonmukaisena muuttumatta yksitoikkoiseksi. Tämä on oikea tila raporttia, yhteenvetoa tai dokumentin johdantoa varten:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Write the introduction for a report on cybersecurity in SMEs."}
],
temperature=0.5,
top_p=0.7
)
Lopuksi korkea Top P, välillä 0.8–1.0, avaa kentän luovuudelle ja ideoiden tutkimiselle – hyväksyt vähemmän todennäköisiä ehdokkaita saadaksesi laatikon ulkopuolelta tulevia ehdotuksia:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Invent 5 innovative restaurant concepts."}
],
temperature=0.9,
top_p=0.95
)
Käytännön sääntö: säädä yhtä parametria kerrallaan
Mistralin dokumentaatio suosittelee metodista lähestymistapaa, joka sinun kannattaa ottaa käyttöön jo ensimmäisissä testeissäsi: aseta Top P arvoksi 1.0 (ei suodatusta) ja säädä vain lämpötilaa, tai aseta lämpötila arvoksi 1.0 ja säädä vain Top P:tä; vasta tämän jälkeen hienosäädät toista parametria tarvittaessa. Syy on yksinkertainen: jos muutat molempia samanaikaisesti ja käyttäytyminen muuttuu, et tiedä, kumpi niistä on syynä. Tämä on sama refleksi kuin vianetsinnässä – muutat vain yhtä muuttujaa kerrallaan.
Antaaksesi sinulle konkreettisia lähtökohtia: datan poiminta tai JSON-tuloste asetetaan tyypillisesti arvoihin temperature=0.0, top_p=1.0; ammatillinen kirjoittaminen arvoihin temperature=0.4, top_p=0.9; luova generointi arvoihin temperature=0.8, top_p=0.95; ja koodi tai tekninen sisältö arvoihin temperature=0.2, top_p=0.9. Nämä arvot ovat vain lähtökohtia – kokeilu on edelleen välttämätöntä juuri sinun käyttötapaustasi varten.
Keskeiset asiat
- Top P suodattaa ehdokastokenit kumulatiivisen todennäköisyyskynnyksen perusteella
- Toisin kuin lämpötila, joka pehmentää jakaumaa, Top P leikkaa sen
- Säädä yhtä parametria kerrallaan ymmärtääksesi sen vaikutuksen
- Matala Top P = keskittyneet vastaukset, korkea Top P = monipuoliset vastaukset
- Aloita pelkällä lämpötilalla, lisää Top P hienosäätöön