Siirry pääsisältöön
Suomi— Valitse kieli
Valikko

Top P ja ydinnäytteenotto

Oppitunti 10 / 16 Päivitetty 2. marraskuuta 2026 Aloittelija
Tällä sivulla
  1. Toinen vipu generoinnin hallintaan
  2. Miten Top P toimii
  3. Top P vs. lämpötila: mikä ero on?
  4. Top P:n käyttö Mistral API:ssa
  5. Milloin Top P:tä kannattaa säätää
  6. Käytännön sääntö: säädä yhtä parametria kerrallaan
  7. Keskeiset asiat

Toinen vipu generoinnin hallintaan

Edellisessä oppitunnissa tutustuit ensimmäiseen generoinnin hallintakeinoon: lämpötilaan. Top P, jota kutsutaan myös ydinnäytteenotoksi (nucleus sampling), on sen luonteva täydennys. Kun lämpötila muuttaa koko todennäköisyysjakaumaa, Top P toimii suodattimena, joka rajoittaa ehdokastokenien määrää. Molemmat parametrit vaikuttavat vasteiden monimuotoisuuteen, mutta hyvin erilaisin mekanismein – ja juuri tämä ero antaa sinulle mahdollisuuden hienosäätää Mistral-mallin käyttäytymistä sen sijaan, että kääntelisit nuppeja sattumanvaraisesti.

Miten Top P toimii

Käydään generointiprosessi uudelleen läpi. Jokaisessa vaiheessa malli laskee todennäköisyyden jokaiselle mahdolliselle tokenille. Top P astuu kuvaan kolmessa vaiheessa: ensin lämpötila säätää todennäköisyyksiä; sen jälkeen tokenit järjestetään todennäköisyyden mukaan laskevaan järjestykseen ja niiden todennäköisyydet lasketaan yhteen kumulatiivisesti; lopuksi vain ne tokenit, joiden kumulatiivinen todennäköisyys ei ylitä Top P -kynnystä, pidetään mukana. Lopullinen arvonta tapahtuu vain näiden jäljelle jääneiden tokenien joukosta.

Esimerkki selventää mekanismia. Kuvittele, että mallin on valittava seuraava sana lauseeseen “The cat is on the”:

TokenTodennäköisyysKumulatiivinen
roof0.350.35
bed0.250.60
sofa0.150.75
floor0.100.85
ledge0.050.90
wall0.030.93
………

Arvolla Top P = 0.75 vain “roof”, “bed” ja “sofa” pidetään mukana, sillä niiden kumulatiivinen summa osuu täsmälleen arvoon 0.75: malli valitsee vain näiden kolmen vaihtoehdon joukosta. Arvolla Top P = 0.90 myös “floor” ja “ledge” tulevat mukaan peliin. Taulukosta käy ilmi yleinen sääntö: mitä korkeampi Top P, sitä useampia ehdokkaita otetaan huomioon.

Top P vs. lämpötila: mikä ero on?

Koska molemmat parametrit ohjaavat monimuotoisuutta, saatat luulla niiden olevan vaihtokelpoisia. Ne eivät ole. Lämpötila muuttaa jakauman muotoa: korkea arvo litistää käyrää ja tekee epätodennäköisistä tokeneista vähitellen helpommin saavutettavia sulkematta kuitenkaan mitään vaihtoehtoa kokonaan pois. Top P sen sijaan leikkaa jakaumaa: kynnyksen alapuolelle jäävät tokenit jätetään huomiotta täysin riippumatta niiden jäljellä olevasta todennäköisyydestä.

Pidä tämä kuva mielessäsi: lämpötila on “pehmeä” asetus, joka säätää asteittain, kun taas Top P on “terävä” asetus, joka joko sisällyttää tai sulkee pois. Luovassa tekstintuotannossa korkea lämpötila yhdistettynä kohtuulliseen Top P:hen mahdollistaa mielikuvituksen lennokkuuden estäen samalla ajautumisen todella epätodennäköisiin tokeneihin – tämä on usein mukavin yhdistelmä.

Top P:n käyttö Mistral API:ssa

Koodissa parametri lisätään yksinkertaisesti kutsuun lämpötilan rinnalle:

from mistralai.client import Mistral

client = Mistral(api_key="your-api-key")

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "Propose a name for an AI startup."}
    ],
    temperature=0.7,
    top_p=0.9
)

Milloin Top P:tä kannattaa säätää

Matala Top P, välillä 0.1–0.5, keskittää mallin todennäköisimpiin vaihtoehtoihin – maksimaalinen tarkkuus. Tämä on oikea valinta silloin, kun odotettu vastaus kuuluu suljettuun joukkoon, kuten tässä tiukassa luokittelutehtävässä:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "system", "content": "Respond only with: positive, neutral, or negative."},
        {"role": "user", "content": "Classify: The product arrived in good condition."}
    ],
    temperature=0.0,
    top_p=0.3
)

Keskitason Top P, välillä 0.5–0.8, sopii useimpiin ammatillisiin tehtäviin: teksti pysyy johdonmukaisena muuttumatta yksitoikkoiseksi. Tämä on oikea tila raporttia, yhteenvetoa tai dokumentin johdantoa varten:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "Write the introduction for a report on cybersecurity in SMEs."}
    ],
    temperature=0.5,
    top_p=0.7
)

Lopuksi korkea Top P, välillä 0.8–1.0, avaa kentän luovuudelle ja ideoiden tutkimiselle – hyväksyt vähemmän todennäköisiä ehdokkaita saadaksesi laatikon ulkopuolelta tulevia ehdotuksia:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "Invent 5 innovative restaurant concepts."}
    ],
    temperature=0.9,
    top_p=0.95
)

Käytännön sääntö: säädä yhtä parametria kerrallaan

Mistralin dokumentaatio suosittelee metodista lähestymistapaa, joka sinun kannattaa ottaa käyttöön jo ensimmäisissä testeissäsi: aseta Top P arvoksi 1.0 (ei suodatusta) ja säädä vain lämpötilaa, tai aseta lämpötila arvoksi 1.0 ja säädä vain Top P:tä; vasta tämän jälkeen hienosäädät toista parametria tarvittaessa. Syy on yksinkertainen: jos muutat molempia samanaikaisesti ja käyttäytyminen muuttuu, et tiedä, kumpi niistä on syynä. Tämä on sama refleksi kuin vianetsinnässä – muutat vain yhtä muuttujaa kerrallaan.

Antaaksesi sinulle konkreettisia lähtökohtia: datan poiminta tai JSON-tuloste asetetaan tyypillisesti arvoihin temperature=0.0, top_p=1.0; ammatillinen kirjoittaminen arvoihin temperature=0.4, top_p=0.9; luova generointi arvoihin temperature=0.8, top_p=0.95; ja koodi tai tekninen sisältö arvoihin temperature=0.2, top_p=0.9. Nämä arvot ovat vain lähtökohtia – kokeilu on edelleen välttämätöntä juuri sinun käyttötapaustasi varten.

Keskeiset asiat

  • Top P suodattaa ehdokastokenit kumulatiivisen todennäköisyyskynnyksen perusteella
  • Toisin kuin lämpötila, joka pehmentää jakaumaa, Top P leikkaa sen
  • Säädä yhtä parametria kerrallaan ymmärtääksesi sen vaikutuksen
  • Matala Top P = keskittyneet vastaukset, korkea Top P = monipuoliset vastaukset
  • Aloita pelkällä lämpötilalla, lisää Top P hienosäätöön