Preskok na glavno vsebino
Slovenščina— Izberite jezik
Meni

Top P in vzorčenje jedra

Lekcija 10 od 16 Posodobljeno 2. november 2026 Začetnik
Na tej strani
  1. Druga vzvod za nadzor generiranja
  2. Kako deluje Top P
  3. Top P proti temperaturi: kakšna je razlika?
  4. Uporaba Top P z API-jem Mistral
  5. Kdaj prilagoditi Top P
  6. Praktično pravilo: prilagajaj en parameter naenkrat
  7. Ključne ugotovitve

Druga vzvod za nadzor generiranja

Prejšnja lekcija ti je predstavila prvi vzvod za nadzor generiranja: temperaturo. Top P, imenovan tudi vzorčenje jedra (nucleus sampling), je njegov naravni dopolnilec. Medtem ko temperatura spreminja celotno porazdelitev verjetnosti, Top P deluje kot filter, ki omejuje število kandidatnih žetonov. Oba parametra vplivata na raznolikost odzivov, vendar skozi zelo različne mehanizme – prav ta razlika ti bo omogočila fino uglaševanje obnašanja modela Mistral, namesto da bi naključno vrtel gumbe.

Kako deluje Top P

Ponovno prehodimo proces generiranja. Na vsakem koraku model izračuna verjetnost za vsak možni žeton. Top P nastopi v treh fazah: najprej se verjetnosti prilagodijo s temperaturo; nato se žetoni razvrstijo po padajoči verjetnosti in njihove verjetnosti se seštejejo kumulativno; nazadnje se obdržijo le tisti žetoni, katerih kumulativna verjetnost ne preseže praga Top P. Končni izbor poteka izključno med temi preživelimi kandidati.

Primer pojasni mehanizem. Predstavljaj si, da mora model izbrati naslednjo besedo za niz „Mačka je na”:

ŽetonVerjetnostKumulativno
strehi0,350,35
postelji0,250,60
kavču0,150,75
tleh0,100,85
polici0,050,90
steni0,030,93
………

Pri Top P = 0,75 se obdržijo le „strehi”, „postelji” in „kavču”, saj njihov kumulativni seštevek doseže natanko 0,75: model bo izbral le med temi tremi možnostmi. Pri Top P = 0,90 v igro vstopita tudi „tleh” in „polici”. Iz tabele je razvidno splošno pravilo: višji kot je Top P, več kandidatov se upošteva.

Top P proti temperaturi: kakšna je razlika?

Ker oba parametra nadzirata raznolikost, bi lahko pomislil, da sta zamenljiva. Nista. Temperatura spreminja obliko porazdelitve: visoka vrednost splošči krivuljo in postopoma omogoči dostop do manj verjetnih žetonov, ne da bi katerega koli izključila. Top P nasprotno porazdelitev odreže: žetoni pod pragom so popolnoma prezrti, ne glede na njihovo preostalo verjetnost.

Zapomni si to podobo: temperatura je „mehka” nastavitev, ki se prilagaja postopoma, medtem ko je Top P „ostra” nastavitev, ki vključuje ali izključuje. Pri ustvarjalnem besedilu visoka temperatura z zmernim Top P omogoča domišljijo, hkrati pa preprečuje zdrs proti res neverjetnim žetonom – to je pogosto najbolj udobna kombinacija.

Uporaba Top P z API-jem Mistral

V kodi se parameter preprosto doda klicu, skupaj s temperaturo:

from mistralai.client import Mistral

client = Mistral(api_key="your-api-key")

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "Propose a name for an AI startup."}
    ],
    temperature=0.7,
    top_p=0.9
)

Kdaj prilagoditi Top P

Nizek Top P, med 0,1 in 0,5, usmeri model na najbolj verjetne možnosti – največja natančnost. To je prava izbira, ko pričakovani odgovor spada v zaprt nabor, kot pri tej strogi klasifikaciji:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "system", "content": "Respond only with: positive, neutral, or negative."},
        {"role": "user", "content": "Classify: The product arrived in good condition."}
    ],
    temperature=0.0,
    top_p=0.3
)

Srednji Top P, med 0,5 in 0,8, ustreza večini strokovnih nalog: besedilo ostane koherentno, ne da bi postalo monotono. To je režim za poročilo, povzetek ali uvod v dokument:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "Write the introduction for a report on cybersecurity in SMEs."}
    ],
    temperature=0.5,
    top_p=0.7
)

Končno, visok Top P, med 0,8 in 1,0, odpre prostor za ustvarjalnost in raziskovanje idej – sprejmeš manj verjetne kandidate, da dobiš predloge, ki so izven okvirjev:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "Invent 5 innovative restaurant concepts."}
    ],
    temperature=0.9,
    top_p=0.95
)

Praktično pravilo: prilagajaj en parameter naenkrat

Dokumentacija Mistral priporoča metodičen pristop, ki ga moraš sprejeti že pri prvih testih: nastavi Top P na 1,0 (brez filtriranja) in prilagajaj le temperaturo, ali nastavi temperaturo na 1,0 in prilagajaj le Top P; šele nato po potrebi izpopolni drugi parameter. Razlog je preprost: če spremeniš oba hkrati in se obnašanje spremeni, ne boš vedel, kateri je krivec. To je isti refleks kot pri razhroščevanju – spremeniš le eno spremenljivko naenkrat.

Za konkretne izhodiščne točke: ekstrakcija podatkov ali izhod JSON se običajno nastavi na temperature=0.0, top_p=1.0; strokovno pisanje na temperature=0.4, top_p=0.9; ustvarjalno generiranje na temperature=0.8, top_p=0.95; koda ali tehnična vsebina pa na temperature=0.2, top_p=0.9. Te vrednosti so le izhodišča – eksperimentiranje ostaja ključno za tvoj specifičen primer uporabe.

Ključne ugotovitve

  • Top P filtrira kandidatne žetone glede na prag kumulativne verjetnosti
  • Za razliko od temperature, ki zmehča porazdelitev, jo Top P odreže
  • Prilagajaj en parameter naenkrat, da razumeš njegov vpliv
  • Nizek Top P = usmerjeni odzivi, visok Top P = raznoliki odzivi
  • Začni samo s temperaturo, nato dodaj Top P za izpopolnitev