Prejsť na hlavný obsah
Slovenčina— Vyberte jazyk
Menu

Top P a vzorkovanie jadra

Lekcia 10 z 16 Aktualizované 2. novembra 2026 Začiatočník
Na tejto strane
  1. Druhá páka na ovládanie generovania
  2. Ako funguje Top P
  3. Top P verzus teplota: Aký je rozdiel?
  4. Používanie Top P s API Mistral
  5. Kedy upravovať Top P
  6. Praktické pravidlo: Upravuj vždy len jeden parameter
  7. Kľúčové poznatky

Druhá páka na ovládanie generovania

Predchádzajúca lekcia ti predstavila prvú páku na ovládanie generovania: teplotu. Top P, nazývané aj vzorkovanie jadra (nucleus sampling), je jej prirodzeným doplnkom. Zatiaľ čo teplota mení celé rozdelenie pravdepodobnosti, Top P funguje ako filter, ktorý obmedzuje počet kandidátskych tokenov. Oba parametre ovplyvňujú rozmanitosť odpovedí, no robia tak úplne odlišnými mechanizmami – a práve tento rozdiel ti umožní jemne doladiť správanie modelu Mistral namiesto náhodného krútenia gombíkmi.

Ako funguje Top P

Prejdime si znova proces generovania. V každom kroku model vypočíta pravdepodobnosť pre každý možný token. Top P zasahuje v troch fázach: najprv sa pravdepodobnosti upravia podľa teploty; následne sa tokeny zoradia podľa klesajúcej pravdepodobnosti a ich pravdepodobnosti sa sčítavajú kumulatívne; nakoniec sa zachovajú len tie tokeny, ktorých kumulatívna pravdepodobnosť neprekročí prah Top P. Konečný výber prebehne výlučne medzi týmito „preživšími“.

Príklad tento mechanizmus objasní. Predstav si, že model musí vybrať ďalšie slovo po vete „Mačka je na“:

TokenPravdepodobnosťKumulatívne
streche0.350.35
posteli0.250.60
gauči0.150.75
zemi0.100.85
rímse0.050.90
stene0.030.93
………

Pri nastavení Top P = 0.75 sa zachovajú len „streche“, „posteli“ a „gauči“, keďže ich súčet dosiahne presne 0.75: model si vyberie iba z týchto troch možností. Pri Top P = 0.90 sa do hry dostanú aj „zemi“ a „rímse“. Zo tabuľky vyplýva jasné pravidlo: čím vyššie je Top P, tým viac kandidátov sa zohľadní.

Top P verzus teplota: Aký je rozdiel?

Keďže oba parametre riadia rozmanitosť, mohlo by sa zdať, že sú zameniteľné. Nie sú. Teplota mení tvar rozdelenia: vysoká hodnota sploští krivku a postupne sprístupní aj nepravdepodobné tokeny, pričom žiadny úplne nevylúči. Top P naopak rozdelenie orezáva: tokeny pod prahom sa úplne ignorujú, bez ohľadu na ich zvyškovú pravdepodobnosť.

Maj na pamäti tento obraz: teplota je „jemné“ nastavenie, ktoré pôsobí postupne, zatiaľ čo Top P je „ostré“ nastavenie, ktoré buď zahrnie, alebo vylúči. Pri kreatívnom texte umožňuje vysoká teplota s miernym Top P fantáziu, no zároveň bráni zostraniu smerom k naozaj nepravdepodobným tokenom – toto je často najpohodlnejšia kombinácia.

Používanie Top P s API Mistral

V kóde sa tento parameter jednoducho pridá do volania spolu s teplotou:

from mistralai.client import Mistral

client = Mistral(api_key="your-api-key")

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "Propose a name for an AI startup."}
    ],
    temperature=0.7,
    top_p=0.9
)

Kedy upravovať Top P

Nízke Top P, medzi 0.1 a 0.5, sústredí model na najpravdepodobnejšie možnosti – maximálna presnosť. Toto je správna voľba, keď očakávaná odpoveď patrí do uzavretej množiny, ako pri tejto striktnej klasifikácii:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "system", "content": "Respond only with: positive, neutral, or negative."},
        {"role": "user", "content": "Classify: The product arrived in good condition."}
    ],
    temperature=0.0,
    top_p=0.3
)

Stredné Top P, medzi 0.5 a 0.8, vyhovuje väčšine profesionálnych úloh: text zostáva súvislý, no nestáva sa monotónnym. Toto je režim pre správu, zhrnutie alebo úvod dokumentu:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "Write the introduction for a report on cybersecurity in SMEs."}
    ],
    temperature=0.5,
    top_p=0.7
)

Napokon, vysoké Top P, medzi 0.8 a 1.0, otvára priestor pre kreativitu a skúmanie nápadov – akceptuješ menej pravdepodobných kandidátov, aby si získal návrhy mimo zabehnutých koľají:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "Invent 5 innovative restaurant concepts."}
    ],
    temperature=0.9,
    top_p=0.95
)

Praktické pravidlo: Upravuj vždy len jeden parameter

Dokumentácia Mistralu odporúča metodický prístup, ktorý by si mal adoptovať už pri prvých testoch: nastav Top P na 1.0 (žiadne filtrovanie) a upravuj len teplotu, alebo nastav teplotu na 1.0 a upravuj len Top P; až následne podľa potreby doladíš druhý parameter. Dôvod je jednoduchý: ak zmeníš obe hodnoty naraz a správanie sa zmení, nebudeš vedieť, ktorý parameter je za to zodpovedný. Je to rovnaký reflex ako pri ladení chýb (debugging) – meníš vždy len jednu premennú.

Aby sme ti dali konkrétne východiskové body: extrakcia dát alebo výstup JSON sa typicky nastavuje na temperature=0.0, top_p=1.0; profesionálne písanie na temperature=0.4, top_p=0.9; kreatívne generovanie na temperature=0.8, top_p=0.95; a kód alebo technický obsah na temperature=0.2, top_p=0.9. Tieto hodnoty sú len východiskové body – experimentovanie zostáva pre tvoj konkrétny prípad nevyhnutné.

Kľúčové poznatky

  • Top P filtruje kandidátske tokeny podľa prahu kumulatívnej pravdepodobnosti
  • Na rozdiel od teploty, ktorá zmäkčuje rozdelenie, Top P ho orezáva
  • Upravuj vždy len jeden parameter, aby si pochopil jeho vplyv
  • Nízke Top P = cielené odpovede, Vysoké Top P = rozmanité odpovede
  • Začni len s teplotou, Top P pridaj až na následné doladenie