Přejít na hlavní obsah
Čeština— Vyberte jazyk
Menu

Top P a výběr z jádra (Nucleus Sampling)

Lekce 10 z 16 Aktualizováno 2. listopadu 2026 Začátečník
Na této stránce
  1. Druhá páka pro řízení generování
  2. Jak funguje Top P
  3. Top P versus teplota: Jaký je rozdíl?
  4. Používání Top P s API Mistral
  5. Kdy upravovat Top P
  6. Praktické pravidlo: Upravuj vždy jen jeden parametr
  7. Klíčové poznatky

Druhá páka pro řízení generování

Minulá lekce ti představila první páku pro řízení generování: teplotu. Top P, nazývané také výběr z jádra (nucleus sampling), je jejím přirozeným doplňkem. Zatímco teplota mění celé rozdělení pravděpodobnosti, Top P funguje jako filtr, který omezuje počet kandidátských tokenů. Oba parametry ovlivňují rozmanitost odpovědí, ale dělají to prostřednictvím velmi odlišných mechanismů – a právě tento rozdíl ti umožní jemně ladit chování modelu Mistral, místo abys náhodně otáčel knoflíky.

Jak funguje Top P

Projděme si znovu proces generování. V každém kroku model vypočítá pravděpodobnost pro každý možný token. Top P vstupuje do hry ve třech fázích: nejprve se pravděpodobnosti upraví pomocí teploty; poté se tokeny seřadí podle klesající pravděpodobnosti a jejich pravděpodobnosti se kumulativně sčítají; nakonec se zachovají pouze ty tokeny, jejichž kumulativní pravděpodobnost nepřekročí práh Top P. Konečný výběr probíhá pouze mezi těmito „přeživšími“.

Příklad mechanismus objasní. Představ si, že model musí vybrat další slovo po frázi „The cat is on the“:

TokenPravděpodobnostKumulativní
roof0.350.35
bed0.250.60
sofa0.150.75
floor0.100.85
ledge0.050.90
wall0.030.93
………

Při nastavení Top P = 0.75 se zachovají pouze „roof“, „bed“ a „sofa“, protože jejich kumulativní součet dosáhne přesně 0.75: model si bude vybírat pouze z těchto tří možností. Při Top P = 0.90 se do hry dostanou také „floor“ a „ledge“. Z tabulky vyplývá jasné obecné pravidlo: čím vyšší je Top P, tím více kandidátů se bere v úvahu.

Top P versus teplota: Jaký je rozdíl?

Protože oba parametry řídí rozmanitost, mohlo by se zdát, že jsou zaměnitelné. Nejsou. Teplota mění tvar rozdělení: vysoká hodnota zploští křivku a postupně zpřístupní nepravděpodobné tokeny, aniž by některé zcela vyloučila. Top P naopak rozdělení ořezává: tokeny pod prahem jsou zcela ignorovány, bez ohledu na jejich zbytkovou pravděpodobnost.

Měj na paměti tento obraz: teplota je „měkké“ nastavení, které se plynule upravuje, zatímco Top P je „ostré“ nastavení, které buď zahrne, nebo vyloučí. U kreativních textů umožňuje vysoká teplota s mírným Top P fantazii, zatímco brání sklouznutí k opravdu nepravděpodobným tokenům – toto je často nejpohodlnější kombinace.

Používání Top P s API Mistral

V kódu se tento parametr jednoduše přidá k volání spolu s teplotou:

from mistralai.client import Mistral

client = Mistral(api_key="your-api-key")

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "Propose a name for an AI startup."}
    ],
    temperature=0.7,
    top_p=0.9
)

Kdy upravovat Top P

Nízké Top P, mezi 0.1 a 0.5, soustředí model na nejpravděpodobnější možnosti – maximální přesnost. To je správná volba, když očekávaná odpověď patří do uzavřené množiny, jako je tomu u této striktní klasifikace:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "system", "content": "Respond only with: positive, neutral, or negative."},
        {"role": "user", "content": "Classify: The product arrived in good condition."}
    ],
    temperature=0.0,
    top_p=0.3
)

Střední Top P, mezi 0.5 a 0.8, vyhovuje většině profesionálních úkolů: text zůstává soudržný, aniž by se stal monotónním. Toto je režim pro zprávu, shrnutí nebo úvod dokumentu:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "Write the introduction for a report on cybersecurity in SMEs."}
    ],
    temperature=0.5,
    top_p=0.7
)

Nakonec vysoké Top P, mezi 0.8 a 1.0, otevírá prostor pro kreativitu a zkoumání nápadů – přijímáš méně pravděpodobné kandidáty, abys získal návrhy mimo zaběhlé koleje:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "Invent 5 innovative restaurant concepts."}
    ],
    temperature=0.9,
    top_p=0.95
)

Praktické pravidlo: Upravuj vždy jen jeden parametr

Dokumentace Mistralu doporučuje metodický přístup, který bys měl adoptovat již při prvních testech: nastav Top P na 1.0 (žádné filtrování) a upravuj pouze teplotu, nebo nastav teplotu na 1.0 a upravuj pouze Top P; teprve poté případně doladíš druhý parametr. Důvod je prostý: pokud změníš oba najednou a chování se změní, nebudeš vědět, který z nich je za to zodpovědný. Je to stejný reflex jako při ladění chyb (debugging) – měníš vždy jen jednu proměnnou.

Abychom ti dali konkrétní výchozí body: extrakce dat nebo výstup JSON se typicky nastavuje na temperature=0.0, top_p=1.0; profesionální psaní na temperature=0.4, top_p=0.9; kreativní generování na temperature=0.8, top_p=0.95; a kód nebo technický obsah na temperature=0.2, top_p=0.9. Tyto hodnoty jsou pouze výchozími body – experimentování zůstává pro tvůj konkrétní případ použití nezbytné.

Klíčové poznatky

  • Top P filtruje kandidátské tokeny na základě prahu kumulativní pravděpodobnosti
  • Na rozdíl od teploty, která rozdělení změkčuje, ho Top P ořezává
  • Upravuj vždy jen jeden parametr, abys pochopil jeho dopad
  • Nízké Top P = cílené odpovědi, Vysoké Top P = rozmanité odpovědi
  • Začni pouze s teplotou, Top P přidej až pro doladění