Pereiti prie pagrindinio turinio
Lietuvių— Pasirinkite kalbą
Meniu

Top P ir branduolio atranka

Paskaita 10 iš 16 Atnaujinta 2026 m. lapkričio 2 d. Pradedantisiems
Šiame puslapyje
  1. Antras svertas generavimui valdyti
  2. Kaip veikia Top P
  3. Top P prieš temperatūrą: koks skirtumas?
  4. Top P naudojimas su „Mistral“ API
  5. Kada koreguoti Top P
  6. Praktinė taisyklė: keisk vieną parametrą vienu metu
  7. Svarbiausi punktai

Antras svertas generavimui valdyti

Ankstesnėje pamokoje susipažinai su pirmuoju generavimo valdymo svertu – temperatūra. Top P, dar vadinamas branduolio atranka (nucleus sampling), yra natūralus jos papildinys. Nors temperatūra keičia visą tikimybių skirstinį, Top P veikia kaip filtras, ribojantis kandidatų tokenų skaičių. Abu parametrai daro įtaką atsakymų įvairovei, tačiau veikia labai skirtingais mechanizmais – būtent šis skirtumas leis tau tiksliai sureguliuoti „Mistral“ modelio elgseną, o ne atsitiktinai sukioji rankenėles.

Kaip veikia Top P

Peržvelkime generavimo procesą dar kartą. Kiekviename žingsnyje modelis apskaičiuoja tikimybę kiekvienam galimam tokenui. Top P įsijungia trimis etapais: pirmiausia tikimybės koreguojamos pagal temperatūrą; tada tokenai surikiuojami pagal mažėjančią tikimybę, o jų tikimybės sumuojamos kaupiamuoju būdu; galiausiai paliekami tik tie tokenai, kurių kaupiamoji tikimybė neviršija Top P slenksčio. Galutinis pasirinkimas atliekamas tik iš šių „išgyvenusių“ tokenų.

Pavyzdys padės aiškiau suprasti šį mechanizmą. Įsivaizduok, kad modelis turi pasirinkti kitą žodį po frazės „The cat is on the“:

TokenasTikimybėKaupiamoji
roof0.350.35
bed0.250.60
sofa0.150.75
floor0.100.85
ledge0.050.90
wall0.030.93
………

Nustačius Top P = 0.75, paliekami tik „roof“, „bed“ ir „sofa“, nes jų kaupiamoji suma tiksliai siekia 0.75: modelis rinksis tik iš šių trijų variantų. Nustačius Top P = 0.90, į žaidimą įtraukiami ir „floor“, bei „ledge“. Iš lentelės matoma bendra taisyklė: kuo didesnis Top P, tuo daugiau kandidatų svarstoma.

Top P prieš temperatūrą: koks skirtumas?

Kadangi abu parametrai valdo įvairovę, gali kilti mintis, kad jie yra keičiami. Taip nėra. Temperatūra keičia skirstinio formą: didelė reikšmė išlygina kreivę ir palaipsniui padaro mažiau tikėtinus tokenus prieinamesnius, tačiau niekada jų neatmeta. Tuo tarpu Top P skirstinį nupjauna: tokenai, esantys žemiau slenksčio, yra visiškai ignoruojami, nepaisant jų likutinės tikimybės.

Įsimink šį vaizdinį: temperatūra yra „švelnus“ nustatymas, kuris reguliuojamas palaipsniui, o Top P yra „aštrus“ nustatymas, kuris arba įtraukia, arba atmeta. Kuriant kūrybinį tekstą, didelė temperatūra kartu su vidutiniu Top P leidžia skleistis fantazijai, bet neleidžia nukrypti link visiškai neįtikėtinų tokenų – tai dažnai yra patogiausias derinys.

Top P naudojimas su „Mistral“ API

Kode parametras tiesiog pridėjamas prie užklausos kartu su temperatūra:

from mistralai.client import Mistral

client = Mistral(api_key="your-api-key")

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "Propose a name for an AI startup."}
    ],
    temperature=0.7,
    top_p=0.9
)

Kada koreguoti Top P

Žemas Top P (nuo 0.1 iki 0.5) sutelkia modelį į labiausiai tikėtinus variantus – tai maksimalus tikslumas. Tai tinkamas pasirinkimas, kai laukiamas atsakymas priklauso uždarai aibei, pavyzdžiui, atliekant griežtą klasifikavimą:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "system", "content": "Respond only with: positive, neutral, or negative."},
        {"role": "user", "content": "Classify: The product arrived in good condition."}
    ],
    temperature=0.0,
    top_p=0.3
)

Vidutinis Top P (nuo 0.5 iki 0.8) tinka daugumai profesinių užduočių: tekstas išlieka nuoseklus, bet netampa monotoniškas. Tai režimas, skirtas ataskaitoms, santraukoms arba dokumento įvadams:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "Write the introduction for a report on cybersecurity in SMEs."}
    ],
    temperature=0.5,
    top_p=0.7
)

Galiausiai, aukštas Top P (nuo 0.8 iki 1.0) atveria erdvę kūrybai ir idėjų paieškoms – priimi mažiau tikėtinus kandidatus, kad gautum netradicinių pasiūlymų:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "Invent 5 innovative restaurant concepts."}
    ],
    temperature=0.9,
    top_p=0.95
)

Praktinė taisyklė: keisk vieną parametrą vienu metu

„Mistral“ dokumentacija rekomenduoja metodinį požiūrį, kurio turėtum laikytis nuo pat pirmųjų testų: nustatyk Top P į 1.0 (be filtravimo) ir keisk tik temperatūrą, ARBA nustatyk temperatūrą į 1.0 ir keisk tik Top P; tik tada, jei reikia, tikslink antrąjį parametrą. Priežastis paprasta: jei pakeisi abu vienu metu ir elgsena pasikeis, nežinosi, kuris parametras tai lėmė. Tai tas pats refleksas kaip ir derinant klaidas (debugging) – keičiama tik viena kintamoji reikšmė vienu metu.

Kad turėtum konkrečių atskaitos taškų: duomenų gavybai arba JSON išvestiai dažniausiai nustatoma temperature=0.0, top_p=1.0; profesiniam rašymui – temperature=0.4, top_p=0.9; kūrybiniam generavimui – temperature=0.8, top_p=0.95; o kodui arba techniniam turiniui – temperature=0.2, top_p=0.9. Šios reikšmės yra tik pradiniai taškai – eksperimentavimas lieka būtinas tavo konkrečiam naudojimui.

Svarbiausi punktai

  • Top P filtruoja kandidatų tokenus pagal kaupiamosios tikimybės slenkstį
  • Skirtingai nei temperatūra, kuri sušvelnina skirstinį, Top P jį nupjauna
  • Koreguok vieną parametrą vienu metu, kad suprastum jo poveikį
  • Žemas Top P = fokusuoti atsakymai, aukštas Top P = įvairūs atsakymai
  • Pradėk tik nuo temperatūros, o Top P pridėk patikslinimui