Top P ir branduolio atranka
Šiame puslapyje
Antras svertas generavimui valdyti
Ankstesnėje pamokoje susipažinai su pirmuoju generavimo valdymo svertu – temperatūra. Top P, dar vadinamas branduolio atranka (nucleus sampling), yra natūralus jos papildinys. Nors temperatūra keičia visą tikimybių skirstinį, Top P veikia kaip filtras, ribojantis kandidatų tokenų skaičių. Abu parametrai daro įtaką atsakymų įvairovei, tačiau veikia labai skirtingais mechanizmais – būtent šis skirtumas leis tau tiksliai sureguliuoti „Mistral“ modelio elgseną, o ne atsitiktinai sukioji rankenėles.
Kaip veikia Top P
Peržvelkime generavimo procesą dar kartą. Kiekviename žingsnyje modelis apskaičiuoja tikimybę kiekvienam galimam tokenui. Top P įsijungia trimis etapais: pirmiausia tikimybės koreguojamos pagal temperatūrą; tada tokenai surikiuojami pagal mažėjančią tikimybę, o jų tikimybės sumuojamos kaupiamuoju būdu; galiausiai paliekami tik tie tokenai, kurių kaupiamoji tikimybė neviršija Top P slenksčio. Galutinis pasirinkimas atliekamas tik iš šių „išgyvenusių“ tokenų.
Pavyzdys padės aiškiau suprasti šį mechanizmą. Įsivaizduok, kad modelis turi pasirinkti kitą žodį po frazės „The cat is on the“:
| Tokenas | Tikimybė | Kaupiamoji |
|---|---|---|
| roof | 0.35 | 0.35 |
| bed | 0.25 | 0.60 |
| sofa | 0.15 | 0.75 |
| floor | 0.10 | 0.85 |
| ledge | 0.05 | 0.90 |
| wall | 0.03 | 0.93 |
| … | … | … |
Nustačius Top P = 0.75, paliekami tik „roof“, „bed“ ir „sofa“, nes jų kaupiamoji suma tiksliai siekia 0.75: modelis rinksis tik iš šių trijų variantų. Nustačius Top P = 0.90, į žaidimą įtraukiami ir „floor“, bei „ledge“. Iš lentelės matoma bendra taisyklė: kuo didesnis Top P, tuo daugiau kandidatų svarstoma.
Top P prieš temperatūrą: koks skirtumas?
Kadangi abu parametrai valdo įvairovę, gali kilti mintis, kad jie yra keičiami. Taip nėra. Temperatūra keičia skirstinio formą: didelė reikšmė išlygina kreivę ir palaipsniui padaro mažiau tikėtinus tokenus prieinamesnius, tačiau niekada jų neatmeta. Tuo tarpu Top P skirstinį nupjauna: tokenai, esantys žemiau slenksčio, yra visiškai ignoruojami, nepaisant jų likutinės tikimybės.
Įsimink šį vaizdinį: temperatūra yra „švelnus“ nustatymas, kuris reguliuojamas palaipsniui, o Top P yra „aštrus“ nustatymas, kuris arba įtraukia, arba atmeta. Kuriant kūrybinį tekstą, didelė temperatūra kartu su vidutiniu Top P leidžia skleistis fantazijai, bet neleidžia nukrypti link visiškai neįtikėtinų tokenų – tai dažnai yra patogiausias derinys.
Top P naudojimas su „Mistral“ API
Kode parametras tiesiog pridėjamas prie užklausos kartu su temperatūra:
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Propose a name for an AI startup."}
],
temperature=0.7,
top_p=0.9
)
Kada koreguoti Top P
Žemas Top P (nuo 0.1 iki 0.5) sutelkia modelį į labiausiai tikėtinus variantus – tai maksimalus tikslumas. Tai tinkamas pasirinkimas, kai laukiamas atsakymas priklauso uždarai aibei, pavyzdžiui, atliekant griežtą klasifikavimą:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "system", "content": "Respond only with: positive, neutral, or negative."},
{"role": "user", "content": "Classify: The product arrived in good condition."}
],
temperature=0.0,
top_p=0.3
)
Vidutinis Top P (nuo 0.5 iki 0.8) tinka daugumai profesinių užduočių: tekstas išlieka nuoseklus, bet netampa monotoniškas. Tai režimas, skirtas ataskaitoms, santraukoms arba dokumento įvadams:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Write the introduction for a report on cybersecurity in SMEs."}
],
temperature=0.5,
top_p=0.7
)
Galiausiai, aukštas Top P (nuo 0.8 iki 1.0) atveria erdvę kūrybai ir idėjų paieškoms – priimi mažiau tikėtinus kandidatus, kad gautum netradicinių pasiūlymų:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Invent 5 innovative restaurant concepts."}
],
temperature=0.9,
top_p=0.95
)
Praktinė taisyklė: keisk vieną parametrą vienu metu
„Mistral“ dokumentacija rekomenduoja metodinį požiūrį, kurio turėtum laikytis nuo pat pirmųjų testų: nustatyk Top P į 1.0 (be filtravimo) ir keisk tik temperatūrą, ARBA nustatyk temperatūrą į 1.0 ir keisk tik Top P; tik tada, jei reikia, tikslink antrąjį parametrą. Priežastis paprasta: jei pakeisi abu vienu metu ir elgsena pasikeis, nežinosi, kuris parametras tai lėmė. Tai tas pats refleksas kaip ir derinant klaidas (debugging) – keičiama tik viena kintamoji reikšmė vienu metu.
Kad turėtum konkrečių atskaitos taškų: duomenų gavybai arba JSON išvestiai dažniausiai nustatoma temperature=0.0, top_p=1.0; profesiniam rašymui – temperature=0.4, top_p=0.9; kūrybiniam generavimui – temperature=0.8, top_p=0.95; o kodui arba techniniam turiniui – temperature=0.2, top_p=0.9. Šios reikšmės yra tik pradiniai taškai – eksperimentavimas lieka būtinas tavo konkrečiam naudojimui.
Svarbiausi punktai
- Top P filtruoja kandidatų tokenus pagal kaupiamosios tikimybės slenkstį
- Skirtingai nei temperatūra, kuri sušvelnina skirstinį, Top P jį nupjauna
- Koreguok vieną parametrą vienu metu, kad suprastum jo poveikį
- Žemas Top P = fokusuoti atsakymai, aukštas Top P = įvairūs atsakymai
- Pradėk tik nuo temperatūros, o Top P pridėk patikslinimui