Top P i uzorkovanje jezgre
Na ovoj stranici
Druga poluga za kontrolu generiranja
Prethodna lekcija upoznala te je s prvom polugom za kontrolu generiranja: temperaturom. Top P, poznat i kao uzorkovanje jezgre (nucleus sampling), njegov je prirodni suputnik. Dok temperatura mijenja cijelu distribuciju vjerojatnosti, Top P djeluje kao filtar koji ograničava broj kandidatskih tokena. Oba parametra utječu na raznolikost odgovora, ali kroz vrlo različite mehanizme – a upravo ta razlika omogućuje ti fino podešavanje ponašanja modela Mistral umjesto nasumičnog okretanja kotačića.
Kako funkcionira Top P
Prođimo ponovno kroz proces generiranja. U svakom koraku model izračunava vjerojatnost za svaki mogući token. Top P stupa na scenu u tri faze: prvo se vjerojatnosti prilagođavaju temperaturom; zatim se tokeni sortiraju po silaznoj vjerojatnosti i njihove se vjerojatnosti kumulativno zbrajaju; konačno, zadržavaju se samo oni tokeni čija kumulativna vjerojatnost ne prelazi prag Top P. Konačno izvlačenje događa se isključivo među tim preživjelima.
Primjer će razjasniti mehanizam. Zamisli da model mora odabrati sljedeću riječ nakon „Mačka je na“:
| Token | Vjerojatnost | Kumulativno |
|---|---|---|
| krovu | 0.35 | 0.35 |
| krevetu | 0.25 | 0.60 |
| kauču | 0.15 | 0.75 |
| podu | 0.10 | 0.85 |
| rubu | 0.05 | 0.90 |
| zidu | 0.03 | 0.93 |
| … | … | … |
S Top P = 0.75, zadržavaju se samo „krovu“, „krevetu“ i „kauču“, jer njihov kumulativni zbroj doseže točno 0.75: model će birati isključivo među ove tri opcije. S Top P = 0.90, u igru ulaze i „podu“ te „rubu“. Opće je pravilo iz tablice jasno: što je Top P viši, to se više kandidata razmatra.
Top P naspram temperature: Koja je razlika?
Budući da oba parametra kontroliraju raznolikost, mogao bi pomisliti da su zamjenjivi. Nisu. Temperatura mijenja oblik distribucije: visoka vrijednost izravnava krivulju i postupno čini nevjerojatne tokene dostupnijima, nikada ih ne isključujući u potpunosti. Top P, s druge strane, reže distribuciju: tokeni ispod praga jednostavno se ignoriraju, bez obzira na njihovu preostalu vjerojatnost.
Zapamti ovu sliku: temperatura je „mekana“ postavka koja se postupno prilagođava, dok je Top P „oštra“ postavka koja uključuje ili isključuje. U kreativnom tekstu, visoka temperatura uz umjereni Top P omogućuje maštovitost, a istovremeno sprječava skretanje prema doista nevjerojatnim tokenima – ovo je često najudobnija kombinacija.
Korištenje Top P s Mistral API-jem
U kodu se parametar jednostavno dodaje pozivu, uz temperaturu:
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Propose a name for an AI startup."}
],
temperature=0.7,
top_p=0.9
)
Kada prilagoditi Top P
Nizak Top P, između 0.1 i 0.5, usmjerava model na najvjerojatnije opcije – maksimalna preciznost. Ovo je ispravan izbor kada očekivani odgovor pripada zatvorenom skupu, kao u ovoj strogoj klasifikaciji:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "system", "content": "Respond only with: positive, neutral, or negative."},
{"role": "user", "content": "Classify: The product arrived in good condition."}
],
temperature=0.0,
top_p=0.3
)
Srednji Top P, između 0.5 i 0.8, odgovara većini profesionalnih zadataka: tekst ostaje koherentan, a ne postaje monoton. Ovo je režim za izvješće, sažetak ili uvod u dokument:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Write the introduction for a report on cybersecurity in SMEs."}
],
temperature=0.5,
top_p=0.7
)
Konačno, visok Top P, između 0.8 i 1.0, otvara prostor za kreativnost i istraživanje ideja – prihvaćaš manje vjerojatne kandidate kako bi dobio prijedloge koji razbijaju kalupe:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Invent 5 innovative restaurant concepts."}
],
temperature=0.9,
top_p=0.95
)
Praktično pravilo: Podešavaj jedan parametar odjednom
Dokumentacija Mistrala preporučuje metodičan pristup koji bi trebao usvojiti već od prvih testova: postavi Top P na 1.0 (bez filtriranja) i prilagođavaj samo temperaturu, ili postavi temperaturu na 1.0 i prilagođavaj samo Top P; tek potom, po potrebi, fino podešavaš drugi parametar. Razlog je jednostavan: ako promijeniš oba istovremeno i ponašanje se promijeni, nećeš znati koji je parametar odgovoran. To je isti refleks kao kod debugiranja – mijenjaš samo jednu varijablu odjednom.
Da ti dam konkretne polazne točke: ekstrakcija podataka ili JSON izlaz obično se postavljaju na temperature=0.0, top_p=1.0; profesionalno pisanje na temperature=0.4, top_p=0.9; kreativno generiranje na temperature=0.8, top_p=0.95; a kod ili tehnički sadržaj na temperature=0.2, top_p=0.9. Ove su vrijednosti samo polazišta – eksperimentiranje ostaje ključno za tvoj specifični slučaj uporabe.
Ključne točke
- Top P filtrira kandidatske tokene prema pragu kumulativne vjerojatnosti
- Za razliku od temperature koja omekšava distribuciju, Top P je reže
- Podešavaj jedan parametar odjednom kako bi razumio njegov utjecaj
- Nizak Top P = fokusirani odgovori, Visok Top P = raznoliki odgovori
- Započni samo s temperaturom, dodaj Top P za fino podešavanje