Top P og Nucleus Sampling
På denne side
En anden løftestang til at styre genereringen
Den forrige lektion gav dig den første løftestang til at styre genereringen: temperatur. Top P, også kaldet nucleus sampling, er dens naturlige supplement. Mens temperatur ændrer hele sandsynlighedsfordelingen, fungerer Top P som et filter, der begrænser antallet af kandidattokens. Begge parametre påvirker svarenes mangfoldighed, men gennem meget forskellige mekanismer – og det er netop denne forskel, der giver dig mulighed for at finjustere Mistral-modellens adfærd i stedet for at dreje på knapperne tilfældigt.
Hvordan Top P fungerer
Lad os gennemgå genereringsprocessen igen. Ved hvert trin beregner modellen en sandsynlighed for hvert muligt token. Top P træder ind i billedet i tre faser: Først justeres sandsynlighederne af temperaturen; derefter sorteres tokens efter faldende sandsynlighed, og deres sandsynligheder summeres kumulativt; til sidst beholdes kun de tokens, hvis kumulative sandsynlighed ikke overstiger Top P-tærsklen. Det endelige træk sker kun blandt disse overlevende.
Et eksempel gør mekanismen tydelig. Forestil dig, at modellen skal vælge det næste ord efter „The cat is on the”:
| Token | Sandsynlighed | Kumulativ |
|---|---|---|
| roof | 0.35 | 0.35 |
| bed | 0.25 | 0.60 |
| sofa | 0.15 | 0.75 |
| floor | 0.10 | 0.85 |
| ledge | 0.05 | 0.90 |
| wall | 0.03 | 0.93 |
| … | … | … |
Med Top P = 0.75 beholdes kun „roof”, „bed” og „sofa”, da deres kumulative sum rammer præcis 0.75: modellen vil kun vælge blandt disse tre muligheder. Med Top P = 0.90 kommer „floor” og „ledge” også i spil. Den generelle regel fremgår tydeligt af tabellen: Jo højere Top P, desto flere kandidater overvejes.
Top P vs. temperatur: Hvad er forskellen?
Da begge parametre styrer mangfoldigheden, kunne man tro, de er udskiftelige. Det er de ikke. Temperatur ændrer formen på fordelingen: En høj værdi flader kurven ud og gør usandsynlige tokens gradvist mere tilgængelige uden nogensinde at udelukke nogen. Top P derimod skærer i fordelingen: Tokens under tærsklen ignoreres fuldstændigt, uanset deres resterende sandsynlighed.
Behold dette billede i tankerne: Temperatur er en „blød” indstilling, der justeres gradvist, mens Top P er en „skarp” indstilling, der enten inkluderer eller ekskluderer. I kreativ tekst giver en høj temperatur kombineret med en moderat Top P plads til fantasi, samtidig med at man undgår at drive hen imod virkelig usandsynlige tokens – dette er ofte den mest behagelige kombination.
Brug af Top P med Mistral API
I koden tilføjes parameteren blot til kaldet sammen med temperaturen:
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Propose a name for an AI startup."}
],
temperature=0.7,
top_p=0.9
)
Hvornår skal du justere Top P?
En lav Top P, mellem 0.1 og 0.5, fokuserer modellen på de mest sandsynlige muligheder – maksimal præcision. Dette er det rigtige valg, når det forventede svar tilhører en lukket mængde, som i denne strenge klassificering:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "system", "content": "Respond only with: positive, neutral, or negative."},
{"role": "user", "content": "Classify: The product arrived in good condition."}
],
temperature=0.0,
top_p=0.3
)
En mellemhøj Top P, mellem 0.5 og 0.8, passer til de fleste professionelle opgaver: Teksten forbliver sammenhængende uden at blive monoton. Dette er regimet for en rapport, et resumé eller en dokumentindledning:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Write the introduction for a report on cybersecurity in SMEs."}
],
temperature=0.5,
top_p=0.7
)
Endelig åbner en høj Top P, mellem 0.8 og 1.0, feltet for kreativitet og udforskning af idéer – du accepterer mindre sandsynlige kandidater for at få forslag, der tænker ud af boksen:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Invent 5 innovative restaurant concepts."}
],
temperature=0.9,
top_p=0.95
)
Den praktiske regel: Justér én parameter ad gangen
Mistral-dokumentationen anbefaler en metodisk tilgang, som du bør adoptere fra dine første tests: Sæt Top P til 1.0 (ingen filtrering) og justér kun temperaturen, eller sæt temperaturen til 1.0 og justér kun Top P; først derefter finjusterer du den anden parameter, hvis det er nødvendigt. Årsagen er enkel: Hvis du ændrer begge samtidig, og adfærden ændrer sig, ved du ikke, hvilken der er ansvarlig. Det er samme refleks som ved fejlfinding – du ændrer kun én variabel ad gangen.
For at give dig konkrete udgangspunkter: Dataekstraktion eller JSON-output indstilles typisk til temperature=0.0, top_p=1.0; professionel skrivning til temperature=0.4, top_p=0.9; kreativ generering til temperature=0.8, top_p=0.95; og kode eller teknisk indhold til temperature=0.2, top_p=0.9. Disse værdier er blot udgangspunkter – eksperimentering forbliver afgørende for dit specifikke brugstilfælde.
Vigtige pointer
- Top P filtrerer kandidattokens ved hjælp af en tærskel for kumulativ sandsynlighed
- I modsætning til temperatur, der blødgør fordelingen, skærer Top P i den
- Justér én parameter ad gangen for at forstå dens indvirkning
- Lav Top P = fokuserede svar, Høj Top P = varierede svar
- Start kun med temperatur, og tilføj Top P for at finjustere