Spring til hovedindhold
Dansk— Vælg et sprog
Menu

Top P og Nucleus Sampling

Lektion 10 af 16 Opdateret 2. november 2026 Begynder
På denne side
  1. En anden løftestang til at styre genereringen
  2. Hvordan Top P fungerer
  3. Top P vs. temperatur: Hvad er forskellen?
  4. Brug af Top P med Mistral API
  5. Hvornår skal du justere Top P?
  6. Den praktiske regel: Justér én parameter ad gangen
  7. Vigtige pointer

En anden løftestang til at styre genereringen

Den forrige lektion gav dig den første løftestang til at styre genereringen: temperatur. Top P, også kaldet nucleus sampling, er dens naturlige supplement. Mens temperatur ændrer hele sandsynlighedsfordelingen, fungerer Top P som et filter, der begrænser antallet af kandidattokens. Begge parametre påvirker svarenes mangfoldighed, men gennem meget forskellige mekanismer – og det er netop denne forskel, der giver dig mulighed for at finjustere Mistral-modellens adfærd i stedet for at dreje på knapperne tilfældigt.

Hvordan Top P fungerer

Lad os gennemgå genereringsprocessen igen. Ved hvert trin beregner modellen en sandsynlighed for hvert muligt token. Top P træder ind i billedet i tre faser: Først justeres sandsynlighederne af temperaturen; derefter sorteres tokens efter faldende sandsynlighed, og deres sandsynligheder summeres kumulativt; til sidst beholdes kun de tokens, hvis kumulative sandsynlighed ikke overstiger Top P-tærsklen. Det endelige træk sker kun blandt disse overlevende.

Et eksempel gør mekanismen tydelig. Forestil dig, at modellen skal vælge det næste ord efter „The cat is on the”:

TokenSandsynlighedKumulativ
roof0.350.35
bed0.250.60
sofa0.150.75
floor0.100.85
ledge0.050.90
wall0.030.93
………

Med Top P = 0.75 beholdes kun „roof”, „bed” og „sofa”, da deres kumulative sum rammer præcis 0.75: modellen vil kun vælge blandt disse tre muligheder. Med Top P = 0.90 kommer „floor” og „ledge” også i spil. Den generelle regel fremgår tydeligt af tabellen: Jo højere Top P, desto flere kandidater overvejes.

Top P vs. temperatur: Hvad er forskellen?

Da begge parametre styrer mangfoldigheden, kunne man tro, de er udskiftelige. Det er de ikke. Temperatur ændrer formen på fordelingen: En høj værdi flader kurven ud og gør usandsynlige tokens gradvist mere tilgængelige uden nogensinde at udelukke nogen. Top P derimod skærer i fordelingen: Tokens under tærsklen ignoreres fuldstændigt, uanset deres resterende sandsynlighed.

Behold dette billede i tankerne: Temperatur er en „blød” indstilling, der justeres gradvist, mens Top P er en „skarp” indstilling, der enten inkluderer eller ekskluderer. I kreativ tekst giver en høj temperatur kombineret med en moderat Top P plads til fantasi, samtidig med at man undgår at drive hen imod virkelig usandsynlige tokens – dette er ofte den mest behagelige kombination.

Brug af Top P med Mistral API

I koden tilføjes parameteren blot til kaldet sammen med temperaturen:

from mistralai.client import Mistral

client = Mistral(api_key="your-api-key")

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "Propose a name for an AI startup."}
    ],
    temperature=0.7,
    top_p=0.9
)

Hvornår skal du justere Top P?

En lav Top P, mellem 0.1 og 0.5, fokuserer modellen på de mest sandsynlige muligheder – maksimal præcision. Dette er det rigtige valg, når det forventede svar tilhører en lukket mængde, som i denne strenge klassificering:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "system", "content": "Respond only with: positive, neutral, or negative."},
        {"role": "user", "content": "Classify: The product arrived in good condition."}
    ],
    temperature=0.0,
    top_p=0.3
)

En mellemhøj Top P, mellem 0.5 og 0.8, passer til de fleste professionelle opgaver: Teksten forbliver sammenhængende uden at blive monoton. Dette er regimet for en rapport, et resumé eller en dokumentindledning:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "Write the introduction for a report on cybersecurity in SMEs."}
    ],
    temperature=0.5,
    top_p=0.7
)

Endelig åbner en høj Top P, mellem 0.8 og 1.0, feltet for kreativitet og udforskning af idéer – du accepterer mindre sandsynlige kandidater for at få forslag, der tænker ud af boksen:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "Invent 5 innovative restaurant concepts."}
    ],
    temperature=0.9,
    top_p=0.95
)

Den praktiske regel: Justér én parameter ad gangen

Mistral-dokumentationen anbefaler en metodisk tilgang, som du bør adoptere fra dine første tests: Sæt Top P til 1.0 (ingen filtrering) og justér kun temperaturen, eller sæt temperaturen til 1.0 og justér kun Top P; først derefter finjusterer du den anden parameter, hvis det er nødvendigt. Årsagen er enkel: Hvis du ændrer begge samtidig, og adfærden ændrer sig, ved du ikke, hvilken der er ansvarlig. Det er samme refleks som ved fejlfinding – du ændrer kun én variabel ad gangen.

For at give dig konkrete udgangspunkter: Dataekstraktion eller JSON-output indstilles typisk til temperature=0.0, top_p=1.0; professionel skrivning til temperature=0.4, top_p=0.9; kreativ generering til temperature=0.8, top_p=0.95; og kode eller teknisk indhold til temperature=0.2, top_p=0.9. Disse værdier er blot udgangspunkter – eksperimentering forbliver afgørende for dit specifikke brugstilfælde.

Vigtige pointer

  • Top P filtrerer kandidattokens ved hjælp af en tærskel for kumulativ sandsynlighed
  • I modsætning til temperatur, der blødgør fordelingen, skærer Top P i den
  • Justér én parameter ad gangen for at forstå dens indvirkning
  • Lav Top P = fokuserede svar, Høj Top P = varierede svar
  • Start kun med temperatur, og tilføj Top P for at finjustere