Ga naar hoofdinhoud
Nederlands— Kies een taal
Menu

Top P en Nucleus Sampling

Les 10 van 16 Bijgewerkt op 2 november 2026 Beginner
Op deze pagina
  1. Een tweede hefboom om de generatie te sturen
  2. Hoe Top P werkt
  3. Top P versus temperatuur: wat is het verschil?
  4. Top P gebruiken met de Mistral API
  5. Wanneer u Top P moet aanpassen
  6. De praktische regel: pas één parameter tegelijk aan
  7. Belangrijkste punten

Een tweede hefboom om de generatie te sturen

De vorige les gaf u de eerste hefboom om de generatie te beheersen: de temperatuur. Top P, ook wel nucleus sampling genoemd, is de natuurlijke aanvulling hierop. Waar de temperatuur de volledige waarschijnlijkheidsverdeling wijzigt, fungeert Top P als een filter dat het aantal kandidaat-tokens beperkt. Beide parameters beïnvloeden de diversiteit van het antwoord, maar via zeer verschillende mechanismen. Precies dit verschil stelt u in staat het gedrag van het Mistral-model nauwkeurig af te stemmen, in plaats van willekeurig aan knoppen te draaien.

Hoe Top P werkt

Laten we het generatieproces nog eens doorlopen. Bij elke stap berekent het model een waarschijnlijkheid voor elk mogelijk token. Top P grijpt in tijdens drie fasen: eerst worden de waarschijnlijkheden aangepast door de temperatuur; vervolgens worden de tokens gesorteerd op aflopende waarschijnlijkheid en worden hun waarschijnlijkheden cumulatief opgeteld; tot slot worden alleen die tokens behouden waarvan de cumulatieve waarschijnlijkheid de Top P-drempel niet overschrijdt. De uiteindelijke selectie vindt alleen plaats onder deze overgebleven kandidaten.

Een voorbeeld verduidelijkt het mechanisme. Stel dat het model het volgende woord moet kiezen na “The cat is on the”:

TokenWaarschijnlijkheidCumulatief
roof0.350.35
bed0.250.60
sofa0.150.75
floor0.100.85
ledge0.050.90
wall0.030.93
………

Bij Top P = 0.75 worden alleen “roof”, “bed” en “sofa” behouden, omdat hun cumulatieve som precies 0.75 bereikt: het model kiest uitsluitend uit deze drie opties. Bij Top P = 0.90 komen ook “floor” en “ledge” in aanmerking. De algemene regel is duidelijk uit de tabel: hoe hoger de Top P, hoe meer kandidaten in overweging worden genomen.

Top P versus temperatuur: wat is het verschil?

Omdat beide parameters de diversiteit sturen, zou u kunnen denken dat ze uitwisselbaar zijn. Dat zijn ze niet. De temperatuur verandert de vorm van de verdeling: een hoge waarde vlakt de curve af en maakt onwaarschijnlijke tokens geleidelijk toegankelijker, zonder er ooit een uit te sluiten. Top P daarentegen snijdt de verdeling af: tokens onder de drempel worden volledig genegeerd, ongeacht hun resterende waarschijnlijkheid.

Houd dit beeld voor ogen: temperatuur is een “zachte” instelling die geleidelijk aanpast, terwijl Top P een “scherpe” instelling is die includeert of excludeert. Bij creatieve tekst stelt een hoge temperatuur gecombineerd met een matige Top P u in staat fantasievol te zijn zonder af te dwalen naar echt onwaarschijnlijke tokens. Dit is vaak de meest comfortabele combinatie.

Top P gebruiken met de Mistral API

In code wordt de parameter eenvoudig aan de oproep toegevoegd, naast de temperatuur:

from mistralai.client import Mistral

client = Mistral(api_key="your-api-key")

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "Propose a name for an AI startup."}
    ],
    temperature=0.7,
    top_p=0.9
)

Wanneer u Top P moet aanpassen

Een lage Top P, tussen 0.1 en 0.5, concentreert het model op de meest waarschijnlijke opties: maximale precisie. Dit is de juiste keuze wanneer het verwachte antwoord tot een gesloten set behoort, zoals bij deze strikte classificatie:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "system", "content": "Respond only with: positive, neutral, or negative."},
        {"role": "user", "content": "Classify: The product arrived in good condition."}
    ],
    temperature=0.0,
    top_p=0.3
)

Een gemiddelde Top P, tussen 0.5 en 0.8, past bij de meeste professionele taken: de tekst blijft coherent zonder eentonig te worden. Dit is het regime voor een rapport, een samenvatting of de inleiding van een document:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "Write the introduction for a report on cybersecurity in SMEs."}
    ],
    temperature=0.5,
    top_p=0.7
)

Tot slot opent een hoge Top P, tussen 0.8 en 1.0, het veld voor creativiteit en ideeënverkenning. U accepteert dan minder waarschijnlijke kandidaten om voorstellen te krijgen die buiten de gebaande paden liggen:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "Invent 5 innovative restaurant concepts."}
    ],
    temperature=0.9,
    top_p=0.95
)

De praktische regel: pas één parameter tegelijk aan

De documentatie van Mistral beveelt een methodische aanpak aan die u vanaf uw eerste tests moet overnemen: stel Top P in op 1.0 (geen filtering) en pas alleen de temperatuur aan, of stel de temperatuur in op 1.0 en pas alleen Top P aan. Pas daarna verfijnt u de tweede parameter indien nodig. De reden is eenvoudig: als u beide gelijktijdig wijzigt en het gedrag verandert, weet u niet welke parameter verantwoordelijk is. Het is dezelfde reflex als bij debuggen: u wijzigt slechts één variabele per keer.

Om u concrete startpunten te geven: voor data-extractie of JSON-uitvoer stelt u doorgaans temperature=0.0, top_p=1.0 in; voor professioneel schrijven temperature=0.4, top_p=0.9; voor creatieve generatie temperature=0.8, top_p=0.95; en voor code of technische inhoud temperature=0.2, top_p=0.9. Deze waarden zijn slechts startpunten; experimenten blijven essentieel voor uw specifieke use case.

Belangrijkste punten

  • Top P filtert kandidaat-tokens op basis van een cumulatieve waarschijnlijkheidsdrempel
  • In tegenstelling tot temperatuur, die de verdeling verzacht, snijdt Top P deze af
  • Pas één parameter tegelijk aan om de impact ervan te begrijpen
  • Lage Top P = gefocuste antwoorden, Hoge Top P = gevarieerde antwoorden
  • Begin alleen met temperatuur en voeg Top P toe om te verfijnen