Temperatuur en Top P in detail
Op deze pagina
Uitvoer-randomisatie onder de knie krijgen
U heeft de basis van temperature en top_p behandeld in Les 3. Nu is het tijd om dieper te gaan: hoe deze twee parameters de generatie wiskundig beïnvloeden, hoe u ze kalibreert voor specifieke use-cases, en waarom het combineren ervan een klassieke bron van productiefouten is.
Hoe temperatuur werkt
Bij elke generatiestap berekent het model een kansverdeling over het volledige vocabulaire: welk token komt er vervolgens, en met welke waarschijnlijkheid? Temperatuur grijpt in op deze verdeling voor de sampling, waardoor de vorm ervan verandert.
Tussen 0,0 en 0,3 wordt de verdeling “piekerig”: het meest waarschijnlijke token domineert de anderen massaal, waardoor het model quasi-deterministisch wordt. Dit is wat u wilt voor extractie of classificatie, waar twee identieke oproepen identieke resultaten moeten opleveren. Tussen 0,4 en 0,8 ontstaat er een balans tussen coherentie en variatie; dit is het meest gebruikelijke bereik in productie, gebruikt voor chatbots en ondersteund schrijven. Daarboven, van 0,9 tot 1,5, vlakt de verdeling af: aanzienlijk minder waarschijnlijke tokens hebben nu een reële kans om geselecteerd te worden. De creativiteit neemt toe, maar het risico op incoherentie ook, en beide stijgen samen.
Het volgende experiment maakt dit fenomeen tastbaar aan de hand van een bewust alledaagse zin.
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))
prompt = [
{"role": "system", "content": "Complete the sentence with a single word."},
{"role": "user", "content": "The color of the sky is..."}
]
# Temperature 0 — always the same response
for i in range(3):
r = client.chat.complete(model="mistral-large-latest", messages=prompt, temperature=0.0, max_tokens=5)
print(f"T=0.0 trial {i+1}: {r.choices[0].message.content}")
# blue, blue, blue
# Temperature 1.5 — varied responses
for i in range(3):
r = client.chat.complete(model="mistral-large-latest", messages=prompt, temperature=1.5, max_tokens=5)
print(f"T=1.5 trial {i+1}: {r.choices[0].message.content}")
# blue, azure, turquoise (varies)
Eén verduidelijking is nodig betreffende temperature=0: zelfs bij deze waarde kunnen lichte variaties optreden tussen twee oproepen. De oorzaak ligt niet bij het model, maar bij de hardware; floating-point-bewerkingen op GPU’s garanderen geen identieke evaluatievolgorde bij elke uitvoering, en een afrondingsverschil is soms genoeg om de keuze te laten kantelen tussen twee nagenoeg even waarschijnlijke tokens. Als uw use-case maximale reproduceerbaarheid vereist, combineer dan temperature=0 met een random_seed wanneer het model dit ondersteunt.
Hoe Top P werkt (Nucleus Sampling)
Top P werkt na de temperatuur, op de verdeling die deze al heeft hervormd. Het principe is niet om kansen te vervormen, maar om de lijst met kandidaten af te kappen, waarbij alleen de tokens behouden blijven waarvan de cumulatieve kanssom de drempel P bereikt. De volledige reeks verloopt in vier stappen:
- Het model berekent de kansen voor elk token
- Temperatuur wijzigt deze kansen
- Tokens worden gesorteerd op afnemende waarschijnlijkheid
- Top P behoudt tokens totdat de cumulatieve drempel is bereikt
Concreet laat een top_p van 0,1 slechts een handvol kandidaten over; nuttig wanneer het verwachte antwoord feitelijk en nagenoeg uniek is. Bij 0,95 blijft bijna het volledige plausibele vocabulaire in de running, wat past bij een verzoek om inventie.
# Top P = 0.1 — very restrictive, only the most probable tokens
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": "The capital of France is"}],
temperature=0.7,
top_p=0.1 # Only the top 10% of the probability mass
)
# Top P = 0.95 — broad, almost all tokens considered
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": "Invent a new word for a feeling."}],
temperature=0.7,
top_p=0.95
)
De gouden regel: één parameter tegelijk
Mistral raadt expliciet aan om temperatuur en top_p niet gelijktijdig aan te passen. De reden volgt uit het voorgaande: beide werken in op dezelfde verdeling, de ene door deze te vervormen, de andere door deze af te kappen. Hun effecten vermenigvuldigen zich op onvoorspelbare wijze, en u verliest elk vermogen om tijdens het testen een gedragsverandering aan de ene of de andere parameter toe te schrijven. Kies uw hefboom, en laat de andere op de standaardwaarde staan.
# GOOD — adjust temperature, top_p default
response = client.chat.complete(
model="mistral-large-latest",
messages=messages,
temperature=0.3 # top_p remains at 1.0 by default
)
# GOOD — adjust top_p, temperature default
response = client.chat.complete(
model="mistral-large-latest",
messages=messages,
top_p=0.5 # temperature remains at 0.7 by default
)
# AVOID — both at the same time
response = client.chat.complete(
model="mistral-large-latest",
messages=messages,
temperature=0.2,
top_p=0.5 # Unpredictable interaction
)
Kalibreren per use-case
Kies niet ad hoc een temperatuur, maar geef uw configuraties een naam en redeneer vanuit het doel. Extractie en classificatie streven naar een exact, reproduceerbaar antwoord, dus 0,0. Samenvatten blijft trouw aan de brontekst met een beetje vloeibaarheid, dus 0,3. Ondersteund schrijven zoekt natuurlijkheid zonder overbodige creativiteit, op 0,5; conversationele chatbots hebben gevarieerde antwoorden nodig, op 0,7; brainstormen vereist maximale creativiteit, op 1,2. In alle gevallen blijft top_p op 1,0, in overeenstemming met de vorige regel.
# Data Extraction / Classification
# Objective: exact, reproducible response
CONFIG_EXTRACTION = {"temperature": 0.0, "top_p": 1.0}
# Summarization / Reformulation
# Objective: faithful to source text with some fluidity
CONFIG_SUMMARY = {"temperature": 0.3, "top_p": 1.0}
# Assisted Writing / Professional Email
# Objective: natural but not too creative
CONFIG_WRITING = {"temperature": 0.5, "top_p": 1.0}
# Conversational Chatbot
# Objective: varied and natural responses
CONFIG_CHATBOT = {"temperature": 0.7, "top_p": 1.0}
# Brainstorming / Idea Generation
# Objective: maximum creativity
CONFIG_CREATIVE = {"temperature": 1.2, "top_p": 1.0}
# Usage
def smart_complete(client, messages, task_type="chatbot"):
configs = {
"extraction": CONFIG_EXTRACTION,
"summary": CONFIG_SUMMARY,
"writing": CONFIG_WRITING,
"chatbot": CONFIG_CHATBOT,
"creative": CONFIG_CREATIVE,
}
config = configs.get(task_type, CONFIG_CHATBOT)
return client.chat.complete(
model="mistral-large-latest",
messages=messages,
**config
)
Methodisch experimenteren
Deze waarden zijn startpunten, geen absolute waarheden. Om de juiste instelling voor uw eigen taak te vinden, moet u meten, en één proef per temperatuur meet niets. De onderstaande functie voert vijf generaties uit voor elke geteste waarde en telt de unieke antwoorden: dit is uw diversiteitsindicator. Een taak die 5/5 unieke antwoorden oplevert bij T=0,3 signaleert een prompt die te open is, veel meer dan een slecht gekozen temperatuur.
def test_temperature_range(client, messages, temperatures):
"""Tests multiple temperatures on the same prompt."""
results = []
for temp in temperatures:
responses = []
for _ in range(5): # 5 trials per temperature
r = client.chat.complete(
model="mistral-large-latest",
messages=messages,
temperature=temp,
max_tokens=200
)
responses.append(r.choices[0].message.content)
# Measure diversity
unique = len(set(responses))
results.append({
"temperature": temp,
"unique_responses": unique,
"sample": responses[0][:100]
})
for r in results:
print(f"T={r['temperature']:.1f} | {r['unique_responses']}/5 unique | {r['sample']}...")
# Test
test_temperature_range(
client,
[{"role": "user", "content": "Give a productivity tip."}],
[0.0, 0.3, 0.7, 1.0, 1.5]
)
Belangrijkste punten
- Temperatuur wijzigt de vorm van de kansverdeling van tokens
- Top P kappt de verdeling af door alleen de meest waarschijnlijke tokens te behouden
- Pas nooit beide gelijktijdig aan; wijzig één parameter en houd de andere op de standaardwaarde
temperature=0is niet perfect deterministisch vanwege GPU-afronding- Kalibreer met methodisch testen: 5+ proeven per configuratie, meet de diversiteit