Temperatur och Top P på djupet
På denna sida
Bemästra slumpmässighet i utdata
Du gick igenom grunderna för temperature och top_p i lektion 3. Nu är det dags att fördjupa dig: hur dessa två parametrar matematiskt påverkar genereringen, hur du kalibrerar dem för specifika användningsfall, och varför kombinationen av dem är en klassisk källa till problem i produktion.
Hur temperatur fungerar
Vid varje genereringssteg beräknar modellen en sannolikhetsfördelning över hela ordförrådet: vilket token som kommer härnäst, och med vilken sannolikhet. Temperatur ingriper i denna fördelning innan samplingen sker och ändrar dess form.
Mellan 0,0 och 0,3 blir fördelningen “spetsig”: det mest sannolika token dominerar massivt över de andra, vilket gör modellen nästan deterministisk. Detta är vad du vill ha vid extraktion eller klassificering, där två identiska anrop måste ge identiska resultat. Mellan 0,4 och 0,8 uppstår en balans mellan sammanhang och variation – detta är det vanligaste intervallet i produktion, använt för chattbotar och skrivstöd. Därutöver, från 0,9 till 1,5, plattas fördelningen ut: betydligt mindre sannolika token får nu en realistisk chans att väljas. Kreativiteten ökar, men så gör också risken för inkonsekvens, och båda stiger tillsammans.
Följande experiment gör detta fenomen påtagligt med hjälp av en avsiktligt vardaglig mening.
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))
prompt = [
{"role": "system", "content": "Complete the sentence with a single word."},
{"role": "user", "content": "The color of the sky is..."}
]
# Temperature 0 — always the same response
for i in range(3):
r = client.chat.complete(model="mistral-large-latest", messages=prompt, temperature=0.0, max_tokens=5)
print(f"T=0.0 trial {i+1}: {r.choices[0].message.content}")
# blue, blue, blue
# Temperature 1.5 — varied responses
for i in range(3):
r = client.chat.complete(model="mistral-large-latest", messages=prompt, temperature=1.5, max_tokens=5)
print(f"T=1.5 trial {i+1}: {r.choices[0].message.content}")
# blue, azure, turquoise (varies)
En förtydligande är nödvändig gällande temperature=0: även vid detta värde kan små variationer uppstå mellan två anrop. Orsaken ligger inte i modellen utan i hårdvaran – flyttalsoperationer på GPU:er garanterar inte en identisk utvärderingsordning vid varje körning, och en avrundningsavvikelse räcker ibland för att tippa valet mellan två nästan lika sannolika token. Om ditt användningsfall kräver maximal reproducerbarhet, kombinera temperature=0 med en random_seed när modellen stöder det.
Hur Top P fungerar (Nukleussampling)
Top P verkar efter temperatur, på den fördelning den redan har format om. Dess princip är inte att förvränga sannolikheter utan att trunkera listan över kandidater, genom att bara behålla de token vars kumulativa sannolikhetssumma når tröskeln P. Hela sekvensen utspelar sig i fyra steg:
- Modellen beräknar sannolikheterna för varje token
- Temperatur modifierar dessa sannolikheter
- Token sorteras i fallande sannolikhetsordning
- Top P behåller token tills den kumulativa tröskeln nås
Konkret lämnar ett top_p på 0,1 bara en handfull kandidater vid liv – användbart när det förväntade svaret är faktabaserat och nästan unikt. Vid 0,95 återstår nästan hela det plausibla ordförrådet i tävlan, vilket passar en begäran om uppfinningsrikedom.
# Top P = 0.1 — very restrictive, only the most probable tokens
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": "The capital of France is"}],
temperature=0.7,
top_p=0.1 # Only the top 10% of the probability mass
)
# Top P = 0.95 — broad, almost all tokens considered
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": "Invent a new word for a feeling."}],
temperature=0.7,
top_p=0.95
)
Den gyllene regeln: En parameter i taget
Mistral rekommenderar uttryckligen att inte justera temperatur och top_p samtidigt. Anledningen följer av det föregående: båda verkar på samma fördelning, den ena genom att förvränga den, den andra genom att klippa av den. Deras effekter multipliceras på oförutsägbara sätt, och du förlorar förmågan att härleda en beteendeförändring till den ena eller den andra under testning. Välj din hävstång, och låt den andra stå kvar på sitt standardvärde.
# GOOD — adjust temperature, top_p default
response = client.chat.complete(
model="mistral-large-latest",
messages=messages,
temperature=0.3 # top_p remains at 1.0 by default
)
# GOOD — adjust top_p, temperature default
response = client.chat.complete(
model="mistral-large-latest",
messages=messages,
top_p=0.5 # temperature remains at 0.7 by default
)
# AVOID — both at the same time
response = client.chat.complete(
model="mistral-large-latest",
messages=messages,
temperature=0.2,
top_p=0.5 # Unpredictable interaction
)
Kalibrering efter användningsfall
Istället för att välja en temperatur ad hoc, namnge dina konfigurationer och resonera utifrån målet. Extraktion och klassificering siktar på ett exakt, reproducerbart svar, så 0,0. Sammanfattning håller sig trogen källtexten med lite flyt, så 0,3. Skrivstöd söker naturlighet utan överflödig kreativitet, vid 0,5; konversationella chattbotar behöver varierade svar, vid 0,7; brainstorming kräver maximal kreativitet, vid 1,2. I alla fall förblir top_p på 1,0, i enlighet med den tidigare regeln.
# Data Extraction / Classification
# Objective: exact, reproducible response
CONFIG_EXTRACTION = {"temperature": 0.0, "top_p": 1.0}
# Summarization / Reformulation
# Objective: faithful to source text with some fluidity
CONFIG_SUMMARY = {"temperature": 0.3, "top_p": 1.0}
# Assisted Writing / Professional Email
# Objective: natural but not too creative
CONFIG_WRITING = {"temperature": 0.5, "top_p": 1.0}
# Conversational Chatbot
# Objective: varied and natural responses
CONFIG_CHATBOT = {"temperature": 0.7, "top_p": 1.0}
# Brainstorming / Idea Generation
# Objective: maximum creativity
CONFIG_CREATIVE = {"temperature": 1.2, "top_p": 1.0}
# Usage
def smart_complete(client, messages, task_type="chatbot"):
configs = {
"extraction": CONFIG_EXTRACTION,
"summary": CONFIG_SUMMARY,
"writing": CONFIG_WRITING,
"chatbot": CONFIG_CHATBOT,
"creative": CONFIG_CREATIVE,
}
config = configs.get(task_type, CONFIG_CHATBOT)
return client.chat.complete(
model="mistral-large-latest",
messages=messages,
**config
)
Experimentera metodiskt
Dessa värden är startpunkter, inte absoluta sanningar. För att hitta rätt inställning för din egen uppgift måste du mäta, och ett enda försök per temperatur mäter ingenting. Funktionen nedan kör fem genereringar för varje testat värde och räknar de unika svaren: detta är din diversitetsindikator. En uppgift som ger 5/5 unika svar vid T=0,3 signalerar en prompt som är för öppen, långt mer än en dåligt vald temperatur.
def test_temperature_range(client, messages, temperatures):
"""Tests multiple temperatures on the same prompt."""
results = []
for temp in temperatures:
responses = []
for _ in range(5): # 5 trials per temperature
r = client.chat.complete(
model="mistral-large-latest",
messages=messages,
temperature=temp,
max_tokens=200
)
responses.append(r.choices[0].message.content)
# Measure diversity
unique = len(set(responses))
results.append({
"temperature": temp,
"unique_responses": unique,
"sample": responses[0][:100]
})
for r in results:
print(f"T={r['temperature']:.1f} | {r['unique_responses']}/5 unique | {r['sample']}...")
# Test
test_temperature_range(
client,
[{"role": "user", "content": "Give a productivity tip."}],
[0.0, 0.3, 0.7, 1.0, 1.5]
)
Viktiga punkter
- Temperatur modifierar formen på token-sannolikhetsfördelningen
- Top P trunkerar fördelningen genom att behålla de mest sannolika token
- Justera aldrig båda samtidigt – modifiera en parameter, låt den andra vara standard
temperature=0är inte perfekt deterministiskt på grund av GPU-avrundning- Kalibrera med metodisk testning: 5+ försök per konfiguration, mät diversitet