Spring til hovedindhold
Dansk— Vælg et sprog
Menu

Temperatur og Top P i dybden

Lektion 13 af 16 Opdateret 2. november 2026 Udvikler
På denne side
  1. Mastering Output Randomization
  2. Hvordan temperatur fungerer
  3. Hvordan Top P fungerer (Nucleus Sampling)
  4. Den gyldne regel: Én parameter ad gangen
  5. Kalibrering efter brugssag
  6. Eksperimenter metodisk
  7. Vigtige pointer

Mastering Output Randomization

Du har dækket grundprincipperne for temperature og top_p i lektion 3. Nu er det tid til at gå dybere: hvordan disse to parametre matematisk påvirker genereringen, hvordan du kalibrerer dem til specifikke brugssager, og hvorfor kombinationen af dem er en klassisk kilde til problemer i produktion.

Hvordan temperatur fungerer

Ved hvert genereringstrin beregner modellen en sandsynlighedsfordeling over hele ordforrådet: hvilket token der kommer næst, og med hvilken sandsynlighed. Temperatur griber ind i denne fordeling før sampling og ændrer dens form.

Mellem 0,0 og 0,3 bliver fordelingen “spids”: det mest sandsynlige token dominerer massivt de andre, hvilket gør modellen kvasi-deterministisk. Det er præcis, hvad du ønsker ved ekstraktion eller klassificering, hvor to identiske kald skal give identiske resultater. Mellem 0,4 og 0,8 opstår en balance mellem sammenhæng og variation – dette er det mest almindelige interval i produktion, brugt til chatbots og assisteret skrivning. Derudover, fra 0,9 til 1,5, flader fordelingen ud: betydeligt mindre sandsynlige tokens har nu en reel chance for at blive valgt. Kreativiteten stiger, men risikoen for inkohærens stiger også, og begge dele sker samtidigt.

Følgende eksperiment gør dette fænomen håndgribeligt ved hjælp af en bevidst banal sætning.

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))

prompt = [
    {"role": "system", "content": "Complete the sentence with a single word."},
    {"role": "user", "content": "The color of the sky is..."}
]

# Temperature 0 — always the same response
for i in range(3):
    r = client.chat.complete(model="mistral-large-latest", messages=prompt, temperature=0.0, max_tokens=5)
    print(f"T=0.0 trial {i+1}: {r.choices[0].message.content}")
# blue, blue, blue

# Temperature 1.5 — varied responses
for i in range(3):
    r = client.chat.complete(model="mistral-large-latest", messages=prompt, temperature=1.5, max_tokens=5)
    print(f"T=1.5 trial {i+1}: {r.choices[0].message.content}")
# blue, azure, turquoise (varies)

En præcisering er nødvendig vedrørende temperature=0: selv ved denne værdi kan der optræde små variationer mellem to kald. Årsagen ligger ikke i modellen, men i hardwaren – flydende komma-operationer på GPU’er garanterer ikke en identisk evalueringsrækkefølge ved hver kørsel, og en afrundingsfejl er nogle gange nok til at vippe valget mellem to næsten lige sandsynlige tokens. Hvis dit brugstilfælde kræver maksimal reproducerbarhed, skal du kombinere temperature=0 med en random_seed, når modellen understøtter det.

Hvordan Top P fungerer (Nucleus Sampling)

Top P virker efter temperaturen på den fordeling, den allerede har omformet. Dens princip er ikke at fordreje sandsynligheder, men at afkorte listen over kandidater og kun beholde de tokens, hvis kumulative sandsynlighedssum når tærsklen P. Hele sekvensen udspiller sig i fire trin:

  1. Modellen beregner sandsynlighederne for hvert token
  2. Temperaturen modificerer disse sandsynligheder
  3. Tokens sorteres efter faldende sandsynlighed
  4. Top P beholder tokens, indtil den kumulative tærskel er nået

Konkret efterlader en top_p på 0,1 kun en håndfuld kandidater i live – nyttigt når det forventede svar er fakta og næsten entydigt. Ved 0,95 forbliver næsten hele det plausible ordforråd i konkurrence, hvilket passer til en anmodning om opfindsomhed.

# Top P = 0.1 — very restrictive, only the most probable tokens
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "The capital of France is"}],
    temperature=0.7,
    top_p=0.1  # Only the top 10% of the probability mass
)

# Top P = 0.95 — broad, almost all tokens considered
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "Invent a new word for a feeling."}],
    temperature=0.7,
    top_p=0.95
)

Den gyldne regel: Én parameter ad gangen

Mistral anbefaler eksplicit ikke at justere temperatur og top_p samtidigt. Årsagen følger af det foregående: begge virker på samme fordeling, den ene ved at fordreje den, den anden ved at skære den af. Deres effekter ganges på uforudsigelige måder, og du mister enhver evne til at tilskrive en adfærdsændring til den ene eller den anden under testning. Vælg din løftestang, og lad den anden stå på sin standardværdi.

# GOOD — adjust temperature, top_p default
response = client.chat.complete(
    model="mistral-large-latest",
    messages=messages,
    temperature=0.3  # top_p remains at 1.0 by default
)

# GOOD — adjust top_p, temperature default
response = client.chat.complete(
    model="mistral-large-latest",
    messages=messages,
    top_p=0.5  # temperature remains at 0.7 by default
)

# AVOID — both at the same time
response = client.chat.complete(
    model="mistral-large-latest",
    messages=messages,
    temperature=0.2,
    top_p=0.5  # Unpredictable interaction
)

Kalibrering efter brugssag

I stedet for at vælge en temperatur ad hoc, bør du navngive dine konfigurationer og ræsonnere ud fra målet. Ekstraktion og klassificering sigter mod et præcist, reproducerbart svar, så 0,0. Resuméer forbliver tro mod kildeteksten med en smule flydende form, så 0,3. Assisteret skrivning søger naturlighed uden overflødig kreativitet, ved 0,5; konversationelle chatbots har brug for varierede svar, ved 0,7; brainstorming kræver maksimal kreativitet, ved 1,2. I alle tilfælde forbliver top_p på 1,0 i overensstemmelse med den tidligere regel.

# Data Extraction / Classification
# Objective: exact, reproducible response
CONFIG_EXTRACTION = {"temperature": 0.0, "top_p": 1.0}

# Summarization / Reformulation
# Objective: faithful to source text with some fluidity
CONFIG_SUMMARY = {"temperature": 0.3, "top_p": 1.0}

# Assisted Writing / Professional Email
# Objective: natural but not too creative
CONFIG_WRITING = {"temperature": 0.5, "top_p": 1.0}

# Conversational Chatbot
# Objective: varied and natural responses
CONFIG_CHATBOT = {"temperature": 0.7, "top_p": 1.0}

# Brainstorming / Idea Generation
# Objective: maximum creativity
CONFIG_CREATIVE = {"temperature": 1.2, "top_p": 1.0}

# Usage
def smart_complete(client, messages, task_type="chatbot"):
    configs = {
        "extraction": CONFIG_EXTRACTION,
        "summary": CONFIG_SUMMARY,
        "writing": CONFIG_WRITING,
        "chatbot": CONFIG_CHATBOT,
        "creative": CONFIG_CREATIVE,
    }
    config = configs.get(task_type, CONFIG_CHATBOT)

    return client.chat.complete(
        model="mistral-large-latest",
        messages=messages,
        **config
    )

Eksperimenter metodisk

Disse værdier er udgangspunkter, ikke absolutte sandheder. For at finde den rigtige indstilling til din egen opgave skal du måle, og et enkelt forsøg pr. temperatur måler ingenting. Funktionen nedenfor kører fem generationer for hver testet værdi og tæller de unikke svar: dette er din diversitetsindikator. En opgave, der giver 5/5 unikke svar ved T=0,3, signalerer en prompt, der er for åben, langt mere end en dårligt valgt temperatur.

def test_temperature_range(client, messages, temperatures):
    """Tests multiple temperatures on the same prompt."""
    results = []
    for temp in temperatures:
        responses = []
        for _ in range(5):  # 5 trials per temperature
            r = client.chat.complete(
                model="mistral-large-latest",
                messages=messages,
                temperature=temp,
                max_tokens=200
            )
            responses.append(r.choices[0].message.content)

        # Measure diversity
        unique = len(set(responses))
        results.append({
            "temperature": temp,
            "unique_responses": unique,
            "sample": responses[0][:100]
        })

    for r in results:
        print(f"T={r['temperature']:.1f} | {r['unique_responses']}/5 unique | {r['sample']}...")

# Test
test_temperature_range(
    client,
    [{"role": "user", "content": "Give a productivity tip."}],
    [0.0, 0.3, 0.7, 1.0, 1.5]
)

Vigtige pointer

  • Temperatur modificerer formen på token-sandsynlighedsfordelingen
  • Top P afkorter fordelingen ved at beholde de mest sandsynlige tokens
  • Juster aldrig begge samtidigt – modificer én parameter, lad den anden stå på standard
  • temperature=0 er ikke perfekt deterministisk på grund af GPU-afrunding
  • Kalibrer med metodisk testning: 5+ forsøg pr. konfiguration, mål diversiteten