Siirry pääsisältöön
Suomi— Valitse kieli
Valikko

Lämpötila ja Top P syvällisesti

Oppitunti 13 / 16 Päivitetty 2. marraskuuta 2026 Kehittäjä
Tällä sivulla
  1. Tulosteen satunnaistamisen hallinta
  2. Miten lämpötila toimii
  3. Miten Top P toimii (ydinotanta)
  4. Kultainen sääntö: Yksi parametri kerrallaan
  5. Säätäminen käyttötarkoituksen mukaan
  6. Kokeile systemaattisesti
  7. Keskeiset asiat

Tulosteen satunnaistamisen hallinta

Käsittelit temperature- ja top_p-parametrien perusteita oppitunnilla 3. Nyt on aika syventää ymmärrystä: miten nämä kaksi parametria vaikuttavat generointiin matemaattisesti, miten niitä säädetään tiettyihin käyttötarkoituksiin ja miksi niiden yhdistäminen on klassinen tuotantoympäristön ongelmien lähde.

Miten lämpötila toimii

Jokaisessa generointivaiheessa malli laskee todennäköisyysjakauman koko sanastolle: mikä token tulee seuraavaksi ja millä todennäköisyydellä. Lämpötila puuttuu tähän jakaumaan ennen otantaa muuttaen sen muotoa.

Välillä 0,0–0,3 jakaumasta tulee “piikikäs”: todennäköisin token dominoi muita valtavasti, mikä tekee mallista lähes deterministisen. Tätä haluat tiedonpoiminnassa tai luokittelussa, jossa kahden identtisen kutsun on tuotettava identtiset tulokset. Välillä 0,4–0,8 syntyy tasapaino johdonmukaisuuden ja vaihtelevuuden välille – tämä on yleisin alue tuotannossa, käytettynä chatbottien ja avustetun kirjoittamisen yhteydessä. Tämän yläpuolella, välillä 0,9–1,5, jakauma litistyy: merkittävästi epätodennäköisemmille tokeneille ilmestyy realistinen mahdollisuus tulla valituiksi. Luovuus kasvaa, mutta samoin kasvaa epäloogisuuden riski, ja molemmat nousevat yhdessä.

Seuraava kokeilu tekee tästä ilmiöstä konkreettisen tarkoituksellisen arkisen lauseen avulla.

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))

prompt = [
    {"role": "system", "content": "Complete the sentence with a single word."},
    {"role": "user", "content": "The color of the sky is..."}
]

# Temperature 0 — always the same response
for i in range(3):
    r = client.chat.complete(model="mistral-large-latest", messages=prompt, temperature=0.0, max_tokens=5)
    print(f"T=0.0 trial {i+1}: {r.choices[0].message.content}")
# blue, blue, blue

# Temperature 1.5 — varied responses
for i in range(3):
    r = client.chat.complete(model="mistral-large-latest", messages=prompt, temperature=1.5, max_tokens=5)
    print(f"T=1.5 trial {i+1}: {r.choices[0].message.content}")
# blue, azure, turquoise (varies)

Yksi tarkennus on tarpeen kohdassa temperature=0: jopa tässä arvossa voi esiintyä pieniä vaihteluita kahden kutsun välillä. Syy ei ole mallissa vaan laitteistossa – liukulukuoperaatiot GPU:lla eivät takaa identtistä arviointijärjestystä jokaisella suorituksella, ja pyöristysero voi joskus riittää kallistamaan valinnan kahden lähes yhtä todennäköisen tokenin välillä. Jos käyttötarkoituksesi vaatii maksimaalista toistettavuutta, yhdistä temperature=0 parametriin random_seed, kun malli tukee sitä.

Miten Top P toimii (ydinotanta)

Top P vaikuttaa lämpötilan jälkeen siihen jakaumaan, jonka se on jo muokannut. Sen periaate ei ole vääristää todennäköisyyksiä, vaan katkaista ehdokaslista pitäen mukana vain ne tokenit, joiden kumulatiivinen todennäköisyyssumma saavuttaa kynnyksen P. Koko sekvenssi etenee neljässä vaiheessa:

  1. Malli laskee todennäköisyydet jokaiselle tokenille
  2. Lämpötila muokkaa näitä todennäköisyyksiä
  3. Tokenit järjestetään todennäköisyyden mukaan laskevaan järjestykseen
  4. Top P säilyttää tokenit, kunnes kumulatiivinen kynnys saavutetaan

Konkreettisesti top_p-arvo 0,1 jättää henkiin vain kourallisen ehdokkaita – hyödyllistä, kun odotettu vastaus on faktuaalinen ja lähes ainutlaatuinen. Arvolla 0,95 lähes koko uskottava sanasto pysyy kilpailussa, mikä sopii keksintöä vaativaan pyyntöön.

# Top P = 0.1 — very restrictive, only the most probable tokens
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "The capital of France is"}],
    temperature=0.7,
    top_p=0.1  # Only the top 10% of the probability mass
)

# Top P = 0.95 — broad, almost all tokens considered
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "Invent a new word for a feeling."}],
    temperature=0.7,
    top_p=0.95
)

Kultainen sääntö: Yksi parametri kerrallaan

Mistral suosittelee nimenomaisesti, että lämpötilaa ja top_p:tä ei säädetä samanaikaisesti. Syy seuraa edellä mainitusta: molemmat vaikuttavat samaan jakaumaan, toinen vääristämällä sitä, toinen leikkaamalla sitä. Niiden vaikutukset kertovat toisensa arvaamattomilla tavoilla, ja menetät kykysi attribuoida käyttäytymismuutos toiselle tai toiselle testauksen aikana. Valitse vipuvarsi ja jätä toinen oletusarvoonsa.

# GOOD — adjust temperature, top_p default
response = client.chat.complete(
    model="mistral-large-latest",
    messages=messages,
    temperature=0.3  # top_p remains at 1.0 by default
)

# GOOD — adjust top_p, temperature default
response = client.chat.complete(
    model="mistral-large-latest",
    messages=messages,
    top_p=0.5  # temperature remains at 0.7 by default
)

# AVOID — both at the same time
response = client.chat.complete(
    model="mistral-large-latest",
    messages=messages,
    temperature=0.2,
    top_p=0.5  # Unpredictable interaction
)

Säätäminen käyttötarkoituksen mukaan

Älä valitse lämpötilaa ad hoc, vaan nimeä konfiguraatiosi ja perustele tavoitteesi mukaan. Tiedonpoiminnan ja luokittelun tavoitteena on tarkka, toistettava vastaus, joten 0,0. Tiivistäminen pysyy uskollisena lähdetekstille lisäten hieman sujuvuutta, joten 0,3. Avustettu kirjoittaminen etsii luontevuutta ilman tarpeetonta luovuutta, arvolla 0,5; keskustelevat chatbotit tarvitsevat vaihtelevia vastauksia, arvolla 0,7; ideointi vaatii maksimaalista luovuutta, arvolla 1,2. Kaikissa tapauksissa top_p pysyy arvossa 1,0 edellisen säännön mukaisesti.

# Data Extraction / Classification
# Objective: exact, reproducible response
CONFIG_EXTRACTION = {"temperature": 0.0, "top_p": 1.0}

# Summarization / Reformulation
# Objective: faithful to source text with some fluidity
CONFIG_SUMMARY = {"temperature": 0.3, "top_p": 1.0}

# Assisted Writing / Professional Email
# Objective: natural but not too creative
CONFIG_WRITING = {"temperature": 0.5, "top_p": 1.0}

# Conversational Chatbot
# Objective: varied and natural responses
CONFIG_CHATBOT = {"temperature": 0.7, "top_p": 1.0}

# Brainstorming / Idea Generation
# Objective: maximum creativity
CONFIG_CREATIVE = {"temperature": 1.2, "top_p": 1.0}

# Usage
def smart_complete(client, messages, task_type="chatbot"):
    configs = {
        "extraction": CONFIG_EXTRACTION,
        "summary": CONFIG_SUMMARY,
        "writing": CONFIG_WRITING,
        "chatbot": CONFIG_CHATBOT,
        "creative": CONFIG_CREATIVE,
    }
    config = configs.get(task_type, CONFIG_CHATBOT)

    return client.chat.complete(
        model="mistral-large-latest",
        messages=messages,
        **config
    )

Kokeile systemaattisesti

Nämä arvot ovat lähtökohtia, eivät absoluuttisia totuuksia. Löytääksesi oikean asetuksen omalle tehtävällesi sinun on mitattava, eikä yksittäinen koe per lämpötila mittaa mitään. Alla oleva funktio suorittaa viisi generointia jokaiselle testatulle arvolle ja laskee uniikit vastaukset: tämä on monimuotoisuusindikaattorisi. Tehtävä, joka tuottaa 5/5 uniikkia vastausta arvolla T=0,3, signaloi kehotteen olevan liian avoin, paljon enemmän kuin huonosti valittu lämpötila.

def test_temperature_range(client, messages, temperatures):
    """Tests multiple temperatures on the same prompt."""
    results = []
    for temp in temperatures:
        responses = []
        for _ in range(5):  # 5 trials per temperature
            r = client.chat.complete(
                model="mistral-large-latest",
                messages=messages,
                temperature=temp,
                max_tokens=200
            )
            responses.append(r.choices[0].message.content)

        # Measure diversity
        unique = len(set(responses))
        results.append({
            "temperature": temp,
            "unique_responses": unique,
            "sample": responses[0][:100]
        })

    for r in results:
        print(f"T={r['temperature']:.1f} | {r['unique_responses']}/5 unique | {r['sample']}...")

# Test
test_temperature_range(
    client,
    [{"role": "user", "content": "Give a productivity tip."}],
    [0.0, 0.3, 0.7, 1.0, 1.5]
)

Keskeiset asiat

  • Lämpötila muokkaa tokenien todennäköisyysjakauman muotoa
  • Top P katkaisee jakauman säilyttäen todennäköisimmät tokenit
  • Älä koskaan säädä molempia samanaikaisesti – muokkaa yhtä parametria, pidä toinen oletusarvossa
  • temperature=0 ei ole täysin deterministinen GPU:n pyöristysten vuoksi
  • Säädä systemaattisella testauksella: 5+ koetta konfiguraatiota kohden, mittaa monimuotoisuutta