Temperatuur ja Top P põhjalikult
Sellel lehel
Väljundi juhuslikkuse meisterdamine
Sa said tundma temperature ja top_p põhitõdesid 3. tunnis. Nüüd on aeg süveneda: kuidas need kaks parameetrit matemaatiliselt genereerimist mõjutavad, kuidas neid konkreetseteks kasutusjuhtudeks häälestada ja miks nende kombineerimine on klassikaline tootmisprobleemide allikas.
Kuidas temperatuur töötab
Igal genereerimise sammul arvutab mudel tõenäosusjaotuse kogu sõnavara ulatuses: milline token järgneb ja millise tõenäosusega. Temperatuur sekkub sellesse jaotusse enne valimist, muutes selle kuju.
Vahemikus 0,0 kuni 0,3 muutub jaotus “teravaks”: kõige tõenäolisem token domineerib teiste üle massiivselt, muutes mudeli peaaegu deterministlikuks. Seda soovid ekstraheerimisel või klassifitseerimisel, kus kaks identset väljakutset peavad andma identsed tulemused. Vahemikus 0,4 kuni 0,8 tekib tasakaal sidususe ja mitmekesisuse vahel – see on tootmises kõige levinum vahemik, mida kasutatakse vestlusrobotite ja abistava kirjutamise jaoks. Sellest kõrgemal, 0,9 kuni 1,5, jaotus lameneb: oluliselt vähem tõenäolistel tokenitel on nüüd reaalne võimalus valituks osutuda. Loomingulisus kasvab, kuid samaaegselt kasvab ka sidetuse oht.
Järgnev eksperiment muudab selle nähtuse käegakatsutavaks, kasutades tahtlikult banaalset lauset.
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))
prompt = [
{"role": "system", "content": "Complete the sentence with a single word."},
{"role": "user", "content": "The color of the sky is..."}
]
# Temperature 0 — always the same response
for i in range(3):
r = client.chat.complete(model="mistral-large-latest", messages=prompt, temperature=0.0, max_tokens=5)
print(f"T=0.0 trial {i+1}: {r.choices[0].message.content}")
# blue, blue, blue
# Temperature 1.5 — varied responses
for i in range(3):
r = client.chat.complete(model="mistral-large-latest", messages=prompt, temperature=1.5, max_tokens=5)
print(f"T=1.5 trial {i+1}: {r.choices[0].message.content}")
# blue, azure, turquoise (varies)
Üks täpsustus on vajalik seoses temperature=0-ga: isegi selle väärtuse korral võivad kahe väljakutse vahel ilmneda väikesed variatsioonid. Põhjus ei peitu mitte mudelis, vaid riistvaras – ujukomaarvutused GPU-del ei garanteeri igal käivitamisel identset hindamisjärjestust ja ümardamislahknevus on mõnikord piisav, et kallutada valikut kahe peaaegu võrdse tõenäosusega tokeni vahel. Kui sinu kasutusjuhtum nõuab maksimaalset reprodutseeritavust, kombineeri temperature=0 parameetriga random_seed, kui mudel seda toetab.
Kuidas Top P töötab (tuumavalim)
Top P toimib pärast temperatuuri, juba ümber kujundatud jaotusel. Selle printsiip ei ole tõenäosusi moonutada, vaid kandidaatide nimekirja kärpida, jättes alles ainult need tokenid, mille kumulatiivne tõenäosuste summa jõuab lävendini P. Kogu protsess kulgeb neljas etapis:
- Mudel arvutab iga tokeni tõenäosused
- Temperatuur muudab neid tõenäosusi
- Tokenid sorteeritakse kahanevas tõenäosusjärjestuses
- Top P säilitab tokenid kuni kumulatiivse lävendi saavutamiseni
Konkreetselt jätab top_p väärtusega 0,1 ellu vaid peotäie kandidaate – kasulik, kui oodatav vastus on faktiline ja peaaegu ainulaadne. Väärtusel 0,95 jääb võistlusesse peaaegu kogu usutav sõnavara, mis sobib leiutamisega seotud päringute jaoks.
# Top P = 0.1 — very restrictive, only the most probable tokens
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": "The capital of France is"}],
temperature=0.7,
top_p=0.1 # Only the top 10% of the probability mass
)
# Top P = 0.95 — broad, almost all tokens considered
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": "Invent a new word for a feeling."}],
temperature=0.7,
top_p=0.95
)
Kuldreegel: üks parameeter korraga
Mistral soovitab sõnaselgelt mitte kohandada temperatuuri ja top_p samaaegselt. Põhjus tuleneb eelnevast: mõlemad toimivad samale jaotusele, üks seda moonutades, teine seda kärpides. Nende efektid korduvad ettearvamatul viisil ja kaotad testimise käigus võime omistada käitumismuutust ühele või teisele parameetrile. Vali oma hoob ja jäta teine vaikeväärtusele.
# GOOD — adjust temperature, top_p default
response = client.chat.complete(
model="mistral-large-latest",
messages=messages,
temperature=0.3 # top_p remains at 1.0 by default
)
# GOOD — adjust top_p, temperature default
response = client.chat.complete(
model="mistral-large-latest",
messages=messages,
top_p=0.5 # temperature remains at 0.7 by default
)
# AVOID — both at the same time
response = client.chat.complete(
model="mistral-large-latest",
messages=messages,
temperature=0.2,
top_p=0.5 # Unpredictable interaction
)
Häälestamine kasutusjuhtumi järgi
Temperatuuri ad hoc valimise asemel anna oma konfiguratsioonidele nimed ja lähtu eesmärgist. Ekstraheerimine ja klassifitseerimine taotlevad täpset ja reprodutseeritavat vastust, seega 0,0. Kokkuvõtete tegemine jääb alliktekstile truuks koos väikese sujuvusega, seega 0,3. Abistav kirjutamine taotleb loomulikkust ilma liigse loomingulisuseta, väärtusel 0,5; vestlusrobotid vajavad mitmekesiseid vastuseid, väärtusel 0,7; ideede genereerimine nõuab maksimaalset loomingulisust, väärtusel 1,2. Kõigil juhtudel jääb top_p väärtusele 1,0 kooskõlas eelmise reegliga.
# Data Extraction / Classification
# Objective: exact, reproducible response
CONFIG_EXTRACTION = {"temperature": 0.0, "top_p": 1.0}
# Summarization / Reformulation
# Objective: faithful to source text with some fluidity
CONFIG_SUMMARY = {"temperature": 0.3, "top_p": 1.0}
# Assisted Writing / Professional Email
# Objective: natural but not too creative
CONFIG_WRITING = {"temperature": 0.5, "top_p": 1.0}
# Conversational Chatbot
# Objective: varied and natural responses
CONFIG_CHATBOT = {"temperature": 0.7, "top_p": 1.0}
# Brainstorming / Idea Generation
# Objective: maximum creativity
CONFIG_CREATIVE = {"temperature": 1.2, "top_p": 1.0}
# Usage
def smart_complete(client, messages, task_type="chatbot"):
configs = {
"extraction": CONFIG_EXTRACTION,
"summary": CONFIG_SUMMARY,
"writing": CONFIG_WRITING,
"chatbot": CONFIG_CHATBOT,
"creative": CONFIG_CREATIVE,
}
config = configs.get(task_type, CONFIG_CHATBOT)
return client.chat.complete(
model="mistral-large-latest",
messages=messages,
**config
)
Katseta metoodiliselt
Need väärtused on lähtepunktid, mitte absoluutsed tõed. Et leida oma ülesande jaoks õige seadistus, pead mõõtma, ja üksainus katse temperatuuri kohta ei mõõda midagi. Allpool olev funktsioon käivitab iga testitud väärtuse jaoks viis genereerimist ja loendab unikaalsed vastused: see on sinu mitmekesisuse indikaator. Ülesanne, mis annab T=0,3 korral 5/5 unikaalset vastust, annab märku liiga avatud vihjest, palju rohkem kui valesti valitud temperatuurist.
def test_temperature_range(client, messages, temperatures):
"""Tests multiple temperatures on the same prompt."""
results = []
for temp in temperatures:
responses = []
for _ in range(5): # 5 trials per temperature
r = client.chat.complete(
model="mistral-large-latest",
messages=messages,
temperature=temp,
max_tokens=200
)
responses.append(r.choices[0].message.content)
# Measure diversity
unique = len(set(responses))
results.append({
"temperature": temp,
"unique_responses": unique,
"sample": responses[0][:100]
})
for r in results:
print(f"T={r['temperature']:.1f} | {r['unique_responses']}/5 unique | {r['sample']}...")
# Test
test_temperature_range(
client,
[{"role": "user", "content": "Give a productivity tip."}],
[0.0, 0.3, 0.7, 1.0, 1.5]
)
Peamised punktid
- Temperatuur muudab tokenite tõenäosusjaotuse kuju
- Top P kärbib jaotust, säilitades kõige tõenäolisemad tokenid
- Ära kunagi kohanda mõlemat samaaegselt – muuda üht parameetrit, jäta teine vaikeväärtusele
temperature=0ei ole GPU ümardamise tõttu täiuslikult deterministlik- Häälesta metoodilise testimisega: 5+ katset konfiguratsiooni kohta, mõõda mitmekesisust