Temperatūra un Top P padziļināti
Šajā lapā
Izlases nejaušības apguve
- nodarbībā tu apguvi
temperatureuntop_ppamatus. Tagad ir laiks iedziļināties: kā šie divi parametri matemātiski ietekmē ģenerēšanu, kā tos kalibrēt konkrētiem lietojumiem un kāpēc to kombinēšana ir klasisks ražošanas vides problēmu avots.
Kā darbojas temperatūra
Katrā ģenerēšanas solī modelis aprēķina varbūtību sadalījumu visam vārdu krājumam: kurš tokens būs nākamais un ar kādu iespējamību. Temperatūra iejaucas šajā sadalījumā pirms izlases veikšanas, mainot tā formu.
Robežās no 0,0 līdz 0,3 sadalījums kļūst “smailšpīķains”: visvarbūtīgākais tokens masīvi dominē pār pārējiem, padarot modeli gandrīz deterministisku. Tas ir tas, kas tev nepieciešams datu izgūšanai vai klasifikācijai, kur diviem identiskiem izsaukumiem jādod identiski rezultāti. Intervālā no 0,4 līdz 0,8 izveidojas līdzsvars starp sakarīgumu un daudzveidību – tas ir visbiežāk izmantotais diapazons ražošanas vidē, ko pielieto tērzēšanas robotiem un rakstīšanas asistēšanai. Pārsniedzot šo robežu, no 0,9 līdz 1,5, sadalījums izlīdzinās: ievērojami mazāk varbūtīgiem tokeniem tagad ir reāla iespēja tikt izvēlētiem. Raditāte pieaug, taču līdz ar to aug arī nesakarīguma risks, un abi rādītāji pieaug kopā.
Tālāk minētais eksperiments padara šo fenomenu taustāmu, izmantojot apzināti banālu teikumu.
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))
prompt = [
{"role": "system", "content": "Complete the sentence with a single word."},
{"role": "user", "content": "The color of the sky is..."}
]
# Temperature 0 — always the same response
for i in range(3):
r = client.chat.complete(model="mistral-large-latest", messages=prompt, temperature=0.0, max_tokens=5)
print(f"T=0.0 trial {i+1}: {r.choices[0].message.content}")
# blue, blue, blue
# Temperature 1.5 — varied responses
for i in range(3):
r = client.chat.complete(model="mistral-large-latest", messages=prompt, temperature=1.5, max_tokens=5)
print(f"T=1.5 trial {i+1}: {r.choices[0].message.content}")
# blue, azure, turquoise (varies)
Nepieciešams viens precizējums attiecībā uz temperature=0: pat pie šīs vērtības starp diviem izsaukumiem var parādīties nelielas variācijas. Cēlonis slēpjas nevis modelī, bet gan aparatūrā – peldošā komata operācijas GPU ne garantē identisku izvērtēšanas secību katrā izpildes reizē, un noapaļošanas neatbilstība dažkārt ir pietiekama, lai izšķirtu izvēli starp diviem gandrīz vienlīdz varbūtīgiem tokeniem. Ja tavs lietojums prasa maksimālu reproducējamību, apvieno temperature=0 ar random_seed, ja modelis to atbalsta.
Kā darbojas Top P (kodola izlase)
Top P darbojas pēc temperatūras, jau pārveidotajā sadalījumā. Tā princips nav sagrozīt varbūtības, bet gan saīsināt kandidātu sarakstu, paturot tikai tos tokenus, kuru kumulatīvā varbūtību summa sasniedz slieksni P. Pilns process norisinās četros soļos:
- Modelis aprēķina katra tokena varbūtības
- Temperatūra modificē šīs varbūtības
- Tokeni tiek sakārtoti dilstošā varbūtību secībā
- Top P patur tokenus, līdz tiek sasniegts kumulatīvais slieksnis
Konkrēti, top_p vērtība 0,1 atstāj dzīvus tikai dažus kandidātus – noderīgi, kad sagaidāmā atbilde ir faktiska un gandrīz unikāla. Pie 0,95 gandrīz viss ticamais vārdu krājums paliek sacensībā, kas piemērots izgudrošanas uzdevumiem.
# Top P = 0.1 — very restrictive, only the most probable tokens
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": "The capital of France is"}],
temperature=0.7,
top_p=0.1 # Only the top 10% of the probability mass
)
# Top P = 0.95 — broad, almost all tokens considered
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": "Invent a new word for a feeling."}],
temperature=0.7,
top_p=0.95
)
Zelta likums: viens parametrs vienlaikus
Mistral eksplicīti iesaka neregulēt temperatūru un top_p vienlaicīgi. Iemesls izriet no iepriekš minētā: abi iedarbojas uz vienu un to pašu sadalījumu – viens to sagrozot, otrs to saīsinot. To efekti neparedzami reizinās, un testēšanas laikā tu zaudē spēju piedēvēt uzvedības izmaiņas vienam vai otram parametram. Izvēlies savu sviru, bet otru atstāj noklusējuma vērtībā.
# GOOD — adjust temperature, top_p default
response = client.chat.complete(
model="mistral-large-latest",
messages=messages,
temperature=0.3 # top_p remains at 1.0 by default
)
# GOOD — adjust top_p, temperature default
response = client.chat.complete(
model="mistral-large-latest",
messages=messages,
top_p=0.5 # temperature remains at 0.7 by default
)
# AVOID — both at the same time
response = client.chat.complete(
model="mistral-large-latest",
messages=messages,
temperature=0.2,
top_p=0.5 # Unpredictable interaction
)
Kalibrēšana pēc lietojuma veida
Tā vietā, lai izvēlētos temperatūru ad hoc, nosauc savas konfigurācijas un domā mērķa kategorijās. Datu izgūšana un klasifikācija tiecas pēc precīzas, reproducējamas atbildes, tātad 0,0. Kopsavilkums paliek uzticīgs avota tekstam ar nelielu plūstamību, tātad 0,3. Rakstīšanas asistēšana meklē dabiskumu bez liekas raditātes, pie 0,5; sarunu tērzēšanas robotiem nepieciešamas daudzveidīgas atbildes, pie 0,7; smadzeņu vētrai nepieciešama maksimāla raditāte, pie 1,2. Visos gadījumos top_p paliek 1,0, ievērojot iepriekšējo likumu.
# Data Extraction / Classification
# Objective: exact, reproducible response
CONFIG_EXTRACTION = {"temperature": 0.0, "top_p": 1.0}
# Summarization / Reformulation
# Objective: faithful to source text with some fluidity
CONFIG_SUMMARY = {"temperature": 0.3, "top_p": 1.0}
# Assisted Writing / Professional Email
# Objective: natural but not too creative
CONFIG_WRITING = {"temperature": 0.5, "top_p": 1.0}
# Conversational Chatbot
# Objective: varied and natural responses
CONFIG_CHATBOT = {"temperature": 0.7, "top_p": 1.0}
# Brainstorming / Idea Generation
# Objective: maximum creativity
CONFIG_CREATIVE = {"temperature": 1.2, "top_p": 1.0}
# Usage
def smart_complete(client, messages, task_type="chatbot"):
configs = {
"extraction": CONFIG_EXTRACTION,
"summary": CONFIG_SUMMARY,
"writing": CONFIG_WRITING,
"chatbot": CONFIG_CHATBOT,
"creative": CONFIG_CREATIVE,
}
config = configs.get(task_type, CONFIG_CHATBOT)
return client.chat.complete(
model="mistral-large-latest",
messages=messages,
**config
)
Eksperimentē sistemātiski
Šīs vērtības ir sākumpunkti, nevis absolūtas patiesības. Lai atrastu pareizo iestatījumu savam uzdevumam, tev ir jāveic mērījumi, un viens mēģinājums katrai temperatūrai neko nemēra. Zemāk esošā funkcija ģenerē piecas atbildes katrai testētajai vērtībai un saskaita unikālās atbildes: tas ir tavs daudzveidības rādītājs. Uzdevums, kas pie T=0,3 dod 5/5 unikālas atbildes, signalizē par pārāk atvērtu uzdevumu, kas ir daudz nozīmīgāk nekā slikti izvēlēta temperatūra.
def test_temperature_range(client, messages, temperatures):
"""Tests multiple temperatures on the same prompt."""
results = []
for temp in temperatures:
responses = []
for _ in range(5): # 5 trials per temperature
r = client.chat.complete(
model="mistral-large-latest",
messages=messages,
temperature=temp,
max_tokens=200
)
responses.append(r.choices[0].message.content)
# Measure diversity
unique = len(set(responses))
results.append({
"temperature": temp,
"unique_responses": unique,
"sample": responses[0][:100]
})
for r in results:
print(f"T={r['temperature']:.1f} | {r['unique_responses']}/5 unique | {r['sample']}...")
# Test
test_temperature_range(
client,
[{"role": "user", "content": "Give a productivity tip."}],
[0.0, 0.3, 0.7, 1.0, 1.5]
)
Galvenās atziņas
- Temperatūra modificē tokena varbūtību sadalījuma formu
- Top P saīsina sadalījumu, paturot tikai visvarbūtīgākos tokenus
- Nekad neregulē abus vienlaicīgi – modificē vienu parametru, otru atstāj noklusējuma vērtībā
temperature=0nav pilnīgi deterministisks GPU noapaļošanas dēļ- Veic kalibrēšanu ar sistemātisku testēšanu: 5+ mēģinājumi katrai konfigurācijai, mēri daudzveidību