It-Temperatura u t-Top P fid-Dettall
F'din il-paġna
Tiggvernja r-Randomizzazzjoni tal-Output
Tkoprejt il-bażiċi ta’ temperature u top_p fil-Lezzjoni 3. Issa huwa ż-żmien li tmur aktar fil-fond: kif dawn iż-żewġ parametri jaffettwaw il-ġenerazzjoni matematikament, kif tikkalibrahom għal każijiet ta’ użu speċifiċi, u għaliex il-kombinazzjoni tagħhom hija sors klassiku ta’ problemi fil-produzzjoni.
Kif Taħdem it-Temperatura
F’kull pass tal-ġenerazzjoni, il-mudell jikkalkula distribuzzjoni ta’ probabbiltà fuq il-vokabolarju sħiħ: liema token jiġi wara, u b’liema probabbiltà. It-temperatura tintervjeni fuq din id-distribuzzjoni qabel il-kampjunar (sampling), u tbiddel il-forma tagħha.
Bejn 0.0 u 0.3, id-distribuzzjoni ssir “b’quċċata waħda”: it-token l-aktar probabbli jiddomina massivament lill-oħrajn, u jagħmel il-mudell kważi deterministiku. Dan huwa dak li trid għall-estrazzjoni jew il-klassifikazzjoni, fejn żewġ sejħiet identiċi għandhom jipproduċu riżultati identiċi. Bejn 0.4 u 0.8, toħroġ bilanċ bejn il-kohorenza u l-varjetà—dan huwa l-aktar firxa komuni fil-produzzjoni, użata għaċ-chatbots u l-kitba assistita. Lil hinn minn hekk, minn 0.9 sa 1.5, id-distribuzzjoni tiċċattja: tokens inqas probabbli b’mod sinifikanti issa għandhom ċans realistiku li jintgħażlu. Il-kreattività tiżdied, iżda hekk ukoll ir-riskju ta’ inkoerenza, u t-tnejn jitilgħu flimkien.
L-esperiment li ġej jagħmel dan il-fenomenu tanġibbli billi juża sentenza deliberatament banali.
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))
prompt = [
{"role": "system", "content": "Complete the sentence with a single word."},
{"role": "user", "content": "The color of the sky is..."}
]
# Temperature 0 — always the same response
for i in range(3):
r = client.chat.complete(model="mistral-large-latest", messages=prompt, temperature=0.0, max_tokens=5)
print(f"T=0.0 trial {i+1}: {r.choices[0].message.content}")
# blue, blue, blue
# Temperature 1.5 — varied responses
for i in range(3):
r = client.chat.complete(model="mistral-large-latest", messages=prompt, temperature=1.5, max_tokens=5)
print(f"T=1.5 trial {i+1}: {r.choices[0].message.content}")
# blue, azure, turquoise (varies)
Hi meħtieġa ċarifikazzjoni waħda rigward temperature=0: anke f’dan il-valur, jistgħu jidhru varjazzjonijiet żgħar bejn żewġ sejħiet. Il-kawża ma tinsabx fil-mudell iżda fl-hardwer—operazzjonijiet b’floating-point fuq GPUs ma jiggarantixxu ordni ta’ evalwazzjoni identika fuq kull eżekuzzjoni, u diskrepanza fit-tqarrib (rounding) xi kultant tkun biżżejjed biex tgħaqqad l-għażla bejn żewġ tokens kważi ekwiprobabbli. Jekk il-każ ta’ użu tiegħek jeħtieġ riproduċibbiltà massima, għaqqad temperature=0 ma’ random_seed meta l-mudell jappoġġjah.
Kif Jaħdem it-Top P (Nucleus Sampling)
It-Top P jaġixxi wara t-temperatura, fuq id-distribuzzjoni li diġà għamelilha r-reshaping. Il-prinċipju tiegħu mhuwiex li jiddistorsjoni l-probabbiltajiet iżda li jaqta’ l-lista ta’ kandidati, u jżomm biss it-tokens li s-somma kumulattiva tal-probabbiltà tagħhom tilħaq il-limitu P. Is-sekwenza sħiħa tiżvolġi f’erba’ passi:
- Il-mudell jikkalkula l-probabbiltajiet għal kull token
- It-temperatura timmodifika dawn il-probabbiltajiet
- It-tokens jiġu ordnati skont probabbiltà tonqos
- It-Top P iżomm it-tokens sakemm jintlaħaq il-limitu kumulattiv
Konkretament, top_p ta’ 0.1 iħalli biss ftit kandidati ħajjin—utli meta t-tweġiba mistennija hija fattwali u kważi unika. F’0.95, kważi l-vokabolarju plawżibbli kollu jibqa’ fil-kompetizzjoni, li jixraq għal talba għall-invenzjoni.
# Top P = 0.1 — very restrictive, only the most probable tokens
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": "The capital of France is"}],
temperature=0.7,
top_p=0.1 # Only the top 10% of the probability mass
)
# Top P = 0.95 — broad, almost all tokens considered
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": "Invent a new word for a feeling."}],
temperature=0.7,
top_p=0.95
)
Ir-Regola tad-Deheb: Parametru Wieħed f’Daqqa
Mistral jirrakkomanda b’mod espliċitu li ma taġġustax it-temperatura u t-top_p fl-istess ħin. Ir-raġuni tiġi minn dak li preċeda: it-tnejn jaġixxu fuq l-istess distribuzzjoni, wieħed billi jiddistorsjonaha, l-ieħor billi jaqtagħha. L-effetti tagħhom jiġu mmultiplikati b’modi mhux prevedibbli, u titlef kull kapaċità li tattribwixxi bidla fl-imġiba lil wieħed jew l-ieħor matul l-ittestjar. Agħżel il-lever tiegħek, u ħalli l-ieħor fil-valur predefinit tiegħu.
# GOOD — adjust temperature, top_p default
response = client.chat.complete(
model="mistral-large-latest",
messages=messages,
temperature=0.3 # top_p remains at 1.0 by default
)
# GOOD — adjust top_p, temperature default
response = client.chat.complete(
model="mistral-large-latest",
messages=messages,
top_p=0.5 # temperature remains at 0.7 by default
)
# AVOID — both at the same time
response = client.chat.complete(
model="mistral-large-latest",
messages=messages,
temperature=0.2,
top_p=0.5 # Unpredictable interaction
)
Kalibrazzjoni skont il-Każ ta’ Użu
Minflok ma tagħżel temperatura ad hoc, semmi l-konfigurazzjonijiet tiegħek u araħom skont l-għan. L-estrazzjoni u l-klassifikazzjoni għandhom l-għan ta’ tweġiba eżatta u riproduċibbli, allura 0.0. Is-sommarju jibqa’ feddejlit-test tas-sors b’ftit fluwidità, allura 0.3. Il-kitba assistita tfittex in-naturalità mingħajr kreattività superflwa, f’0.5; iċ-chatbots konversazzjonali jeħtieġu tweġibiet varjati, f’0.7; il-brainstorming jeħtieġ kreattività massima, f’1.2. Fil-każijiet kollha, top_p jibqa’ f’1.0, skont ir-regola preċedenti.
# Data Extraction / Classification
# Objective: exact, reproducible response
CONFIG_EXTRACTION = {"temperature": 0.0, "top_p": 1.0}
# Summarization / Reformulation
# Objective: faithful to source text with some fluidity
CONFIG_SUMMARY = {"temperature": 0.3, "top_p": 1.0}
# Assisted Writing / Professional Email
# Objective: natural but not too creative
CONFIG_WRITING = {"temperature": 0.5, "top_p": 1.0}
# Conversational Chatbot
# Objective: varied and natural responses
CONFIG_CHATBOT = {"temperature": 0.7, "top_p": 1.0}
# Brainstorming / Idea Generation
# Objective: maximum creativity
CONFIG_CREATIVE = {"temperature": 1.2, "top_p": 1.0}
# Usage
def smart_complete(client, messages, task_type="chatbot"):
configs = {
"extraction": CONFIG_EXTRACTION,
"summary": CONFIG_SUMMARY,
"writing": CONFIG_WRITING,
"chatbot": CONFIG_CHATBOT,
"creative": CONFIG_CREATIVE,
}
config = configs.get(task_type, CONFIG_CHATBOT)
return client.chat.complete(
model="mistral-large-latest",
messages=messages,
**config
)
Sperimenta b’Metodu
Dawn il-valuri huma punti tat-tluq, mhux verità assoluta. Biex issib l-issettjar it-tajjeb għall-kompitu tiegħek stess, trid tkejjel, u prova waħda biss għal kull temperatura ma tkejjel xejn. Il-funzjoni hawn taħt tgħaddi ħames ġenerazzjonijiet għal kull valur ittestjat u tgħodd ir-risposti uniċi: dan huwa l-indikatur tad-diversità tiegħek. Kompitu li jipproduċi 5/5 risposti uniċi f’T=0.3 jindika prompt li huwa miftuħ wisq, ferm aktar minn temperatura magħżula ħażin.
def test_temperature_range(client, messages, temperatures):
"""Tests multiple temperatures on the same prompt."""
results = []
for temp in temperatures:
responses = []
for _ in range(5): # 5 trials per temperature
r = client.chat.complete(
model="mistral-large-latest",
messages=messages,
temperature=temp,
max_tokens=200
)
responses.append(r.choices[0].message.content)
# Measure diversity
unique = len(set(responses))
results.append({
"temperature": temp,
"unique_responses": unique,
"sample": responses[0][:100]
})
for r in results:
print(f"T={r['temperature']:.1f} | {r['unique_responses']}/5 unique | {r['sample']}...")
# Test
test_temperature_range(
client,
[{"role": "user", "content": "Give a productivity tip."}],
[0.0, 0.3, 0.7, 1.0, 1.5]
)
Punti Ewlenin
- It-temperatura timmodifika l-forma tad-distribuzzjoni tal-probabbiltà tat-token
- It-Top P jaqta’ d-distribuzzjoni billi jżomm it-tokens l-aktar probabbli
- Qatt maġġustax it-tnejn fl-istess ħin—immodifika parametru wieħed, żomm l-ieħor fil-valur predefinit
temperature=0mhuwiex perfettament deterministiku minħabba t-tqarrib tal-GPU- Ikkalibra b’ittestjar metodiku: 5+ provi għal kull konfigurazzjoni, kejjel id-diversità