Aqbeż għall-kontenut ewlieni
Malti— Agħżel lingwa
Menu

It-Temperatura u t-Top P fid-Dettall

Lezzjoni 13 / 16 Aġġornat 2 ta’ Novembru 2026 Zviluppatur
F'din il-paġna
  1. Tiggvernja r-Randomizzazzjoni tal-Output
  2. Kif Taħdem it-Temperatura
  3. Kif Jaħdem it-Top P (Nucleus Sampling)
  4. Ir-Regola tad-Deheb: Parametru Wieħed f’Daqqa
  5. Kalibrazzjoni skont il-Każ ta’ Użu
  6. Sperimenta b’Metodu
  7. Punti Ewlenin

Tiggvernja r-Randomizzazzjoni tal-Output

Tkoprejt il-bażiċi ta’ temperature u top_p fil-Lezzjoni 3. Issa huwa ż-żmien li tmur aktar fil-fond: kif dawn iż-żewġ parametri jaffettwaw il-ġenerazzjoni matematikament, kif tikkalibrahom għal każijiet ta’ użu speċifiċi, u għaliex il-kombinazzjoni tagħhom hija sors klassiku ta’ problemi fil-produzzjoni.

Kif Taħdem it-Temperatura

F’kull pass tal-ġenerazzjoni, il-mudell jikkalkula distribuzzjoni ta’ probabbiltà fuq il-vokabolarju sħiħ: liema token jiġi wara, u b’liema probabbiltà. It-temperatura tintervjeni fuq din id-distribuzzjoni qabel il-kampjunar (sampling), u tbiddel il-forma tagħha.

Bejn 0.0 u 0.3, id-distribuzzjoni ssir “b’quċċata waħda”: it-token l-aktar probabbli jiddomina massivament lill-oħrajn, u jagħmel il-mudell kważi deterministiku. Dan huwa dak li trid għall-estrazzjoni jew il-klassifikazzjoni, fejn żewġ sejħiet identiċi għandhom jipproduċu riżultati identiċi. Bejn 0.4 u 0.8, toħroġ bilanċ bejn il-kohorenza u l-varjetà—dan huwa l-aktar firxa komuni fil-produzzjoni, użata għaċ-chatbots u l-kitba assistita. Lil hinn minn hekk, minn 0.9 sa 1.5, id-distribuzzjoni tiċċattja: tokens inqas probabbli b’mod sinifikanti issa għandhom ċans realistiku li jintgħażlu. Il-kreattività tiżdied, iżda hekk ukoll ir-riskju ta’ inkoerenza, u t-tnejn jitilgħu flimkien.

L-esperiment li ġej jagħmel dan il-fenomenu tanġibbli billi juża sentenza deliberatament banali.

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))

prompt = [
    {"role": "system", "content": "Complete the sentence with a single word."},
    {"role": "user", "content": "The color of the sky is..."}
]

# Temperature 0 — always the same response
for i in range(3):
    r = client.chat.complete(model="mistral-large-latest", messages=prompt, temperature=0.0, max_tokens=5)
    print(f"T=0.0 trial {i+1}: {r.choices[0].message.content}")
# blue, blue, blue

# Temperature 1.5 — varied responses
for i in range(3):
    r = client.chat.complete(model="mistral-large-latest", messages=prompt, temperature=1.5, max_tokens=5)
    print(f"T=1.5 trial {i+1}: {r.choices[0].message.content}")
# blue, azure, turquoise (varies)

Hi meħtieġa ċarifikazzjoni waħda rigward temperature=0: anke f’dan il-valur, jistgħu jidhru varjazzjonijiet żgħar bejn żewġ sejħiet. Il-kawża ma tinsabx fil-mudell iżda fl-hardwer—operazzjonijiet b’floating-point fuq GPUs ma jiggarantixxu ordni ta’ evalwazzjoni identika fuq kull eżekuzzjoni, u diskrepanza fit-tqarrib (rounding) xi kultant tkun biżżejjed biex tgħaqqad l-għażla bejn żewġ tokens kważi ekwiprobabbli. Jekk il-każ ta’ użu tiegħek jeħtieġ riproduċibbiltà massima, għaqqad temperature=0 ma’ random_seed meta l-mudell jappoġġjah.

Kif Jaħdem it-Top P (Nucleus Sampling)

It-Top P jaġixxi wara t-temperatura, fuq id-distribuzzjoni li diġà għamelilha r-reshaping. Il-prinċipju tiegħu mhuwiex li jiddistorsjoni l-probabbiltajiet iżda li jaqta’ l-lista ta’ kandidati, u jżomm biss it-tokens li s-somma kumulattiva tal-probabbiltà tagħhom tilħaq il-limitu P. Is-sekwenza sħiħa tiżvolġi f’erba’ passi:

  1. Il-mudell jikkalkula l-probabbiltajiet għal kull token
  2. It-temperatura timmodifika dawn il-probabbiltajiet
  3. It-tokens jiġu ordnati skont probabbiltà tonqos
  4. It-Top P iżomm it-tokens sakemm jintlaħaq il-limitu kumulattiv

Konkretament, top_p ta’ 0.1 iħalli biss ftit kandidati ħajjin—utli meta t-tweġiba mistennija hija fattwali u kważi unika. F’0.95, kważi l-vokabolarju plawżibbli kollu jibqa’ fil-kompetizzjoni, li jixraq għal talba għall-invenzjoni.

# Top P = 0.1 — very restrictive, only the most probable tokens
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "The capital of France is"}],
    temperature=0.7,
    top_p=0.1  # Only the top 10% of the probability mass
)

# Top P = 0.95 — broad, almost all tokens considered
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "Invent a new word for a feeling."}],
    temperature=0.7,
    top_p=0.95
)

Ir-Regola tad-Deheb: Parametru Wieħed f’Daqqa

Mistral jirrakkomanda b’mod espliċitu li ma taġġustax it-temperatura u t-top_p fl-istess ħin. Ir-raġuni tiġi minn dak li preċeda: it-tnejn jaġixxu fuq l-istess distribuzzjoni, wieħed billi jiddistorsjonaha, l-ieħor billi jaqtagħha. L-effetti tagħhom jiġu mmultiplikati b’modi mhux prevedibbli, u titlef kull kapaċità li tattribwixxi bidla fl-imġiba lil wieħed jew l-ieħor matul l-ittestjar. Agħżel il-lever tiegħek, u ħalli l-ieħor fil-valur predefinit tiegħu.

# GOOD — adjust temperature, top_p default
response = client.chat.complete(
    model="mistral-large-latest",
    messages=messages,
    temperature=0.3  # top_p remains at 1.0 by default
)

# GOOD — adjust top_p, temperature default
response = client.chat.complete(
    model="mistral-large-latest",
    messages=messages,
    top_p=0.5  # temperature remains at 0.7 by default
)

# AVOID — both at the same time
response = client.chat.complete(
    model="mistral-large-latest",
    messages=messages,
    temperature=0.2,
    top_p=0.5  # Unpredictable interaction
)

Kalibrazzjoni skont il-Każ ta’ Użu

Minflok ma tagħżel temperatura ad hoc, semmi l-konfigurazzjonijiet tiegħek u araħom skont l-għan. L-estrazzjoni u l-klassifikazzjoni għandhom l-għan ta’ tweġiba eżatta u riproduċibbli, allura 0.0. Is-sommarju jibqa’ feddejlit-test tas-sors b’ftit fluwidità, allura 0.3. Il-kitba assistita tfittex in-naturalità mingħajr kreattività superflwa, f’0.5; iċ-chatbots konversazzjonali jeħtieġu tweġibiet varjati, f’0.7; il-brainstorming jeħtieġ kreattività massima, f’1.2. Fil-każijiet kollha, top_p jibqa’ f’1.0, skont ir-regola preċedenti.

# Data Extraction / Classification
# Objective: exact, reproducible response
CONFIG_EXTRACTION = {"temperature": 0.0, "top_p": 1.0}

# Summarization / Reformulation
# Objective: faithful to source text with some fluidity
CONFIG_SUMMARY = {"temperature": 0.3, "top_p": 1.0}

# Assisted Writing / Professional Email
# Objective: natural but not too creative
CONFIG_WRITING = {"temperature": 0.5, "top_p": 1.0}

# Conversational Chatbot
# Objective: varied and natural responses
CONFIG_CHATBOT = {"temperature": 0.7, "top_p": 1.0}

# Brainstorming / Idea Generation
# Objective: maximum creativity
CONFIG_CREATIVE = {"temperature": 1.2, "top_p": 1.0}

# Usage
def smart_complete(client, messages, task_type="chatbot"):
    configs = {
        "extraction": CONFIG_EXTRACTION,
        "summary": CONFIG_SUMMARY,
        "writing": CONFIG_WRITING,
        "chatbot": CONFIG_CHATBOT,
        "creative": CONFIG_CREATIVE,
    }
    config = configs.get(task_type, CONFIG_CHATBOT)

    return client.chat.complete(
        model="mistral-large-latest",
        messages=messages,
        **config
    )

Sperimenta b’Metodu

Dawn il-valuri huma punti tat-tluq, mhux verità assoluta. Biex issib l-issettjar it-tajjeb għall-kompitu tiegħek stess, trid tkejjel, u prova waħda biss għal kull temperatura ma tkejjel xejn. Il-funzjoni hawn taħt tgħaddi ħames ġenerazzjonijiet għal kull valur ittestjat u tgħodd ir-risposti uniċi: dan huwa l-indikatur tad-diversità tiegħek. Kompitu li jipproduċi 5/5 risposti uniċi f’T=0.3 jindika prompt li huwa miftuħ wisq, ferm aktar minn temperatura magħżula ħażin.

def test_temperature_range(client, messages, temperatures):
    """Tests multiple temperatures on the same prompt."""
    results = []
    for temp in temperatures:
        responses = []
        for _ in range(5):  # 5 trials per temperature
            r = client.chat.complete(
                model="mistral-large-latest",
                messages=messages,
                temperature=temp,
                max_tokens=200
            )
            responses.append(r.choices[0].message.content)

        # Measure diversity
        unique = len(set(responses))
        results.append({
            "temperature": temp,
            "unique_responses": unique,
            "sample": responses[0][:100]
        })

    for r in results:
        print(f"T={r['temperature']:.1f} | {r['unique_responses']}/5 unique | {r['sample']}...")

# Test
test_temperature_range(
    client,
    [{"role": "user", "content": "Give a productivity tip."}],
    [0.0, 0.3, 0.7, 1.0, 1.5]
)

Punti Ewlenin

  • It-temperatura timmodifika l-forma tad-distribuzzjoni tal-probabbiltà tat-token
  • It-Top P jaqta’ d-distribuzzjoni billi jżomm it-tokens l-aktar probabbli
  • Qatt maġġustax it-tnejn fl-istess ħin—immodifika parametru wieħed, żomm l-ieħor fil-valur predefinit
  • temperature=0 mhuwiex perfettament deterministiku minħabba t-tqarrib tal-GPU
  • Ikkalibra b’ittestjar metodiku: 5+ provi għal kull konfigurazzjoni, kejjel id-diversità