Pereiti prie pagrindinio turinio
Lietuvių— Pasirinkite kalbą
Meniu

Temperatūra ir Top P išsamiai

Paskaita 13 iš 16 Atnaujinta 2026 m. lapkričio 2 d. Kūrėjas
Šiame puslapyje
  1. Išmokite valdyti išvesties atsitiktinumą
  2. Kaip veikia temperatūra
  3. Kaip veikia Top P (branduolio atranka)
  4. Auksinė taisyklė: vienas parametras vienu metu
  5. Derinimas pagal naudojimo atvejį
  6. Eksperimentuok metodiškai
  7. Svarbiausi punktai

Išmokite valdyti išvesties atsitiktinumą

3-ioje pamokoje jau aptarei temperature ir top_p pagrindus. Dabar laikas gilintis: kaip šie du parametrai matematiškai veikia generavimą, kaip juos derinti konkrečioms užduotims ir kodėl jų derinimas yra klasikinis gamybinių klaidų šaltinis.

Kaip veikia temperatūra

Kiekviename generavimo žingsnyje modelis apskaičiuoja tikimybių pasiskirstymą visam žodynui: kuris tokenas bus kitas ir kokia jo tikimybė. Temperatūra įsikiša į šį pasiskirstymą prieš atliekant atranką (sampling), keisdama jo formą.

Nuo 0,0 iki 0,3 pasiskirstymas tampa „dygliuotas“: labiausiai tikėtinas tokenas smarkiai dominuoja prieš kitus, todėl modelis tampa beveik deterministinis. To nori atliekant duomenų gavybą ar klasifikavimą, kai du identiški kvietimai privalo duoti identiškus rezultatus. Nuo 0,4 iki 0,8 nusistovi pusiausvyra tarp nuoseklumo ir įvairovės – tai dažniausiai naudojamas diapazonas gamyboje, skirtas pokalbių robotams ir pagalbai rašant. Viršijus šias ribas, nuo 0,9 iki 1,5, pasiskirstymas išsilygina: gerokai mažiau tikėtini tokenai dabar turi realią šansą būti pasirinkti. Kūrybiškumas didėja, tačiau kartu auga ir nenuoseklumo rizika, ir abu rodikliai kyla kartu.

Šis eksperimentas padės aiškiau suvokti šį reiškinį, naudojant tyčia banalų sakinį.

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))

prompt = [
    {"role": "system", "content": "Complete the sentence with a single word."},
    {"role": "user", "content": "The color of the sky is..."}
]

# Temperature 0 — always the same response
for i in range(3):
    r = client.chat.complete(model="mistral-large-latest", messages=prompt, temperature=0.0, max_tokens=5)
    print(f"T=0.0 trial {i+1}: {r.choices[0].message.content}")
# blue, blue, blue

# Temperature 1.5 — varied responses
for i in range(3):
    r = client.chat.complete(model="mistral-large-latest", messages=prompt, temperature=1.5, max_tokens=5)
    print(f"T=1.5 trial {i+1}: {r.choices[0].message.content}")
# blue, azure, turquoise (varies)

Būtina patikslinti vieną dalyką dėl temperature=0: net ir esant šiai reikšmei, tarp dviejų kvietimų gali atsirasti nedidelių skirtumų. Priežastis slypi ne modelyje, o techninėje įrangoje – slankiojo kablelio operacijos GPU negarantuoja identiškos vykdymo eilės kiekvieną kartą, o kartais pakanka apvalinimo paklaidos, kad svarstyklės pasvirtų vieno ar kito beveik vienodos tikimybės tokeno naudai. Jei tavo užduotis reikalauja maksimalaus atkuriamumo, derink temperature=0 su random_seed, kai modelis tai palaiko.

Kaip veikia Top P (branduolio atranka)

Top P veikia po temperatūros, jau pakeistam pasiskirstymui. Jo principas – neiškraipyti tikimybių, o sutrumpinti kandidatų sąrašą, paliekant tik tuos tokenus, kurių kaupiamoji tikimybių suma pasiekia slenkstį P. Visas procesas vyksta keturiais žingsniais:

  1. Modelis apskaičiuoja kiekvieno tokeno tikimybes
  2. Temperatūra šias tikimybes modifikuoja
  3. Tokenai surikiuojami pagal mažėjančią tikimybę
  4. Top P palieka tokenus, kol pasiekiama kaupiamoji riba

Konkrečiai, top_p reikšmė 0,1 palieka gyvus tik keletą kandidatų – tai naudinga, kai laukiamas atsakymas yra faktinis ir beveik vienintelis. Esant 0,95, kovojančiųjų gretose lieka beveik visas tikėtinas žodynas, kas tinka kūrybinėms užduotims.

# Top P = 0.1 — very restrictive, only the most probable tokens
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "The capital of France is"}],
    temperature=0.7,
    top_p=0.1  # Only the top 10% of the probability mass
)

# Top P = 0.95 — broad, almost all tokens considered
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "Invent a new word for a feeling."}],
    temperature=0.7,
    top_p=0.95
)

Auksinė taisyklė: vienas parametras vienu metu

Mistral aiškiai rekomenduoja nereguliuoti temperatūros ir top_p vienu metu. Priežastis išplaukia iš to, kas pasakyta anksčiau: abu veikia tą patį pasiskirstymą – vienas jį iškraipo, kitas nupjauna. Jų poveikis dauginasi nenuspėjamu būdu, o testavimo metu prarandi galimybę priskirti elgesio pokytį vienam ar kitam parametrui. Pasirink savo svirtį, o kitą palik numatytąją reikšmę.

# GOOD — adjust temperature, top_p default
response = client.chat.complete(
    model="mistral-large-latest",
    messages=messages,
    temperature=0.3  # top_p remains at 1.0 by default
)

# GOOD — adjust top_p, temperature default
response = client.chat.complete(
    model="mistral-large-latest",
    messages=messages,
    top_p=0.5  # temperature remains at 0.7 by default
)

# AVOID — both at the same time
response = client.chat.complete(
    model="mistral-large-latest",
    messages=messages,
    temperature=0.2,
    top_p=0.5  # Unpredictable interaction
)

Derinimas pagal naudojimo atvejį

Užuot pasirinkęs temperatūrą ad hoc, pavadink savo konfigūracijas ir mąstyk pagal tikslą. Duomenų gavyba ir klasifikavimas siekia tikslios, atkuriamos atsakymo, todėl 0,0. Santraukos turi likti ištikimos šaltinio tekstui su šiek tiek sklandumo, todėl 0,3. Pagalba rašant siekia natūralumo be perteklinio kūrybiškumo, todėl 0,5; pokalbių robotams reikia įvairių atsakymų, todėl 0,7; idėjų generavimui reikia maksimalaus kūrybiškumo, todėl 1,2. Visais atvejais top_p lieka 1,0, laikantis ankstesnės taisyklės.

# Data Extraction / Classification
# Objective: exact, reproducible response
CONFIG_EXTRACTION = {"temperature": 0.0, "top_p": 1.0}

# Summarization / Reformulation
# Objective: faithful to source text with some fluidity
CONFIG_SUMMARY = {"temperature": 0.3, "top_p": 1.0}

# Assisted Writing / Professional Email
# Objective: natural but not too creative
CONFIG_WRITING = {"temperature": 0.5, "top_p": 1.0}

# Conversational Chatbot
# Objective: varied and natural responses
CONFIG_CHATBOT = {"temperature": 0.7, "top_p": 1.0}

# Brainstorming / Idea Generation
# Objective: maximum creativity
CONFIG_CREATIVE = {"temperature": 1.2, "top_p": 1.0}

# Usage
def smart_complete(client, messages, task_type="chatbot"):
    configs = {
        "extraction": CONFIG_EXTRACTION,
        "summary": CONFIG_SUMMARY,
        "writing": CONFIG_WRITING,
        "chatbot": CONFIG_CHATBOT,
        "creative": CONFIG_CREATIVE,
    }
    config = configs.get(task_type, CONFIG_CHATBOT)

    return client.chat.complete(
        model="mistral-large-latest",
        messages=messages,
        **config
    )

Eksperimentuok metodiškai

Šios reikšmės yra atspirties taškai, o ne absoliuti tiesa. Norint rasti tinkamą nustatymą savo užduočiai, reikia matuoti, o vienas bandymas vienai temperatūrai nieko nepasako. Toliau pateikta funkcija kiekvienai testuojamai reikšmei sugeneruoja penkis atsakymus ir suskaičiuoja unikalius atsakymus: tai tavo įvairovės rodiklis. Užduotis, kuri esant T=0,3 duoda 5/5 unikalių atsakymų, signalizuoja, kad promptas yra per daug atviras, o ne tai, kad neteisingai parinkta temperatūra.

def test_temperature_range(client, messages, temperatures):
    """Tests multiple temperatures on the same prompt."""
    results = []
    for temp in temperatures:
        responses = []
        for _ in range(5):  # 5 trials per temperature
            r = client.chat.complete(
                model="mistral-large-latest",
                messages=messages,
                temperature=temp,
                max_tokens=200
            )
            responses.append(r.choices[0].message.content)

        # Measure diversity
        unique = len(set(responses))
        results.append({
            "temperature": temp,
            "unique_responses": unique,
            "sample": responses[0][:100]
        })

    for r in results:
        print(f"T={r['temperature']:.1f} | {r['unique_responses']}/5 unique | {r['sample']}...")

# Test
test_temperature_range(
    client,
    [{"role": "user", "content": "Give a productivity tip."}],
    [0.0, 0.3, 0.7, 1.0, 1.5]
)

Svarbiausi punktai

  • Temperatūra keičia tokenų tikimybių pasiskirstymo formą
  • Top P sutrumpina pasiskirstymą, palikdamas tik tikimiausius tokenus
  • Niekada nereguliuok abiejų vienu metu – keisk vieną parametrą, kitą palik numatytąjį
  • temperature=0 nėra visiškai deterministinis dėl GPU apvalinimo
  • Derink metodiškai testuodamas: 5+ bandymai vienai konfigūracijai, matuok įvairovę