Přejít na hlavní obsah
Čeština— Vyberte jazyk
Menu

Hloubková analýza parametrů Temperature a Top P

Lekce 13 z 16 Aktualizováno 2. listopadu 2026 Vývojář
Na této stránce
  1. Ovládnutí náhodnosti výstupu
  2. Jak funguje parametr Temperature
  3. Jak funguje parametr Top P (vzorkování jádra)
  4. Zlaté pravidlo: Jeden parametr najednou
  5. Kalibrace podle případu použití
  6. Experimentuj metodicky
  7. Klíčové poznatky

Ovládnutí náhodnosti výstupu

Základy parametrů temperature a top_p jsi probral v lekci 3. Nyní je čas jít do hloubky: jak tyto dva parametry matematicky ovlivňují generování, jak je kalibrovat pro konkrétní případy použití a proč je jejich kombinace klasickým zdrojem problémů v produkčním prostředí.

Jak funguje parametr Temperature

V každém kroku generování model vypočítá rozdělení pravděpodobnosti nad celou slovní zásobou: který token přijde další a s jakou pravděpodobností. Parametr Temperature zasahuje do tohoto rozdělení před vzorkováním a mění jeho tvar.

V rozmezí 0,0 až 0,3 se rozdělení stává „špičatým“: nejpravděpodobnější token masivně dominuje ostatním, což činí model kvazideterministickým. To je přesně to, co potřebuješ pro extrakci nebo klasifikaci, kde musí dva identické požadavky vyprodukovat identické výsledky. Mezi 0,4 a 0,8 nastoluje rovnováha mezi koherencí a variabilitou – toto je nejčastější rozsah v produkci, používaný pro chatboty a asistované psaní. Nad touto hranicí, od 0,9 do 1,5, se rozdělení zplošťuje: tokeny s výrazně nižší pravděpodobností nyní mají reálnou šanci být vybrány. Kreativita roste, ale stejně tak roste i riziko nesourodosti, a obě tyto vlastnosti rostou společně.

Následující experiment činí tento jev hmatatelným pomocí úmyslně všední věty.

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))

prompt = [
    {"role": "system", "content": "Complete the sentence with a single word."},
    {"role": "user", "content": "The color of the sky is..."}
]

# Temperature 0 — always the same response
for i in range(3):
    r = client.chat.complete(model="mistral-large-latest", messages=prompt, temperature=0.0, max_tokens=5)
    print(f"T=0.0 trial {i+1}: {r.choices[0].message.content}")
# blue, blue, blue

# Temperature 1.5 — varied responses
for i in range(3):
    r = client.chat.complete(model="mistral-large-latest", messages=prompt, temperature=1.5, max_tokens=5)
    print(f"T=1.5 trial {i+1}: {r.choices[0].message.content}")
# blue, azure, turquoise (varies)

Je nutné jedno upřesnění ohledně temperature=0: i při této hodnotě se mohou mezi dvěma voláními objevit nepatrné variace. Příčina nespočívá v modelu, ale v hardwaru – operace s plovoucí řádovou čárkou na GPU nezaručují při každém spuštění identické pořadí vyhodnocení a někdy stačí i nepatrná odchylka při zaokrouhlování, aby se váha vychýlila ve prospěch jednoho ze dvou téměř stejně pravděpodobných tokenů. Pokud tvůj případ použití vyžaduje maximální reprodukovatelnost, kombinuj temperature=0 s parametrem random_seed, pokud jej model podporuje.

Jak funguje parametr Top P (vzorkování jádra)

Parametr Top P působí po aplikaci teploty, na rozdělení, které již bylo přetvarováno. Jeho principem není zkreslovat pravděpodobnosti, ale zkrátit seznam kandidátů tak, že ponechá pouze tokeny, jejichž součet kumulativní pravděpodobnosti dosáhne prahu P. Celý proces probíhá ve čtyřech krocích:

  1. Model vypočítá pravděpodobnosti pro každý token
  2. Teplota tyto pravděpodobnosti upraví
  3. Tokeny se seřadí podle klesající pravděpodobnosti
  4. Top P ponechá tokeny, dokud není dosaženo kumulativního prahu

Konkrétně hodnota top_p 0,1 ponechá naživu pouze hrstku kandidátů – což je užitečné, když je očekávaná odpověď faktická a téměř jedinečná. Při hodnotě 0,95 zůstává v soutěži téměř celá pravděpodobná slovní zásoba, což vyhovuje požadavku na invenci.

# Top P = 0.1 — very restrictive, only the most probable tokens
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "The capital of France is"}],
    temperature=0.7,
    top_p=0.1  # Only the top 10% of the probability mass
)

# Top P = 0.95 — broad, almost all tokens considered
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "Invent a new word for a feeling."}],
    temperature=0.7,
    top_p=0.95
)

Zlaté pravidlo: Jeden parametr najednou

Společnost Mistral explicitně doporučuje neupravovat současně parametry temperature a top_p. Důvod vyplývá z předchozího: oba působí na stejné rozdělení, jeden jej zkresluje, druhý jej ořezává. Jejich efekty se násobí nepředvídatelným způsobem a během testování ztrácíš jakoukoli schopnost připsat změnu chování jednomu či druhému parametru. Vyber si svou páku a druhou nech na výchozí hodnotě.

# GOOD — adjust temperature, top_p default
response = client.chat.complete(
    model="mistral-large-latest",
    messages=messages,
    temperature=0.3  # top_p remains at 1.0 by default
)

# GOOD — adjust top_p, temperature default
response = client.chat.complete(
    model="mistral-large-latest",
    messages=messages,
    top_p=0.5  # temperature remains at 0.7 by default
)

# AVOID — both at the same time
response = client.chat.complete(
    model="mistral-large-latest",
    messages=messages,
    temperature=0.2,
    top_p=0.5  # Unpredictable interaction
)

Kalibrace podle případu použití

Místo ad hoc výběru teploty pojmenuj své konfigurace a uvažuj podle cíle. Extrakce a klasifikace cílí na přesnou, reprodukovatelnou odpověď, tedy 0,0. Shrnutí zůstává věrné zdrojovému textu s trochou plynulosti, tedy 0,3. Asistované psaní usiluje o přirozenost bez zbytečné kreativity, tedy 0,5; konverzační chatboty potřebují variabilní odpovědi, tedy 0,7; brainstorming vyžaduje maximální kreativitu, tedy 1,2. Ve všech případech zůstává top_p na hodnotě 1,0 v souladu s předchozím pravidlem.

# Data Extraction / Classification
# Objective: exact, reproducible response
CONFIG_EXTRACTION = {"temperature": 0.0, "top_p": 1.0}

# Summarization / Reformulation
# Objective: faithful to source text with some fluidity
CONFIG_SUMMARY = {"temperature": 0.3, "top_p": 1.0}

# Assisted Writing / Professional Email
# Objective: natural but not too creative
CONFIG_WRITING = {"temperature": 0.5, "top_p": 1.0}

# Conversational Chatbot
# Objective: varied and natural responses
CONFIG_CHATBOT = {"temperature": 0.7, "top_p": 1.0}

# Brainstorming / Idea Generation
# Objective: maximum creativity
CONFIG_CREATIVE = {"temperature": 1.2, "top_p": 1.0}

# Usage
def smart_complete(client, messages, task_type="chatbot"):
    configs = {
        "extraction": CONFIG_EXTRACTION,
        "summary": CONFIG_SUMMARY,
        "writing": CONFIG_WRITING,
        "chatbot": CONFIG_CHATBOT,
        "creative": CONFIG_CREATIVE,
    }
    config = configs.get(task_type, CONFIG_CHATBOT)

    return client.chat.complete(
        model="mistral-large-latest",
        messages=messages,
        **config
    )

Experimentuj metodicky

Tyto hodnoty jsou výchozími body, nikoli absolutními pravdami. Abys našel správné nastavení pro svůj vlastní úkol, musíš měřit a jediný pokus na každou teplotu nic nezměří. Níže uvedená funkce spustí pět generování pro každou testovanou hodnotu a spočítá unikátní odpovědi: to je tvůj indikátor diversity. Úkol, který při T=0,3 vrátí 5/5 unikátních odpovědí, signalizuje příliš otevřený prompt, mnohem více než špatně zvolenou teplotu.

def test_temperature_range(client, messages, temperatures):
    """Tests multiple temperatures on the same prompt."""
    results = []
    for temp in temperatures:
        responses = []
        for _ in range(5):  # 5 trials per temperature
            r = client.chat.complete(
                model="mistral-large-latest",
                messages=messages,
                temperature=temp,
                max_tokens=200
            )
            responses.append(r.choices[0].message.content)

        # Measure diversity
        unique = len(set(responses))
        results.append({
            "temperature": temp,
            "unique_responses": unique,
            "sample": responses[0][:100]
        })

    for r in results:
        print(f"T={r['temperature']:.1f} | {r['unique_responses']}/5 unique | {r['sample']}...")

# Test
test_temperature_range(
    client,
    [{"role": "user", "content": "Give a productivity tip."}],
    [0.0, 0.3, 0.7, 1.0, 1.5]
)

Klíčové poznatky

  • Teplota mění tvar rozdělení pravděpodobnosti tokenů
  • Top P ořezává rozdělení tím, že ponechává pouze nejpravděpodobnější tokeny
  • Nikdy neupravuj oba parametry současně – uprav jeden parametr a druhý nech na výchozí hodnotě
  • temperature=0 není kvůli zaokrouhlování na GPU dokonale deterministické
  • Kalibruj metodickým testováním: 5+ pokusů na konfiguraci, měř variabilitu