Przejdź do głównej treści
Polski— Wybierz język
Menu

Temperatura i Top P w szczegółach

Lekcja 13 z 16 Zaktualizowano 2 listopada 2026 Programista
Na tej stronie
  1. Opanowanie losowości wyjścia
  2. Jak działa temperatura
  3. Jak działa Top P (próbkowanie jądra)
  4. Złota zasada: jeden parametr na raz
  5. Kalibracja według przypadku użycia
  6. Eksperymentuj metodycznie
  7. Kluczowe wnioski

Opanowanie losowości wyjścia

Podstawy działania parametrów temperature i top_p omówiliśmy w lekcji 3. Teraz czas zagłębić się w temat: jak te dwa parametry matematycznie wpływają na generowanie tekstu, jak je skalibrować do konkretnych przypadków użycia i dlaczego ich łączenie jest klasycznym źródłem problemów w środowisku produkcyjnym.

Jak działa temperatura

Na każdym etapie generowania model oblicza rozkład prawdopodobieństwa dla całego słownictwa: który token pojawi się następny i z jakim prawdopodobieństwem. Temperatura wpływa na ten rozkład przed etapem doboru (sampling), zmieniając jego kształt.

W zakresie od 0,0 do 0,3 rozkład staje się „kolczasty“: najbardziej prawdopodobny token dominuje nad pozostałymi w sposób masowy, co sprawia, że model zachowuje się quasi-deterministycznie. Tego oczekujesz przy ekstrakcji lub klasyfikacji, gdzie dwa identyczne wywołania muszą dać identyczne wyniki. W przedziale od 0,4 do 0,8 wyłania się balans między spójnością a różnorodnością – jest to najczęstszy zakres stosowany w produkcji, wykorzystywany w chatbotach i wspomaganiu pisania. Powyżej tej wartości, od 0,9 do 1,5, rozkład się spłaszcza: tokeny znacznie mniej prawdopodobne zyskują realną szansę na wybór. Kreatywność rośnie, ale wraz z nią rośnie ryzyko niespójności i oba te czynniki zwiększają się równolegle.

Poniższy eksperyment czyni to zjawisko namacalnym, używając celowo banalnego zdania.

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))

prompt = [
    {"role": "system", "content": "Complete the sentence with a single word."},
    {"role": "user", "content": "The color of the sky is..."}
]

# Temperature 0 — always the same response
for i in range(3):
    r = client.chat.complete(model="mistral-large-latest", messages=prompt, temperature=0.0, max_tokens=5)
    print(f"T=0.0 trial {i+1}: {r.choices[0].message.content}")
# blue, blue, blue

# Temperature 1.5 — varied responses
for i in range(3):
    r = client.chat.complete(model="mistral-large-latest", messages=prompt, temperature=1.5, max_tokens=5)
    print(f"T=1.5 trial {i+1}: {r.choices[0].message.content}")
# blue, azure, turquoise (varies)

Konieczne jest jedno wyjaśnienie dotyczące temperature=0: nawet przy tej wartości mogą pojawić się niewielkie wahania między dwoma wywołaniami. Przyczyna nie leży po stronie modelu, lecz sprzętu – operacje zmiennoprzecinkowe na GPU nie gwarantują identycznej kolejności ewaluacji przy każdym wykonaniu, a czasem wystarczy niewielka rozbieżność w zaokrągleniu, aby przechylić szalę wyboru między dwoma niemal równoprawdopodobnymi tokenami. Jeśli Twój przypadek użycia wymaga maksymalnej powtarzalności, połącz temperature=0 z parametrem random_seed, o ile model go obsługuje.

Jak działa Top P (próbkowanie jądra)

Top P działa po temperaturze, na rozkładzie, który został już przez nią przekształcony. Jego zasada nie polega na zniekształcaniu prawdopodobieństw, lecz na obcinaniu listy kandydatów, pozostawiając tylko te tokeny, których skumulowana suma prawdopodobieństw osiąga próg P. Pełna sekwencja przebiega w czterech krokach:

  1. Model oblicza prawdopodobieństwa dla każdego tokena
  2. Temperatura modyfikuje te prawdopodobieństwa
  3. Tokeny są sortowane malejąco według prawdopodobieństwa
  4. Top P zatrzymuje tokeny, aż zostanie osiągnięty próg skumulowany

Konkretnie, top_p wynoszące 0,1 pozostawia przy życiu tylko garstkę kandydatów – jest to przydatne, gdy oczekiwana odpowiedź jest faktograficzna i niemal unikalna. Przy wartości 0,95 w grze pozostaje prawie całe prawdopodobne słownictwo, co odpowiada żądaniom o charakterze twórczym.

# Top P = 0.1 — very restrictive, only the most probable tokens
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "The capital of France is"}],
    temperature=0.7,
    top_p=0.1  # Only the top 10% of the probability mass
)

# Top P = 0.95 — broad, almost all tokens considered
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "Invent a new word for a feeling."}],
    temperature=0.7,
    top_p=0.95
)

Złota zasada: jeden parametr na raz

Mistral wyraźnie zaleca, aby nie dostosowywać jednocześnie temperatury i top_p. Powód wynika z tego, co zostało powiedziane wcześniej: oba parametry działają na ten sam rozkład – jeden go zniekształca, drugi go przycina. Ich efekty mnożą się w nieprzewidywalny sposób, a Ty tracisz możliwość przypisania zmiany zachowania jednemu lub drugiemu parametrowi podczas testów. Wybierz swój dźwignię, a drugi parametr pozostaw na wartości domyślnej.

# GOOD — adjust temperature, top_p default
response = client.chat.complete(
    model="mistral-large-latest",
    messages=messages,
    temperature=0.3  # top_p remains at 1.0 by default
)

# GOOD — adjust top_p, temperature default
response = client.chat.complete(
    model="mistral-large-latest",
    messages=messages,
    top_p=0.5  # temperature remains at 0.7 by default
)

# AVOID — both at the same time
response = client.chat.complete(
    model="mistral-large-latest",
    messages=messages,
    temperature=0.2,
    top_p=0.5  # Unpredictable interaction
)

Kalibracja według przypadku użycia

Zamiast wybierać temperaturę ad hoc, nazwij swoje konfiguracje i rozumuj przez pryzmat celu. Ekstrakcja i klasyfikacja mają na celu uzyskanie dokładnej, powtarzalnej odpowiedzi, więc 0,0. Streszczanie pozostaje wierne tekstowi źródłowemu z odrobiną płynności, więc 0,3. Wspomaganie pisania dąży do naturalności bez zbędnej kreatywności, czyli 0,5; konwersacyjne chatboty potrzebują zróżnicowanych odpowiedzi, czyli 0,7; burza mózgów wymaga maksymalnej kreatywności, czyli 1,2. We wszystkich przypadkach top_p pozostaje na poziomie 1,0, zgodnie z poprzednią zasadą.

# Data Extraction / Classification
# Objective: exact, reproducible response
CONFIG_EXTRACTION = {"temperature": 0.0, "top_p": 1.0}

# Summarization / Reformulation
# Objective: faithful to source text with some fluidity
CONFIG_SUMMARY = {"temperature": 0.3, "top_p": 1.0}

# Assisted Writing / Professional Email
# Objective: natural but not too creative
CONFIG_WRITING = {"temperature": 0.5, "top_p": 1.0}

# Conversational Chatbot
# Objective: varied and natural responses
CONFIG_CHATBOT = {"temperature": 0.7, "top_p": 1.0}

# Brainstorming / Idea Generation
# Objective: maximum creativity
CONFIG_CREATIVE = {"temperature": 1.2, "top_p": 1.0}

# Usage
def smart_complete(client, messages, task_type="chatbot"):
    configs = {
        "extraction": CONFIG_EXTRACTION,
        "summary": CONFIG_SUMMARY,
        "writing": CONFIG_WRITING,
        "chatbot": CONFIG_CHATBOT,
        "creative": CONFIG_CREATIVE,
    }
    config = configs.get(task_type, CONFIG_CHATBOT)

    return client.chat.complete(
        model="mistral-large-latest",
        messages=messages,
        **config
    )

Eksperymentuj metodycznie

Te wartości to punkty wyjścia, a nie absolutne prawdy. Aby znaleźć odpowiednie ustawienie dla własnego zadania, musisz przeprowadzać pomiary, a pojedyncza próba dla każdej temperatury niczego nie mierzy. Poniższa funkcja wykonuje pięć generowań dla każdej testowanej wartości i liczy unikalne odpowiedzi: jest to Twój wskaźnik różnorodności. Zadanie, które przy T=0,3 daje 5/5 unikalnych odpowiedzi, sygnalizuje prompt, który jest zbyt otwarty, znacznie bardziej niż źle dobraną temperaturę.

def test_temperature_range(client, messages, temperatures):
    """Tests multiple temperatures on the same prompt."""
    results = []
    for temp in temperatures:
        responses = []
        for _ in range(5):  # 5 trials per temperature
            r = client.chat.complete(
                model="mistral-large-latest",
                messages=messages,
                temperature=temp,
                max_tokens=200
            )
            responses.append(r.choices[0].message.content)

        # Measure diversity
        unique = len(set(responses))
        results.append({
            "temperature": temp,
            "unique_responses": unique,
            "sample": responses[0][:100]
        })

    for r in results:
        print(f"T={r['temperature']:.1f} | {r['unique_responses']}/5 unique | {r['sample']}...")

# Test
test_temperature_range(
    client,
    [{"role": "user", "content": "Give a productivity tip."}],
    [0.0, 0.3, 0.7, 1.0, 1.5]
)

Kluczowe wnioski

  • Temperatura modyfikuje kształt rozkładu prawdopodobieństwa tokenów
  • Top P przycina rozkład, zachowując najbardziej prawdopodobne tokeny
  • Nigdy nie dostosowuj obu parametrów jednocześnie – zmień jeden, drugi pozostaw domyślny
  • temperature=0 nie jest idealnie deterministyczne ze względu na zaokrąglenia w GPU
  • Kalibruj poprzez metodyczne testy: 5+ prób na konfigurację, mierz różnorodność