Премини към основното съдържание
Български— Изберете език
Меню

Температура и Top P в детайли

Урок 13 от 16 Обновен 2 ноември 2026 г. Програмист
На тази страница
  1. Овладяване на рандомизацията на изхода
  2. Как работи температурата
  3. Как работи Top P (Семплиране на ядрото)
  4. Златното правило: Един параметър наведнъж
  5. Калибриране според случая на употреба
  6. Експериментирайте методично
  7. Ключови изводи

Овладяване на рандомизацията на изхода

Запознахте се с основите на temperature и top_p в Урок 3. Сега е време да навлезете по-дълбоко: как тези два параметъра влияят математически върху генерирането, как да ги калибрирате за конкретни случаи на употреба и защо комбинирането им е класически източник на проблеми в производствена среда.

Как работи температурата

На всяка стъпка от генерирането моделът изчислява разпределение на вероятностите върху целия речник: кой токен следва и с каква вероятност. Температурата intervenира в това разпределение преди семплирането, променяйки неговата форма.

Между 0.0 и 0.3 разпределението става „навърхано“: най-вероятният токен доминира масивно над останалите, правейки модела квази-детерминиран. Това е желаното поведение за извличане или класификация, където два идентични повика трябва да произведат идентични резултати. Между 0.4 и 0.8 се постига баланс между кохерентност и разнообразие – това е най-често използваният диапазон в производствена среда, приложим за чатботове и подпомагано писане. Оттам нататък, от 0.9 до 1.5, разпределението се изравнява: значително по-малко вероятните токени вече имат реален шанс да бъдат избрани. Креативността нараства, но така нараства и рискът от некохерентност, като двете се повишават едновременно.

Следващият експеримент прави това явление осезаемо, използвайки умишлено банално изречение.

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))

prompt = [
    {"role": "system", "content": "Complete the sentence with a single word."},
    {"role": "user", "content": "The color of the sky is..."}
]

# Temperature 0 — always the same response
for i in range(3):
    r = client.chat.complete(model="mistral-large-latest", messages=prompt, temperature=0.0, max_tokens=5)
    print(f"T=0.0 trial {i+1}: {r.choices[0].message.content}")
# blue, blue, blue

# Temperature 1.5 — varied responses
for i in range(3):
    r = client.chat.complete(model="mistral-large-latest", messages=prompt, temperature=1.5, max_tokens=5)
    print(f"T=1.5 trial {i+1}: {r.choices[0].message.content}")
# blue, azure, turquoise (varies)

Необходимо е едно уточнение относно temperature=0: дори при тази стойност могат да се появят леки вариации между две повиквания. Причината не е в модела, а в хардуера – операциите с плаваща запетая на GPU не гарантират идентичен ред на изпълнение при всеки старт и понякога една разлика в закръглянето е достатъчна, за да наклони везните при избора между два почти еднакво вероятни токена. Ако Вашият случай на употреба изисква максимална възпроизводимост, комбинирайте temperature=0 с random_seed, когато моделът го поддържа.

Как работи Top P (Семплиране на ядрото)

Top P действа след температурата, върху разпределението, което тя вече е променила. Неговият принцип не е да изкривява вероятностите, а да съкрати списъка с кандидати, запазвайки само онези токени, чиято кумулативна сума на вероятностите достига прага P. Пълната последователност се развива в четири стъпки:

  1. Моделът изчислява вероятностите за всеки токен
  2. Температурата модифицира тези вероятности
  3. Токените се сортират по намаляваща вероятност
  4. Top P запазва токените, докато се достигне кумулативният праг

Конкретно, top_p от 0.1 оставя живи само шепа кандидати – полезно, когато очакваният отговор е фактологичен и почти уникален. При 0.95 почти целият правдоподобен речник остава в състезанието, което отговаря на заявка за измисляне.

# Top P = 0.1 — very restrictive, only the most probable tokens
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "The capital of France is"}],
    temperature=0.7,
    top_p=0.1  # Only the top 10% of the probability mass
)

# Top P = 0.95 — broad, almost all tokens considered
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "Invent a new word for a feeling."}],
    temperature=0.7,
    top_p=0.95
)

Златното правило: Един параметър наведнъж

Mistral изрично препоръчва да не настройвате temperature и top_p едновременно. Причината следва от казаното по-горе: и двете действат върху едно и също разпределение, едното чрез изкривяването му, другото чрез отрязването му. Ефектите им се умножават по непредсказуем начин и губите всякаква способност да атрибутирате промяна в поведението на един или друг параметър по време на тестване. Изберете Вашия лост и оставете другия на стойността му по подразбиране.

# GOOD — adjust temperature, top_p default
response = client.chat.complete(
    model="mistral-large-latest",
    messages=messages,
    temperature=0.3  # top_p remains at 1.0 by default
)

# GOOD — adjust top_p, temperature default
response = client.chat.complete(
    model="mistral-large-latest",
    messages=messages,
    top_p=0.5  # temperature remains at 0.7 by default
)

# AVOID — both at the same time
response = client.chat.complete(
    model="mistral-large-latest",
    messages=messages,
    temperature=0.2,
    top_p=0.5  # Unpredictable interaction
)

Калибриране според случая на употреба

Вместо да избирате температура ad hoc, наименувайте Вашите конфигурации и разсъждавайте спрямо целта. Извличането и класификацията целят точен, възпроизводим отговор, следователно 0.0. Обобщаването остава вярно на изходния текст с малко плавност, следователно 0.3. Подпомаганото писане търси естественост без излишна креативност, на 0.5; разговорните чатботове се нуждаят от разнообразни отговори, на 0.7; брейнстормингът изисква максимална креативност, на 1.2. Във всички случаи top_p остава на 1.0, в съответствие с предишното правило.

# Data Extraction / Classification
# Objective: exact, reproducible response
CONFIG_EXTRACTION = {"temperature": 0.0, "top_p": 1.0}

# Summarization / Reformulation
# Objective: faithful to source text with some fluidity
CONFIG_SUMMARY = {"temperature": 0.3, "top_p": 1.0}

# Assisted Writing / Professional Email
# Objective: natural but not too creative
CONFIG_WRITING = {"temperature": 0.5, "top_p": 1.0}

# Conversational Chatbot
# Objective: varied and natural responses
CONFIG_CHATBOT = {"temperature": 0.7, "top_p": 1.0}

# Brainstorming / Idea Generation
# Objective: maximum creativity
CONFIG_CREATIVE = {"temperature": 1.2, "top_p": 1.0}

# Usage
def smart_complete(client, messages, task_type="chatbot"):
    configs = {
        "extraction": CONFIG_EXTRACTION,
        "summary": CONFIG_SUMMARY,
        "writing": CONFIG_WRITING,
        "chatbot": CONFIG_CHATBOT,
        "creative": CONFIG_CREATIVE,
    }
    config = configs.get(task_type, CONFIG_CHATBOT)

    return client.chat.complete(
        model="mistral-large-latest",
        messages=messages,
        **config
    )

Експериментирайте методично

Тези стойности са отправни точки, а не абсолютни истини. За да откриете правилната настройка за Вашата собствена задача, трябва да измервате, а един единствен опит на температура не измерва нищо. Функцията по-долу изпълнява пет генерации за всяка тествана стойност и брои уникалните отговори: това е Вашият индикатор за разнообразие. Задача, която връща 5/5 уникални отговора при T=0.3, сигнализира за подкана (prompt), която е твърде отворена, много повече отколкото за лошо избрана температура.

def test_temperature_range(client, messages, temperatures):
    """Tests multiple temperatures on the same prompt."""
    results = []
    for temp in temperatures:
        responses = []
        for _ in range(5):  # 5 trials per temperature
            r = client.chat.complete(
                model="mistral-large-latest",
                messages=messages,
                temperature=temp,
                max_tokens=200
            )
            responses.append(r.choices[0].message.content)

        # Measure diversity
        unique = len(set(responses))
        results.append({
            "temperature": temp,
            "unique_responses": unique,
            "sample": responses[0][:100]
        })

    for r in results:
        print(f"T={r['temperature']:.1f} | {r['unique_responses']}/5 unique | {r['sample']}...")

# Test
test_temperature_range(
    client,
    [{"role": "user", "content": "Give a productivity tip."}],
    [0.0, 0.3, 0.7, 1.0, 1.5]
)

Ключови изводи

  • Температурата модифицира формата на разпределението на вероятностите за токените
  • Top P съкращава разпределението, запазвайки най-вероятните токени
  • Никога не настройвайте и двете едновременно – променете един параметър, оставете другия по подразбиране
  • temperature=0 не е перфектно детерминиран поради закръглянията на GPU
  • Калибрирайте с методично тестване: 5+ опита на конфигурация, измервайте разнообразието