Температура и Top P в детайли
На тази страница
Овладяване на рандомизацията на изхода
Запознахте се с основите на temperature и top_p в Урок 3. Сега е време да навлезете по-дълбоко: как тези два параметъра влияят математически върху генерирането, как да ги калибрирате за конкретни случаи на употреба и защо комбинирането им е класически източник на проблеми в производствена среда.
Как работи температурата
На всяка стъпка от генерирането моделът изчислява разпределение на вероятностите върху целия речник: кой токен следва и с каква вероятност. Температурата intervenира в това разпределение преди семплирането, променяйки неговата форма.
Между 0.0 и 0.3 разпределението става „навърхано“: най-вероятният токен доминира масивно над останалите, правейки модела квази-детерминиран. Това е желаното поведение за извличане или класификация, където два идентични повика трябва да произведат идентични резултати. Между 0.4 и 0.8 се постига баланс между кохерентност и разнообразие – това е най-често използваният диапазон в производствена среда, приложим за чатботове и подпомагано писане. Оттам нататък, от 0.9 до 1.5, разпределението се изравнява: значително по-малко вероятните токени вече имат реален шанс да бъдат избрани. Креативността нараства, но така нараства и рискът от некохерентност, като двете се повишават едновременно.
Следващият експеримент прави това явление осезаемо, използвайки умишлено банално изречение.
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))
prompt = [
{"role": "system", "content": "Complete the sentence with a single word."},
{"role": "user", "content": "The color of the sky is..."}
]
# Temperature 0 — always the same response
for i in range(3):
r = client.chat.complete(model="mistral-large-latest", messages=prompt, temperature=0.0, max_tokens=5)
print(f"T=0.0 trial {i+1}: {r.choices[0].message.content}")
# blue, blue, blue
# Temperature 1.5 — varied responses
for i in range(3):
r = client.chat.complete(model="mistral-large-latest", messages=prompt, temperature=1.5, max_tokens=5)
print(f"T=1.5 trial {i+1}: {r.choices[0].message.content}")
# blue, azure, turquoise (varies)
Необходимо е едно уточнение относно temperature=0: дори при тази стойност могат да се появят леки вариации между две повиквания. Причината не е в модела, а в хардуера – операциите с плаваща запетая на GPU не гарантират идентичен ред на изпълнение при всеки старт и понякога една разлика в закръглянето е достатъчна, за да наклони везните при избора между два почти еднакво вероятни токена. Ако Вашият случай на употреба изисква максимална възпроизводимост, комбинирайте temperature=0 с random_seed, когато моделът го поддържа.
Как работи Top P (Семплиране на ядрото)
Top P действа след температурата, върху разпределението, което тя вече е променила. Неговият принцип не е да изкривява вероятностите, а да съкрати списъка с кандидати, запазвайки само онези токени, чиято кумулативна сума на вероятностите достига прага P. Пълната последователност се развива в четири стъпки:
- Моделът изчислява вероятностите за всеки токен
- Температурата модифицира тези вероятности
- Токените се сортират по намаляваща вероятност
- Top P запазва токените, докато се достигне кумулативният праг
Конкретно, top_p от 0.1 оставя живи само шепа кандидати – полезно, когато очакваният отговор е фактологичен и почти уникален. При 0.95 почти целият правдоподобен речник остава в състезанието, което отговаря на заявка за измисляне.
# Top P = 0.1 — very restrictive, only the most probable tokens
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": "The capital of France is"}],
temperature=0.7,
top_p=0.1 # Only the top 10% of the probability mass
)
# Top P = 0.95 — broad, almost all tokens considered
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": "Invent a new word for a feeling."}],
temperature=0.7,
top_p=0.95
)
Златното правило: Един параметър наведнъж
Mistral изрично препоръчва да не настройвате temperature и top_p едновременно. Причината следва от казаното по-горе: и двете действат върху едно и също разпределение, едното чрез изкривяването му, другото чрез отрязването му. Ефектите им се умножават по непредсказуем начин и губите всякаква способност да атрибутирате промяна в поведението на един или друг параметър по време на тестване. Изберете Вашия лост и оставете другия на стойността му по подразбиране.
# GOOD — adjust temperature, top_p default
response = client.chat.complete(
model="mistral-large-latest",
messages=messages,
temperature=0.3 # top_p remains at 1.0 by default
)
# GOOD — adjust top_p, temperature default
response = client.chat.complete(
model="mistral-large-latest",
messages=messages,
top_p=0.5 # temperature remains at 0.7 by default
)
# AVOID — both at the same time
response = client.chat.complete(
model="mistral-large-latest",
messages=messages,
temperature=0.2,
top_p=0.5 # Unpredictable interaction
)
Калибриране според случая на употреба
Вместо да избирате температура ad hoc, наименувайте Вашите конфигурации и разсъждавайте спрямо целта. Извличането и класификацията целят точен, възпроизводим отговор, следователно 0.0. Обобщаването остава вярно на изходния текст с малко плавност, следователно 0.3. Подпомаганото писане търси естественост без излишна креативност, на 0.5; разговорните чатботове се нуждаят от разнообразни отговори, на 0.7; брейнстормингът изисква максимална креативност, на 1.2. Във всички случаи top_p остава на 1.0, в съответствие с предишното правило.
# Data Extraction / Classification
# Objective: exact, reproducible response
CONFIG_EXTRACTION = {"temperature": 0.0, "top_p": 1.0}
# Summarization / Reformulation
# Objective: faithful to source text with some fluidity
CONFIG_SUMMARY = {"temperature": 0.3, "top_p": 1.0}
# Assisted Writing / Professional Email
# Objective: natural but not too creative
CONFIG_WRITING = {"temperature": 0.5, "top_p": 1.0}
# Conversational Chatbot
# Objective: varied and natural responses
CONFIG_CHATBOT = {"temperature": 0.7, "top_p": 1.0}
# Brainstorming / Idea Generation
# Objective: maximum creativity
CONFIG_CREATIVE = {"temperature": 1.2, "top_p": 1.0}
# Usage
def smart_complete(client, messages, task_type="chatbot"):
configs = {
"extraction": CONFIG_EXTRACTION,
"summary": CONFIG_SUMMARY,
"writing": CONFIG_WRITING,
"chatbot": CONFIG_CHATBOT,
"creative": CONFIG_CREATIVE,
}
config = configs.get(task_type, CONFIG_CHATBOT)
return client.chat.complete(
model="mistral-large-latest",
messages=messages,
**config
)
Експериментирайте методично
Тези стойности са отправни точки, а не абсолютни истини. За да откриете правилната настройка за Вашата собствена задача, трябва да измервате, а един единствен опит на температура не измерва нищо. Функцията по-долу изпълнява пет генерации за всяка тествана стойност и брои уникалните отговори: това е Вашият индикатор за разнообразие. Задача, която връща 5/5 уникални отговора при T=0.3, сигнализира за подкана (prompt), която е твърде отворена, много повече отколкото за лошо избрана температура.
def test_temperature_range(client, messages, temperatures):
"""Tests multiple temperatures on the same prompt."""
results = []
for temp in temperatures:
responses = []
for _ in range(5): # 5 trials per temperature
r = client.chat.complete(
model="mistral-large-latest",
messages=messages,
temperature=temp,
max_tokens=200
)
responses.append(r.choices[0].message.content)
# Measure diversity
unique = len(set(responses))
results.append({
"temperature": temp,
"unique_responses": unique,
"sample": responses[0][:100]
})
for r in results:
print(f"T={r['temperature']:.1f} | {r['unique_responses']}/5 unique | {r['sample']}...")
# Test
test_temperature_range(
client,
[{"role": "user", "content": "Give a productivity tip."}],
[0.0, 0.3, 0.7, 1.0, 1.5]
)
Ключови изводи
- Температурата модифицира формата на разпределението на вероятностите за токените
- Top P съкращава разпределението, запазвайки най-вероятните токени
- Никога не настройвайте и двете едновременно – променете един параметър, оставете другия по подразбиране
temperature=0не е перфектно детерминиран поради закръглянията на GPU- Калибрирайте с методично тестване: 5+ опита на конфигурация, измервайте разнообразието