Temperatura
Na tej stronie
Kontroluj kreatywność modelu
Do tej pory skupialiśmy się na treści Twojego promptu. Teraz zajmiemy się innym, równie potężnym mechanizmem: parametrami generowania. Pierwszym i najważniejszym z nich jest temperatura. Wpływa ona bezpośrednio na rozkład prawdopodobieństwa tokenów, decydując o tym, czy model zachowuje się deterministycznie – generując przewidywalne, niemal identyczne odpowiedzi przy każdym wywołaniu – czy też kreatywnie, tworząc zróżnicowane, a czasem zaskakujące wyniki. Ten sam prompt wysłany z dwiema różnymi wartościami temperatury może dać suchą specyfikację techniczną lub tekst, który podąży w nieoczekiwanym kierunku. Zrozumienie tego parametru jest kluczowe, aby dostosować zachowanie modelu Mistral do każdego przypadku użycia.
Jak działa temperatura
Przypomnijmy podstawowy mechanizm: na każdym etapie generowania model oblicza prawdopodobieństwo dla każdego możliwego tokena, a następnie wybiera jeden z nich. Temperatura modyfikuje kształt tego rozkładu przed dokonaniem wyboru. Przy niskiej temperaturze, bliskiej 0, rozkład staje się „ostry“: model skupia się niemal wyłącznie na tokenach o najwyższym prawdopodobieństwie, co sprawia, że odpowiedzi są przewidywalne i spójne. Poproś go o stolicę Włoch przy temperaturze 0,1, a za każdym razem otrzymasz niemal to samo zdanie.
Przy wysokiej temperaturze, bliskiej 1, rozkład zostaje natomiast „spłaszczony“: tokeny mniej prawdopodobne stają się ponownie dostępne, model bierze pod uwagę szerszy zakres możliwych sekwencji, a odpowiedzi zyskują na różnorodności – czasem kosztem spójności. To dokładnie to, czego potrzebujesz podczas burzy mózgów, i dokładnie tego, czego chcesz uniknąć przy ekstrakcji danych. Poniższa tabela podsumowuje przydatne zakresy.
| Temperatura | Zachowanie | Przypadki użycia |
|---|---|---|
| 0.0 | Prawie deterministyczne, zawsze wybierany token o najwyższym prawdopodobieństwie | Ekstrakcja danych, klasyfikacja, odpowiedzi faktograficzne |
| 0.1 - 0.3 | Bardzo przewidywalne z niewielkimi wariacjami | Generowanie kodu, tłumaczenie, dokumentacja techniczna |
| 0.4 - 0.6 | Balans między spójnością a różnorodnością | Pisanie tekstów profesjonalnych, parafraza, podsumowywanie |
| 0.7 - 0.8 | Kreatywne z dobrą spójnością | Burza mózgów, teksty marketingowe, opowiadanie historii |
| 0.9 - 1.0 | Bardzo kreatywne, zaskakujące, czasem niespójne | Poezja, beletrystyka, swobodne generowanie pomysłów, eksploracja |
Używanie temperatury w API Mistral
W API temperatura jest przekazywana jako prosty parametr wywołania. Porównaj te dwa żądania: pierwsze oczekuje odpowiedzi faktograficznej i stabilnej, drugie szuka różnorodności.
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
# Niska temperatura: odpowiedź faktograficzna i deterministyczna
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": "What is the ROI formula?"}],
temperature=0.1
)
# Wysoka temperatura: odpowiedź kreatywna i zróżnicowana
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": "Invent a slogan for an organic coffee brand."}],
temperature=0.8
)
Temperatura 0 nie jest idealnie deterministyczna
Należy natychmiast sprostować powszechne nieporozumienie: nawet przy temperature=0, odpowiedzi modelu Mistral mogą wykazywać niewielkie wahania od jednego żądania do drugiego. Wynika to z czynników sprzętowych – obliczeń zmiennoprzecinkowych, równoległości GPU – które wprowadzają drobne różnice w zaokrąglaniach, wystarczające, by czasami przechylić szalę wyboru danego tokena. Jeśli więc budujesz testy automatyczne lub benchmarki, gdzie powtarzalność jest kluczowa, nie polegaj wyłącznie na temperature=0: połącz niską temperaturę z kontrolą po stronie kodu, która weryfikuje istotę odpowiedzi, a nie jej dokładną formę.
Dostosuj temperaturę do kontekstu
Zobaczmy, jak to ustawienie sprawdza się w trzech typowych sytuacjach zawodowych. W przypadku klasyfikacji lub ekstrakcji chcesz, aby ta sama opinia klienta zawsze dawała ten sam werdykt: tutaj stosujesz temperaturę 0.
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "system", "content": "Classify the sentiment: positive, neutral, negative."},
{"role": "user", "content": "The product works correctly."}
],
temperature=0.0
)
W przypadku tekstów marketingowych zbyt mechaniczna odpowiedź byłaby mdła; przy 0,7 model urozmaica sformułowania, zachowując spójność – jest to idealne rozwiązanie do stworzenia kilku haczyków i wybrania najlepszego.
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "system", "content": "You are a creative copywriter."},
{"role": "user", "content": "Write 3 hooks for an email campaign."}
],
temperature=0.7
)
Na koniec, przy burzy mózgów, sięgnij do 0,9: akceptujesz fakt, że niektóre pomysły będą naciągane, ponieważ później je odfiltrujesz. Dziesięć tropów, z których trzy są doskonałe, jest lepszych niż pięć tropów, które są wszystkie rozsądne i wszystkie już wcześniej widziane.
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Propose 10 innovative feature ideas for a fitness app."}
],
temperature=0.9
)
Eksperymentuj, aby znaleźć właściwe ustawienie
Nie istnieje uniwersalnie optymalna temperatura: właściwa wartość zależy od Twojego promptu, używanego modelu oraz tolerancji na zmienność. Jedyną niezawodną metodą są eksperymenty przeprowadzane rygorystycznie:
- Zacznij od wartości domyślnej modelu.
- Przetestuj swój prompt dla 3–4 wartości temperatury (0,1; 0,4; 0,7; 0,9).
- Porównaj wyniki z 5–10 wykonań dla każdej wartości.
- Zidentyfikuj wartość, która oferuje najlepszy stosunek spójności do różnorodności w Twoim przypadku.
- Udokumentuj wybrane ustawienie wraz z promptem.
Ten ostatni punkt jest często pomijany: prompt produkcyjny bez udokumentowanej temperatury to prompt określony tylko w połowie, przez co Twój kolega użyje go z innym ustawieniem i będzie się zastanawiał, dlaczego otrzymuje inne wyniki.
Kluczowe wnioski
- Temperatura kontroluje poziom kreatywności modelu w kontraście do determinizmu.
- Niskie wartości (0–0,3) służą zadaniom faktograficznym, wysokie wartości (0,7–1,0) – zadaniom kreatywnym.
- Nawet przy temperaturze 0 możliwe są niewielkie wariacje.
- Eksperymentuj z kilkoma wartościami, aby znaleźć optymalne ustawienie.
- Zawsze dokumentuj użytą temperaturę wraz ze swoimi promptami w środowisku produkcyjnym.