Teplota
Na této stránce
Ovládání kreativity modelu
Doposud jsme se soustředili na obsah tvého promptu. Nyní se podíváme na další stejně mocnou páku: parametry generování. Tím prvním a nejdůležitějším je teplota. Ta přímo ovlivňuje rozdělení pravděpodobnosti tokenů a určuje, zda se model bude chovat deterministicky – tedy produkovat předvídatelné, téměř totožné odpovědi při každém volání – nebo kreativně, čímž vznikají rozmanité a někdy překvapivé výstupy. Stejný prompt odeslaný se dvěma různými hodnotami teploty může vést buď ke střízlivé technické specifikaci, nebo k textu, který se ubírá neočekávanými směry. Pochopení tohoto parametru je klíčové pro přizpůsobení chování modelu Mistral každému konkrétnímu případu použití.
Jak teplota funguje
Připomeňme si základní mechanismus: v každém kroku generování model vypočítá pravděpodobnost pro každý možný token a poté jeden vybere. Teplota upravuje tvar tohoto rozdělení ještě před výběrem. Při nízké teplotě, blízké 0, se rozdělení stává „ostrým“: model se soustředí téměř výhradně na tokeny s nejvyšší pravděpodobností, což činí odpovědi předvídatelnými a konzistentními. Pokud se ho při teplotě 0,1 zeptáš na hlavní město Itálie, pokaždé dostaneš téměř stejnou větu.
Při vysoké teplotě, blízké 1, je rozdělení naopak „zploštělé“: znovu se zpřístupní tokeny s nižší pravděpodobností, model zvažuje širší škálu možných sekvencí a odpovědi získávají na rozmanitosti – někdy však na úkor soudržnosti. Přesně to chceš při brainstormingu a přesně tomu se chceš vyhnout při extrakci dat. Následující tabulka shrnuje užitečné rozsahy.
| Teplota | Chování | Případy použití |
|---|---|---|
| 0.0 | Kvazideterministické, vždy nejpravděpodobnější token | Extrakce dat, klasifikace, faktické odpovědi |
| 0.1 - 0.3 | Velmi předvídatelné s mírnými variacemi | Generování kódu, překlad, technická dokumentace |
| 0.4 - 0.6 | Rovnováha mezi soudržností a rozmanitostí | Profesionální psaní, přeformulování, shrnování |
| 0.7 - 0.8 | Kreativní s dobrou soudržností | Brainstorming, marketingové texty, vyprávění příběhů |
| 0.9 - 1.0 | Velmi kreativní, překvapivé, někdy nesoudržné | Poezie, beletrie, volná tvorba nápadů, průzkum |
Použití teploty s API Mistral
V API se teplota předává jako jednoduchý parametr volání. Porovnej tyto dva požadavky: první očekává faktickou a stabilní odpověď, druhý hledá rozmanitost.
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
# Nízká teplota: faktická a deterministická odpověď
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": "What is the ROI formula?"}],
temperature=0.1
)
# Vysoká teplota: kreativní a rozmanitá odpověď
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": "Invent a slogan for an organic coffee brand."}],
temperature=0.8
)
Teplota 0 není dokonale deterministická
Je třeba hned vyvrátit častý omyl: i při nastavení temperature=0 mohou odpovědi modelu Mistral vykazovat mezi jednotlivými požadavky drobné variace. Děje se tak kvůli hardwarovým faktorům – výpočtům s plovoucí řádovou čárkou, paralelizaci na GPU – které zavádějí nepatrné rozdíly v zaokrouhlování, jež mohou občas převážit výběr konkrétního tokenu. Pokud tedy buduješ automatizované testy nebo benchmarky, kde je reprodukovatelnost kritická, nespoléhej se pouze na temperature=0: kombinuj nízkou teplotu s kontrolou na straně kódu, která ověřuje podstatu odpovědi, nikoliv její přesnou formu.
Přizpůsobení teploty kontextu
Podívejme se, jak se toto nastavení projevuje ve třech typických profesních situacích. Pro klasifikaci nebo extrakci chceš, aby stejná recenze zákazníka vždy vedla ke stejnému verdiktu: to znamená teplotu 0.
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "system", "content": "Classify the sentiment: positive, neutral, negative."},
{"role": "user", "content": "The product works correctly."}
],
temperature=0.0
)
U marketingových textů by příliš mechanická odpověď působila mdle; při hodnotě 0,7 model mění formulace, ale zachovává soudržnost – což je ideální pro vytvoření několika úvodních vět („hooks“) a výběr té nejlepší.
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "system", "content": "You are a creative copywriter."},
{"role": "user", "content": "Write 3 hooks for an email campaign."}
],
temperature=0.7
)
A konečně při brainstormingu jdi až na 0,9: přijímáš, že některé nápady budou přitažené za vlasy, protože je později odfiltruješ. Deset vodítek, z nichž tři jsou vynikající, je lepší než pět vodítek, která jsou všechna rozumná a všechna už viděná.
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Propose 10 innovative feature ideas for a fitness app."}
],
temperature=0.9
)
Experimentuj, abys našel správné nastavení
Neexistuje univerzálně optimální teplota: správná hodnota závisí na tvém promptu, tvém modelu a tvé toleranci k variabilitě. Jedinou spolehlivou metodou je experimentování prováděné rigorózně:
- Začni výchozí hodnotou modelu.
- Otestuj svůj prompt se 3–4 hodnotami teploty (0,1; 0,4; 0,7; 0,9).
- Porovnej výsledky z 5–10 spuštění pro každou hodnotu.
- Identifikuj hodnotu, která nabízí nejlepší poměr mezi soudržností a rozmanitostí pro tvůj případ.
- Zdokumentuj zvolené nastavení společně s promptem.
Tento poslední bod se často přehlíží: produkční prompt bez zdokumentované teploty je pouze napůl specifikovaný prompt, který tvůj kolega znovu použije s jiným nastavením a bude se divit, proč dostává jiné výsledky.
Klíčové poznatky
- Teplota řídí míru kreativity versus determinismu modelu.
- Nízké hodnoty (0–0,3) pro faktické úkoly, vysoké hodnoty (0,7–1,0) pro kreativní úkoly.
- I při teplotě 0 jsou možné drobné variace.
- Experimentuj s několika hodnotami, abys našel optimální nastavení.
- Vždy zdokumentuj použitou teplotu společně se svými prompty v produkci.