Teplota
Na tejto strane
Kontrola kreativity modelu
Doteraz sme sa sústredili na obsah tvojho promptu. Teraz sa pozrieme na ďalší rovnako výkonný nástroj: parametre generovania. Prvým a najzákladnejším z nich je teplota. Priamo ovplyvňuje rozdelenie pravdepodobnosti tokenov a určuje, či sa model správa deterministicky – teda produkuje predvídateľné, takmer identické odpovede pri každom volaní – alebo kreatívne, čím generuje rôznorodý a niekedy prekvapivý výstup. Ten istý prompt odoslaný s dvoma rôznymi hodnotami teploty môže viesť buď k strohej technickej špecifikácii, alebo k textu, ktorý sa uberie neočakávaným smerom. Pochopenie tohto parametra je kľúčové na prispôsobenie správania modelu Mistral každému použitiu.
Ako funguje teplota
Spomeňme si na základný mechanizmus: v každom kroku generovania model vypočíta pravdepodobnosť pre každý možný token a potom jeden vyberie. Teplota upravuje tvar tohto rozdelenia ešte pred výberom. Pri nízkej teplote, blízkej 0, sa rozdelenie stáva „ostrým“: model sa sústredí takmer výlučne na najpravdepodobnejšie tokeny, čo robí odpovede predvídateľnými a konzistentnými. Ak sa ho pri teplote 0,1 opýtaš na hlavné mesto Talianska, takmer vždy dostaneš tú istú vetu.
Pri vysokej teplote, blízkej 1, sa rozdelenie naopak „sploští“: menej pravdepodobné tokeny sa opäť stanú dostupnými, model zvažuje širšiu škálu možných postupností a odpovede získavajú na rozmanitosti – niekedy však na úkor súdržnosti. Presne to chceš pri brainstormingu a presne tomu sa chceš vyhnúť pri extrakcii dát. Nasledujúca tabuľka sumarizuje užitočné rozsahy.
| Teplota | Správanie | Prípady použitia |
|---|---|---|
| 0.0 | Kvázideterministické, vždy najpravdepodobnejší token | Extrakcia dát, klasifikácia, faktické odpovede |
| 0.1 - 0.3 | Veľmi predvídateľné s miernymi variáciami | Generovanie kódu, preklad, technická dokumentácia |
| 0.4 - 0.6 | Rovnováha medzi súdržnosťou a rozmanitosťou | Profesionálne písanie, preformulovanie, zhrnutie |
| 0.7 - 0.8 | Kreatívne s dobrou súdržnosťou | Brainstorming, marketingové texty, rozprávanie príbehov |
| 0.9 - 1.0 | Veľmi kreatívne, prekvapivé, niekedy nesúdržné | Poezia, beletria, voľné generovanie nápadov, explorácia |
Používanie teploty s API Mistral
V API sa teplota odovzdáva ako jednoduchý parameter volania. Porovnaj tieto dve požiadavky: prvá očakáva faktickú a stabilnú odpoveď, druhá hľadá rozmanitosť.
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
# Nízka teplota: faktická a deterministická odpoveď
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": "What is the ROI formula?"}],
temperature=0.1
)
# Vysoká teplota: kreatívna a rôznorodá odpoveď
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": "Invent a slogan for an organic coffee brand."}],
temperature=0.8
)
Teplota 0 nie je dokonale deterministická
Je potrebné okamžite vyvrátiť častý omyl: aj pri nastavení temperature=0 môžu odpovede modelu Mistral vykazovať medzi jednotlivými požiadavkami mierne variácie. Deje sa tak kvôli hardvérovým faktorom – výpočtom s pohyblivou desatinnou čiarkou, paralelizácii na GPU – ktoré zavádzajú nepatrné rozdiely v zaokrúhľovaní. To stačí na to, aby sa občas zmenil výber tokenu. Ak teda buduješ automatizované testy alebo benchmarky, kde je reprodukovateľnosť kritická, nespoliehaj sa len na temperature=0: kombinuj nízku teplotu s kontrolou na strane kódu, ktorá overí podstatu odpovede, nie jej presnú formu.
Prispôsobenie teploty kontextu
Pozrime sa, ako sa toto nastavenie prejavuje v troch typických profesionálnych situáciách. Pri klasifikácii alebo extrakcii chceš, aby tá istá recenzia zákazníka vždy priniesla ten istý verdikt: to je prípad pre teplotu 0.
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "system", "content": "Classify the sentiment: positive, neutral, negative."},
{"role": "user", "content": "The product works correctly."}
],
temperature=0.0
)
Pri marketingových textoch by príliš mechanická odpoveď pôsobila fádne; pri hodnote 0,7 model mení formulácie, no zostáva súdržný – čo je ideálne na vytvorenie viacerých úvodných viet („hooks“) a vybratie tej najlepšej.
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "system", "content": "You are a creative copywriter."},
{"role": "user", "content": "Write 3 hooks for an email campaign."}
],
temperature=0.7
)
Napokon, pri brainstormingu choď až na 0,9: akceptuješ, že niektoré nápady budú pritiahnuté za vlasy, keďže ich neskôr prefiltruješ. Desať smerov, z ktorých tri sú vynikajúce, je lepších ako päť smerov, ktoré sú všetky rozumné, no zároveň už videné.
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Propose 10 innovative feature ideas for a fitness app."}
],
temperature=0.9
)
Experimentuj, aby si našiel správne nastavenie
Neexistuje univerzálne optimálna teplota: správna hodnota závisí od tvojho promptu, tvojho modelu a tvojej tolerancie voči variabilite. Jedinou spoľahlivou metódou je experimentovanie, ktoré musí prebiehať rigorózne:
- Začni s predvolenou hodnotou modelu.
- Otestuj svoj prompt s 3–4 hodnotami teploty (0,1; 0,4; 0,7; 0,9).
- Porovnaj výsledky z 5–10 spustení pre každú hodnotu.
- Identifikuj hodnotu, ktorá ponúka najlepší pomer súdržnosti a rozmanitosti pre tvoj prípad.
- Zdokumentuj zvolené nastavenie spolu s promptom.
Tento posledný bod sa často prehliada: produkčný prompt bez zdokumentovanej teploty je len napoly špecifikovaný prompt. Tvoj kolega ho potom použije s iným nastavením a bude sa čudovať, prečo dostáva odlišné výsledky.
Kľúčové poznatky
- Teplota riadi mieru kreativity modelu oproti determinizmu.
- Nízke hodnoty (0–0,3) sú určené pre faktické úlohy, vysoké hodnoty (0,7–1,0) pre kreatívne úlohy.
- Aj pri teplote 0 sú možné mierne variácie.
- Experimentuj s viacerými hodnotami, aby si našiel optimálne nastavenie.
- Vždy dokumentuj použitú teplotu spolu so svojimi promptmi v produkcii.