Temperatura
Na tej strani
Nadzoruj kreativnost modela
Do zdaj smo se osredotočali na vsebino tvojega poziva. Zdaj pa se lotimo drugega enako zmogljivega vzvoda: parametrov generiranja. Prvi in najbolj temeljni parameter je temperatura. Neposredno vpliva na porazdelitev verjetnosti žetonov in določa, ali se model obnaša deterministično – kar pomeni, da pri vsakem klicu ustvari predvidljive, skoraj identične odgovore – ali kreativno, kar vodi do raznolikih in včasih presenetljivih izhodov. Isti poziv, poslan z dvema različnima temperaturama, lahko rezultira v suhoporni tehnični specifikaciji ali besedilu, ki krene v nepričakovane smeri. Razumevanje tega parametra je ključno za prilagajanje obnašanja modelov Mistral vsakemu primeru uporabe.
Kako deluje temperatura
Spomni se osnovnega mehanizma: model ob vsakem koraku generiranja izračuna verjetnost za vsak možni žeton in nato enega izbere. Temperatura spremeni obliko te porazdelitve pred izbiro. Pri nizki temperaturi, blizu 0, porazdelitev postane „ostra”: model se osredotoči skoraj izključno na najbolj verjetne žetone, zaradi česar so odgovori predvidljivi in dosledni. Če ga pri temperaturi 0,1 vprašaš za glavno mesto Italije, boš skoraj vsakič dobil enak stavek.
Pri visoki temperaturi, blizu 1, je porazdelitev namesto tega „sploščena”: manj verjetni žetoni ponovno postanejo dostopni, model upošteva širši nabor možnih zaporedij, odgovori pa pridobijo na raznolikosti – včasih na račun koherence. Točno to želiš pri možganski nevihti, točno temu pa se želiš izogniti pri ekstrakciji podatkov. Spodnja tabela povzema uporabne razpone.
| Temperatura | Obnašanje | Primeri uporabe |
|---|---|---|
| 0.0 | Skoraj deterministično, vedno najbolj verjeten žeton | Ekstrakcija podatkov, klasifikacija, dejanski odgovori |
| 0.1 - 0.3 | Zelo predvidljivo z rahlimi variacijami | Generiranje kode, prevajanje, tehnična dokumentacija |
| 0.4 - 0.6 | Ravnotežje med koherenco in raznolikostjo | Profesionalno pisanje, preoblikovanje, povzemanje |
| 0.7 - 0.8 | Kreativno z dobro koherenco | Možganska nevihta, marketinška besedila, pripovedovanje zgodb |
| 0.9 - 1.0 | Zelo kreativno, presenetljivo, včasih nekoherentno | Poezija, fikcija, prosto ustvarjanje idej, raziskovanje |
Uporaba temperature z API-jem Mistral
V API-ju se temperatura posreduje kot preprost parameter klica. Primerjaj ta dva zahtevka: prvi pričakuje dejanski in stabilen odgovor, drugi pa išče raznolikost.
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
# Nizka temperatura: dejanski in determinističen odgovor
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": "What is the ROI formula?"}],
temperature=0.1
)
# Visoka temperatura: kreativen in raznolik odgovor
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": "Invent a slogan for an organic coffee brand."}],
temperature=0.8
)
Temperatura 0 ni popolnoma deterministična
Takoj je treba popraviti pogosto napačno prepričanje: tudi pri temperature=0 lahko odgovori modela Mistral kažejo rahle variacije od zahteve do zahteve. Do tega pride zaradi strojnih dejavnikov – izračunov s plavajočo vejico, vzporednega delovanja GPU-jev – ki vnesejo drobne razlike pri zaokroževanju, kar je včasih dovolj, da se izbira žetona rahlo spremeni. Če torej gradiš avtomatizirane teste ali referenčne točke, kjer je ponovljivost ključna, se ne zanašaj zgolj na temperature=0: kombiniraj nizko temperaturo s preverjanjem na strani kode, ki validira vsebino odgovora in ne njegove točne oblike.
Prilagodi temperaturo kontekstu
Poglejmo, kako se ta nastavitev obnese v treh tipičnih poslovnih situacijah. Pri klasifikaciji ali ekstrakciji želiš, da ista ocena stranke vedno prinese isto sodbo: to je temperatura 0.
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "system", "content": "Classify the sentiment: positive, neutral, negative."},
{"role": "user", "content": "The product works correctly."}
],
temperature=0.0
)
Za marketinška besedila bi bil preveč mehaničen odgovor dolgočasen; pri 0,7 model variira fraze, a ostaja koherenten – idealno za ustvarjanje večih vab in izbiro najboljše.
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "system", "content": "You are a creative copywriter."},
{"role": "user", "content": "Write 3 hooks for an email campaign."}
],
temperature=0.7
)
Za možgansko nevihto pa pojdi vse do 0,9: sprejmeš, da bodo nekatere ideje pretirane, saj jih boš kasneje filtriral. Deset sledi s tremi odličnimi je bolje kot pet sledi, ki so vse razumne in vse že videne.
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Propose 10 innovative feature ideas for a fitness app."}
],
temperature=0.9
)
Eksperimentiraj, da najdeš pravo nastavitev
Ne obstaja univerzalno optimalna temperatura: prava vrednost je odvisna od tvojega poziva, tvojega modela in tvoje tolerance do variabilnosti. Edina zanesljiva metoda je eksperimentiranje, izvedeno strogo:
- Začni z privzeto vrednostjo modela
- Preizkusi svoj poziv s 3–4 vrednostmi temperature (0,1; 0,4; 0,7; 0,9)
- Primerjaj rezultate v 5–10 izvedbah za vsako vrednost
- Identificiraj vrednost, ki za tvoj primer ponuja najboljše razmerje med koherenco in raznolikostjo
- Dokumentiraj izbrano nastavitev skupaj s svojim pozivom
Zadnja točka je pogosto spregledana: produkcijski poziv brez dokumentirane temperature je le delno določen poziv, kar pomeni, da ga bo kolega uporabil z drugačno nastavitvijo in se spraševal, zakaj dobiva drugačne rezultate.
Ključne ugotovitve
- Temperatura nadzira raven kreativnosti modela nasproti determinizmu
- Nizke vrednosti (0–0,3) za dejanske naloge, visoke vrednosti (0,7–1,0) za kreativne naloge
- Tudi pri temperaturi 0 so možne rahle variacije
- Eksperimentiraj z več vrednostmi, da najdeš optimalno nastavitev
- Vedno dokumentiraj uporabljeno temperaturo skupaj s svojimi pozivi v produkciji