Temperatura
Na ovoj stranici
Kontroliraj kreativnost modela
Do sada smo se fokusirali na sadržaj tvojih promptova. Sada prelazimo na drugu jednako moćnu polugu: parametre generiranja. Prvi i najtemeljniji parametar je temperatura. Ona izravno djeluje na distribuciju vjerojatnosti tokena, određujući hoće li se model ponašati deterministički – proizvodeći predvidljive, gotovo identične odgovore iz poziva u poziv – ili kreativno, generirajući raznolike i ponekad iznenađujuće rezultate. Isti prompt poslan s dvije različite temperature može rezultirati suhom tehničkom specifikacijom ili tekstom koji kreće u neočekivanim smjerovima. Razumijevanje ovog parametra ključno je za prilagodbu ponašanja Mistral modela svakom slučaju upotrebe.
Kako temperatura funkcionira
Sjeti se osnovnog mehanizma: u svakom koraku generiranja model izračunava vjerojatnost za svaki mogući token, a zatim odabire jedan. Temperatura modificira oblik te distribucije prije odabira. Uz nisku temperaturu, blizu 0, distribucija postaje „oštra“: model se fokusira gotovo isključivo na najvjerojatnije tokene, čineći odgovore predvidljivima i dosljednima. Ako ga pitaš za glavni grad Italije na temperaturi 0.1, gotovo svaki put dobit ćeš istu rečenicu.
Uz visoku temperaturu, blizu 1, distribucija se umjesto toga „izravnava“: manje vjerojatni tokeni ponovno postaju dostupni, model razmatra širi raspon mogućih nizova, a odgovori dobivaju na raznolikosti – ponekad na uštrb koherencije. To je točno ono što želiš za oluju ideja, a točno ono što želiš izbjeći pri ekstrakciji podataka. Sljedeća tablica sažima korisne raspone.
| Temperatura | Ponašanje | Slučajevi upotrebe |
|---|---|---|
| 0.0 | Kvazi-deterministički, uvijek najvjerojatniji token | Ekstrakcija podataka, klasifikacija, činjenični odgovori |
| 0.1 - 0.3 | Vrlo predvidljivo s blagim varijacijama | Generiranje koda, prijevod, tehnička dokumentacija |
| 0.4 - 0.6 | Ravnoteža između koherencije i raznolikosti | Profesionalno pisanje, preformuliranje, sažimanje |
| 0.7 - 0.8 | Kreativno uz dobru koherenciju | Oluja ideja, marketinški tekstovi, pripovijedanje |
| 0.9 - 1.0 | Vrlo kreativno, iznenađujuće, ponekad nekoherentno | Poezija, fikcija, slobodno generiranje ideja, istraživanje |
Koristi temperaturu s Mistral API-jem
U API-ju se temperatura prosljeđuje kao jednostavan parametar poziva. Usporedi ova dva zahtjeva: prvi očekuje činjeničan i stabilan odgovor, drugi traži raznolikost.
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
# Niska temperatura: činjeničan i deterministički odgovor
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": "What is the ROI formula?"}],
temperature=0.1
)
# Visoka temperatura: kreativan i raznolik odgovor
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": "Invent a slogan for an organic coffee brand."}],
temperature=0.8
)
Temperatura 0 nije savršeno deterministička
Jednu čestu zabludu treba odmah ispraviti: čak i uz temperature=0, Mistral odgovori mogu pokazati blage varijacije od jednog zahtjeva do drugog. To se događa zbog hardverskih faktora – računanja s pomičnim zarezom, paralelizacije GPU-a – koji uvode sitne razlike u zaokruživanju, dovoljne da povremeno prevagnu izbor tokena. Dakle, ako gradiš automatizirane testove ili referentne vrijednosti gdje je reproduktivnost ključna, nemoj se oslanjati samo na temperature=0: kombiniraj nisku temperaturu s provjerom na strani koda koja validira suštinu odgovora, a ne njegov točan oblik.
Prilagodi temperaturu kontekstu
Pogledajmo kako se ova postavka očituje u tri tipične profesionalne situacije. Za klasifikaciju ili ekstrakciju želiš da ista recenzija kupca uvijek donese istu presudu: to je temperatura 0.
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "system", "content": "Classify the sentiment: positive, neutral, negative."},
{"role": "user", "content": "The product works correctly."}
],
temperature=0.0
)
Za marketinške tekstove, previše mehanički odgovor bio bi bezukusan; na 0.7 model varira fraziranje dok ostaje koherentan – idealno za proizvodnju nekoliko uvodnih rečenica i odabir najbolje.
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "system", "content": "You are a creative copywriter."},
{"role": "user", "content": "Write 3 hooks for an email campaign."}
],
temperature=0.7
)
Za oluju ideja na kraju, idi do 0.9: prihvaćaš da će neke ideje biti dalekosežne, jer ćeš ih kasnije filtrirati. Deset potencijalnih ideja s tri izvrsne bolje je od pet ideja koje su sve razumne i sve već viđene.
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Propose 10 innovative feature ideas for a fitness app."}
],
temperature=0.9
)
Eksperimentiraj kako bi pronašao pravu postavku
Ne postoji univerzalno optimalna temperatura: prava vrijednost ovisi o tvom promptu, tvom modelu i tvojoj toleranciji na varijabilnost. Jedina pouzdana metoda je eksperimentiranje, provedeno rigorozno:
- Kreni s zadanim modelom
- Testiraj svoj prompt s 3-4 vrijednosti temperature (0.1, 0.4, 0.7, 0.9)
- Usporedi rezultate kroz 5-10 izvršavanja za svaku vrijednost
- Identificiraj vrijednost koja nudi najbolji omjer koherencije i raznolikosti za tvoj slučaj
- Dokumentiraj odabranu postavku uz svoj prompt
Ova posljednja točka često se zanemaruje: produkcijski prompt bez dokumentirane temperature je napola specificiran prompt, koji će tvoj kolega ponovno upotrijebiti s drugačijom postavkom i pitati se zašto dobiva različite rezultate.
Ključne točke
- Temperatura kontrolira razinu kreativnosti naspram determinizma modela
- Niske vrijednosti (0–0.3) za činjenične zadatke, visoke vrijednosti (0.7–1.0) za kreativne zadatke
- Čak i na temperaturi 0 moguće su blage varijacije
- Eksperimentiraj s nekoliko vrijednosti kako bi pronašao optimalnu postavku
- Uvijek dokumentiraj korištenu temperaturu uz svoje promptove u produkciji