Temperatūra
Šiame puslapyje
Valdyk modelio kūrybiškumą
Iki šiol daugiausia dėmesio skyrei savo užklausos turiniui. Dabar nagrinėsime kitą, vienodai galingą svertą – generavimo parametrus. Pirmasis ir svarbiausias iš jų yra temperatūra. Ji tiesiogiai veikia tokenų tikimybių pasiskirstymą ir lemia, ar modelis elgsis deterministiškai (kiekvieną kartą generuos prognozuojamus, beveik identiškus atsakymus), ar kūrybiškai (kurs įvairius ir kartais netikėtus tekstus). Tas pats užklausos tekstas, siunčiamas su skirtingomis temperatūros reikšmėmis, gali duoti arba sausą techninę specifikaciją, arba tekstą, kuris nukryps netikėtomis kryptimis. Suprasti šį parametrą būtina norint pritaikyti „Mistral“ modelio elgseną kiekvienam konkrečiam atvejui.
Kaip veikia temperatūra
Prisimink pagrindinį mechanizmą: kiekviename generavimo žingsnyje modelis apskaičiuoja kiekvieno galimo tokeno tikimybę ir tada vieną jų pasirenka. Temperatūra prieš šį pasirinkimą pakeičia tikimybių pasiskirstymo formą. Esant žemai temperatūrai (artimai 0), pasiskirstymas tampa „smailus“: modelis beveik išimtinai renkasi tikimiausius tokenus, todėl atsakymai tampa prognozuojami ir nuoseklūs. Paprašyk jo Italijos sostinės esant 0,1 temperatūrai, ir kiekvieną kartą gausi beveik tą patį sakinį.
Esant aukštai temperatūrai (artimai 1), pasiskirstymas, priešingai, „išsilygina“: mažiau tikėtini tokenai vėl tampa prieinami, modelis svarsto platesnį galimų sekčių spektrą, o atsakymai įgauna įvairovės – kartais net nuoseklumo sąskaita. Būtent to nori, kai generuoji idėjas, ir būtent to turi vengti, kai išgauti duomenis. Toliau pateiktoje lentelėje apibendrintos naudingos reikšmių sritys.
| Temperatūra | Elgsena | Naudojimo atvejai |
|---|---|---|
| 0.0 | Beveik deterministinė, visada renkamas tikimiausias tokenas | Duomenų išgavimas, klasifikavimas, faktiniai atsakymai |
| 0.1 - 0.3 | Labai prognozuojama su nedideliais svyravimais | Kodo generavimas, vertimas, techninė dokumentacija |
| 0.4 - 0.6 | Balansas tarp nuoseklumo ir įvairovės | Profesionalus rašymas, performulavimas, santraukų kūrimas |
| 0.7 - 0.8 | Kūrybiška, išlaikant gerą nuoseklumą | Idėjų generavimas, rinkodaros tekstai, pasakojimai |
| 0.9 - 1.0 | Labai kūrybiška, stebinanti, kartais nenuosekli | Poezija, grožinė literatūra, laisvas idėjų kūrimas, tyrinėjimai |
Temperatūros naudojimas su „Mistral“ API
API sąsajoje temperatūra perduodama kaip paprastas užklausos parametras. Palygink šiuos du prašymus: pirmasis tikisi faktinio ir stabilaus atsakymo, antrasis siekia įvairovės.
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
# Žema temperatūra: faktinis ir deterministinis atsakymas
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": "What is the ROI formula?"}],
temperature=0.1
)
# Aukšta temperatūra: kūrybiškas ir įvairus atsakymas
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": "Invent a slogan for an organic coffee brand."}],
temperature=0.8
)
Temperatūra 0 nėra visiškai deterministinė
Reikia iškart ištaisyti vieną dažną klaidingą nuomonę: net ir nustatžius temperature=0, „Mistral“ atsakymai gali šiek tiek skirtis nuo vieno prašymo kito. Taip nutinka dėl techninių veiksnių – slankiojo kablelio skaičiavimų, GPU lygiagretinimo – kurie įneša menkų apvalinimo skirtumų, pakankamų kartais nulemti kito tokeno pasirinkimą. Todėl, jei kuri automatizuotus testus ar lyginamuosius vertinimus, kuriuose kritiškai svarbus atkuriamumas, nesiremk vien temperature=0: derink žemą temperatūrą su kodu lygio patikra, kuri vertintų atsakymo esmę, o ne jo tikslią formą.
Pritaikyk temperatūrą kontekstui
Pažiūrėkime, kaip šis nustatymas veikia trijose tipinėse profesinėse situacijose. Klasifikuojant ar išgaunant duomenis, nori, kad ta pati kliento apžvalga visada duotų tą pačią išvadą: tam skirta 0 temperatūra.
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "system", "content": "Classify the sentiment: positive, neutral, negative."},
{"role": "user", "content": "The product works correctly."}
],
temperature=0.0
)
Kuriant rinkodaros tekstus, per daug mechaniškas atsakymas būtų blankus; esant 0,7 temperatūrai, modelis keičia frazuotę, bet išlaiko nuoseklumą – tai idealu norint sugeneruoti kelis variantus ir pasirinkti geriausią.
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "system", "content": "You are a creative copywriter."},
{"role": "user", "content": "Write 3 hooks for an email campaign."}
],
temperature=0.7
)
Galiausiai, generuodamas idėjas, drąsiai kelsk iki 0,9: sutinki, kad kai kurios idėjos bus pernelyg drąsios, nes jas vėliau atrinksi. Dešimt variantų, iš kurių trys puikūs, yra geriau nei penki variantai, kurie visi protingi, bet visi jau matyti.
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Propose 10 innovative feature ideas for a fitness app."}
],
temperature=0.9
)
Eksperimentuok, kad rastum tinkamą nustatymą
Nėra universaliai optimalios temperatūros: tinkama reikšmė priklauso nuo tavo užklausos, naudojamo modelio ir tolerancijos kintamumui. Vienintelis patikimas būdas – eksperimentuoti, tai darant griežtai:
- Pradėk nuo numatytosios modelio reikšmės.
- Išbandyk savo užklausą su 3–4 temperatūros reikšmėmis (0,1; 0,4; 0,7; 0,9).
- Palygink rezultatus po 5–10 vykdymų kiekvienai reikšmei.
- Nustatyk reikšmę, kuri tavo atveju suteikia geriausią nuoseklumo ir įvairovės santykį.
- Užfiksuok pasirinktą nustatymą kartu su savo užklausa.
Šis paskutinis punktas dažnai pamirštamas: gamybinė užklausa, kurios temperatūra nėra dokumentuota, yra tik pusiau apibrėžta užklausa. Tavo kolega ją naudos su kitu nustatymu ir stebėsis, kodėl gauna kitokius rezultatus.
Svarbiausi punktai
- Temperatūra valdo modelio kūrybiškumo ir determinizmo lygį.
- Žemos reikšmės (0–0,3) skirtos faktinėms užduotims, aukštos (0,7–1,0) – kūrybinėms.
- Net ir esant 0 temperatūrai, galimi nedideli svyravimai.
- Eksperimentuok su keliomis reikšmėmis, kad rastum optimalų nustatymą.
- Gamyboje visada dokumentuok naudojamą temperatūrą kartu su savo užklausomis.