Temperatur
På denna sida
Styr modellens kreativitet
Hittills har vi fokuserat på innehållet i din prompt. Nu tar vi itu med en annan lika kraftfull hävstång: genereringsparametrar. Den första och mest grundläggande är temperatur. Den påverkar direkt sannolikhetsfördelningen för token och avgör om modellen beter sig deterministiskt – vilket ger förutsägbara, nästan identiska svar från en anrop till nästa – eller kreativt, vilket genererar varierade och ibland överraskande resultat. Samma prompt skickad med två olika temperaturer kan ge en nykter teknisk specifikation eller en text som går i oväntade riktningar. Att förstå denna parameter är avgörande för att anpassa Mistral-modellens beteende till varje användningsfall.
Hur temperatur fungerar
Kom ihåg den grundläggande mekanismen: vid varje genereringssteg beräknar modellen en sannolikhet för varje möjlig token och väljer sedan en. Temperatur modifierar formen på denna fördelning innan valet görs. Med en låg temperatur, nära 0, blir fördelningen “skarp”: modellen fokuserar nästan uteslutande på de mest sannolika token, vilket gör svaren förutsägbara och konsekventa. Be den om Italiens huvudstad vid temperatur 0,1 så får du nästan samma mening varje gång.
Med en hög temperatur, nära 1, “plattas” fördelningen istället ut: mindre sannolika token blir åter tillgängliga, modellen beaktar ett bredare spektrum av möjliga sekvenser och svaren får mer variation – ibland på bekostnad av sammanhanget. Detta är exakt vad du vill ha vid brainstorming, och exakt vad du vill undvika vid dataextraktion. Följande tabell sammanfattar de användbara intervallen.
| Temperatur | Beteende | Användningsområden |
|---|---|---|
| 0.0 | Kvasi-deterministiskt, alltid det mest sannolika token | Dataextraktion, klassificering, faktasvar |
| 0.1 - 0.3 | Mycket förutsägbart med små variationer | Kodgenerering, översättning, teknisk dokumentation |
| 0.4 - 0.6 | Balans mellan sammanhang och variation | Professionellt skrivande, omformulering, sammanfattning |
| 0.7 - 0.8 | Kreativt med god sammanhållning | Brainstorming, marknadsföringstext, berättande |
| 0.9 - 1.0 | Mycket kreativt, överraskande, ibland osammanhängande | Poesi, fiktion, fri idégenerering, utforskning |
Använd temperatur med Mistral API
I API:t skickas temperatur som en enkel anropsparameter. Jämför dessa två förfrågningar: den första förväntar sig ett faktamässigt och stabilt svar, den andra söker variation.
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
# Låg temperatur: faktamässigt och deterministiskt svar
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": "What is the ROI formula?"}],
temperature=0.1
)
# Hög temperatur: kreativt och varierat svar
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": "Invent a slogan for an organic coffee brand."}],
temperature=0.8
)
Temperatur 0 är inte perfekt deterministiskt
En vanlig missuppfattning måste rättas till direkt: även med temperature=0 kan Mistral-svar visa små variationer från en förfrågan till en annan. Detta beror på hårdvarufaktorer – flyttalsberäkningar, GPU-parallelisering – som introducerar tiny skillnader i avrundning, tillräckligt för att ibland tippa valet av ett token. Så om du bygger automatiserade tester eller benchmark där reproducerbarhet är avgörande, förlita dig inte enbart på temperature=0: kombinera en låg temperatur med en kontroll på kodsidan som validerar innehållet i svaret snarare än dess exakta form.
Anpassa temperatur till kontexten
Låt oss se hur denna inställning spelar ut sig i tre typiska professionella situationer. För klassificering eller extraktion vill du att samma kundrecension alltid ska ge samma omdöme: det är temperatur 0.
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "system", "content": "Classify the sentiment: positive, neutral, negative."},
{"role": "user", "content": "The product works correctly."}
],
temperature=0.0
)
För marknadsföringstext skulle ett alltför mekaniskt svar bli platt; vid 0,7 varierar modellen sina formuleringar samtidigt som den håller sig sammanhängande – idealiskt för att producera flera hooks och välja den bästa.
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "system", "content": "You are a creative copywriter."},
{"role": "user", "content": "Write 3 hooks for an email campaign."}
],
temperature=0.7
)
För brainstorming slutligen, gå upp till 0,9: du accepterar att vissa idéer kommer att vara långsökta, eftersom du kommer att filtrera dem senare. Tio leads med tre utmärkta är bättre än fem leads som alla är rimliga och alla redan sedda.
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Propose 10 innovative feature ideas for a fitness app."}
],
temperature=0.9
)
Experimentera för att hitta rätt inställning
Det finns ingen universellt optimal temperatur: rätt värde beror på din prompt, din modell och din tolerans för variabilitet. Den enda tillförlitliga metoden är experiment, genomförda noggrant:
- Börja med modellens standardvärde
- Testa din prompt med 3–4 temperaturvärden (0,1, 0,4, 0,7, 0,9)
- Jämför resultaten över 5–10 körningar för varje värde
- Identifiera det värde som erbjuder bäst förhållande mellan sammanhang och variation för ditt fall
- Dokumentera den valda inställningen tillsammans med din prompt
Denna sista punkt förbises ofta: en produktionsprompt utan dokumenterad temperatur är en halvspecificerad prompt, vilket gör att din kollega kommer att återanvända den med en annan inställning och undra varför de får olika resultat.
Viktiga punkter
- Temperatur styr modellens nivå av kreativitet kontra determinism
- Låga värden (0–0,3) för faktamässiga uppgifter, höga värden (0,7–1,0) för kreativa uppgifter
- Även vid temperatur 0 är små variationer möjliga
- Experimentera med flera värden för att hitta den optimala inställningen
- Dokumentera alltid den temperatur som används tillsammans med dina promptar i produktion