Temperatura
Pe această pagină
Controlați creativitatea modelului
Până acum, ne-am concentrat pe conținutul promptului dumneavoastră. Abordăm acum o altă pârghie la fel de puternică: parametrii de generare. Primul și cel mai fundamental este temperatura. Aceasta acționează direct asupra distribuției de probabilitate a token-urilor, determinând dacă modelul se comportă determinist—producând răspunsuri predictibile, aproape identice de la o apelare la alta—sau creativ, generând rezultate variate și uneori surprinzătoare. Același prompt trimis cu două temperaturi diferite poate yielda o specificație tehnică sobră sau un text care o ia în direcții neașteptate. Înțelegerea acestui parametru este esențială pentru a adapta comportamentul modelului Mistral fiecărui caz de utilizare.
Cum funcționează temperatura
Reamintiți-vă mecanismul de bază: la fiecare pas de generare, modelul calculează o probabilitate pentru fiecare token posibil, apoi selectează unul. Temperatura modifică forma acestei distribuții înainte de selecție. Cu o temperatură scăzută, apropiată de 0, distribuția devine „ascuțită“: modelul se concentrează aproape exclusiv pe token-urile cele mai probabile, făcând răspunsurile predictibile și consistente. Întrebați-l care este capitala Italiei la temperatura 0,1 și veți obține aproape aceeași propoziție de fiecare dată.
Cu o temperatură ridicată, apropiată de 1, distribuția este invece „aplatisată“: token-urile mai puțin probabile devin din nou accesibile, modelul ia în considerare o gamă mai largă de secvențe posibile, iar răspunsurile câștigă în varietate—uneori în detrimentul coerenței. Acesta este exact ceea ce doriți pentru brainstorming și exact ceea ce trebuie să evitați pentru extragerea datelor. Tabelul următor rezumă intervalele utile.
| Temperatură | Comportament | Cazuri de utilizare |
|---|---|---|
| 0.0 | Cvasi-determinist, întotdeauna token-ul cel mai probabil | Extragere de date, clasificare, răspunsuri factuale |
| 0.1 - 0.3 | Foarte predictibil, cu ușoare variații | Generare de cod, traducere, documentație tehnică |
| 0.4 - 0.6 | Echilibru între coerență și varietate | Scriere profesională, reformulare, rezumare |
| 0.7 - 0.8 | Creativ, cu o bună coerență | Brainstorming, texte de marketing, storytelling |
| 0.9 - 1.0 | Foarte creativ, surprinzător, uneori incoerent | Poezie, ficțiune, ideare liberă, explorare |
Utilizarea temperaturii cu API-ul Mistral
În API, temperatura se transmite ca un parametru simplu al apelului. Comparați aceste două cereri: prima așteaptă un răspuns factual și stabil, a doua caută varietate.
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
# Temperatură scăzută: răspuns factual și determinist
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": "What is the ROI formula?"}],
temperature=0.1
)
# Temperatură ridicată: răspuns creativ și variat
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": "Invent a slogan for an organic coffee brand."}],
temperature=0.8
)
Temperatura 0 nu este perfect deterministă
O concepție greșită frecventă trebuie corectată imediat: chiar și cu temperature=0, răspunsurile Mistral pot prezenta ușoare variații de la o cerere la alta. Acest lucru se întâmplă din cauza factorilor hardware—calcule în virgulă mobilă, paralelizare GPU—care introduc diferențe infime de rotunjire, suficiente pentru a înclina ocazional alegerea unui token. Așadar, dacă construiți teste automate sau benchmark-uri unde reproductibilitatea este critică, nu vă bazați doar pe temperature=0: combinați o temperatură scăzută cu o verificare la nivel de cod care validează substanța răspunsului, nu forma sa exactă.
Adaptați temperatura la context
Să vedem cum se comportă această setare în trei situații profesionale tipice. Pentru clasificare sau extragere, doriți ca aceeași recenzie a clientului să producă întotdeauna același verdict: aceasta este temperatura 0.
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "system", "content": "Classify the sentiment: positive, neutral, negative."},
{"role": "user", "content": "The product works correctly."}
],
temperature=0.0
)
Pentru texte de marketing, un răspuns prea mecanic ar fi fad; la 0,7, modelul își variază formulările rămânând coerent—ideal pentru a produce mai multe cârlige (hooks) și a-l alege pe cel mai bun.
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "system", "content": "You are a creative copywriter."},
{"role": "user", "content": "Write 3 hooks for an email campaign."}
],
temperature=0.7
)
Pentru brainstorming, mergeți până la 0,9: acceptați că unele idei vor fi exagerate, deoarece le veți filtra ulterior. Zece piste cu trei excelente sunt mai bune decât cinci piste care sunt toate rezonabile și toate deja văzute.
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Propose 10 innovative feature ideas for a fitness app."}
],
temperature=0.9
)
Experimentați pentru a găsi setarea potrivită
Nu există o temperatură optimă universală: valoarea corectă depinde de promptul dumneavoastră, de modelul utilizat și de toleranța dumneavoastră la variabilitate. Singura metodă fiabilă este experimentarea, condusă riguros:
- Începeți cu valoarea implicită a modelului
- Testați promptul cu 3-4 valori de temperatură (0,1; 0,4; 0,7; 0,9)
- Comparați rezultatele pe 5-10 execuții pentru fiecare valoare
- Identificați valoarea care oferă cel mai bun raport coerență/varietate pentru cazul dumneavoastră
- Documentați setarea aleasă împreună cu promptul
Acest ultim punct este adesea neglijat: un prompt de producție fără temperatura sa documentată este un prompt specificat pe jumătate, pe care un coleg îl va reutiliza cu o setare diferită și se va întreba de ce obține rezultate diferite.
Puncte cheie
- Temperatura controlează nivelul de creativitate versus determinism al modelului
- Valori scăzute (0-0,3) pentru sarcini factuale, valori ridicate (0,7-1,0) pentru sarcini creative
- Chiar și la temperatura 0, sunt posibile ușoare variații
- Experimentați cu mai multe valori pentru a găsi setarea optimă
- Documentați întotdeauna temperatura utilizată împreună cu prompturile dumneavoastră în producție