Temperatura e Top P nel dettaglio
In questa pagina
Padroneggiare la randomizzazione dell’output
Hai già visto le basi di temperature e top_p nella Lezione 3. Ora è il momento di approfondire: come questi due parametri influenzano matematicamente la generazione, come calibrarli per casi d’uso specifici e perché combinarli è una classica fonte di problemi in produzione.
Come funziona la temperatura
A ogni passo di generazione, il modello calcola una distribuzione di probabilità sull’intero vocabolario: quale token segue e con quale probabilità. La temperatura interviene su questa distribuzione prima del campionamento, modificandone la forma.
Tra 0.0 e 0.3, la distribuzione diventa “appuntita”: il token più probabile domina massicciamente gli altri, rendendo il modello quasi deterministico. È ciò che vuoi per l’estrazione o la classificazione, dove due chiamate identiche devono produrre risultati identici. Tra 0.4 e 0.8 emerge un equilibrio tra coerenza e varietà: è l’intervallo più comune in produzione, usato per chatbot e scrittura assistita. Oltre questo limite, da 0.9 a 1.5, la distribuzione si appiattisce: token significativamente meno probabili hanno ora una chance realistica di essere selezionati. La creatività aumenta, ma anche il rischio di incoerenza, ed entrambi crescono insieme.
Il seguente esperimento rende tangibile questo fenomeno usando una frase volutamente banale.
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))
prompt = [
{"role": "system", "content": "Complete the sentence with a single word."},
{"role": "user", "content": "The color of the sky is..."}
]
# Temperature 0 — always the same response
for i in range(3):
r = client.chat.complete(model="mistral-large-latest", messages=prompt, temperature=0.0, max_tokens=5)
print(f"T=0.0 trial {i+1}: {r.choices[0].message.content}")
# blue, blue, blue
# Temperature 1.5 — varied responses
for i in range(3):
r = client.chat.complete(model="mistral-large-latest", messages=prompt, temperature=1.5, max_tokens=5)
print(f"T=1.5 trial {i+1}: {r.choices[0].message.content}")
# blue, azure, turquoise (varies)
È necessaria una precisazione riguardo a temperature=0: anche a questo valore, possono apparire lievi variazioni tra due chiamate. La causa non risiede nel modello, ma nell’hardware: le operazioni in virgola mobile sulle GPU non garantiscono un ordine di valutazione identico a ogni esecuzione, e una discrepanza di arrotondamento è talvolta sufficiente a far pendere la scelta tra due token quasi equiprobabili. Se il tuo caso d’uso richiede la massima riproducibilità, combina temperature=0 con un random_seed quando il modello lo supporta.
Come funziona Top P (campionamento del nucleo)
Top P agisce dopo la temperatura, sulla distribuzione che questa ha già rimodellato. Il suo principio non è distorcere le probabilità, ma troncare la lista dei candidati, mantenendo solo i token la cui somma cumulativa delle probabilità raggiunge la soglia P. L’intera sequenza si svolge in quattro passaggi:
- Il modello calcola le probabilità per ogni token
- La temperatura modifica queste probabilità
- I token vengono ordinati per probabilità decrescente
- Top P mantiene i token finché non viene raggiunta la soglia cumulativa
Concretamente, un top_p di 0.1 lascia in vita solo una manciata di candidati: utile quando la risposta attesa è fattuale e quasi unica. A 0.95, quasi l’intero vocabolario plausibile rimane in gara, il che si adatta a una richiesta di invenzione.
# Top P = 0.1 — very restrictive, only the most probable tokens
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": "The capital of France is"}],
temperature=0.7,
top_p=0.1 # Only the top 10% of the probability mass
)
# Top P = 0.95 — broad, almost all tokens considered
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": "Invent a new word for a feeling."}],
temperature=0.7,
top_p=0.95
)
La regola d’oro: un parametro alla volta
Mistral raccomanda esplicitamente di non regolare temperatura e top_p simultaneamente. La ragione deriva da quanto precede: entrambi agiscono sulla stessa distribuzione, uno distorcendola, l’altro tagliandola. I loro effetti si moltiplicano in modi imprevedibili e perdi ogni capacità di attribuire un cambiamento comportamentale all’uno o all’altro durante i test. Scegli la tua leva e lascia l’altra al suo valore predefinito.
# GOOD — adjust temperature, top_p default
response = client.chat.complete(
model="mistral-large-latest",
messages=messages,
temperature=0.3 # top_p remains at 1.0 by default
)
# GOOD — adjust top_p, temperature default
response = client.chat.complete(
model="mistral-large-latest",
messages=messages,
top_p=0.5 # temperature remains at 0.7 by default
)
# AVOID — both at the same time
response = client.chat.complete(
model="mistral-large-latest",
messages=messages,
temperature=0.2,
top_p=0.5 # Unpredictable interaction
)
Calibrazione per caso d’uso
Piuttosto che scegliere una temperatura ad hoc, dai un nome alle tue configurazioni e ragiona per obiettivo. Estrazione e classificazione mirano a una risposta esatta e riproducibile, quindi 0.0. Il riassunto rimane fedele al testo sorgente con un po’ di fluidità, quindi 0.3. La scrittura assistita cerca naturalezza senza creatività superflua, a 0.5; i chatbot conversazionali necessitano di risposte varie, a 0.7; il brainstorming richiede massima creatività, a 1.2. In tutti i casi, top_p rimane a 1.0, in conformità con la regola precedente.
# Data Extraction / Classification
# Objective: exact, reproducible response
CONFIG_EXTRACTION = {"temperature": 0.0, "top_p": 1.0}
# Summarization / Reformulation
# Objective: faithful to source text with some fluidity
CONFIG_SUMMARY = {"temperature": 0.3, "top_p": 1.0}
# Assisted Writing / Professional Email
# Objective: natural but not too creative
CONFIG_WRITING = {"temperature": 0.5, "top_p": 1.0}
# Conversational Chatbot
# Objective: varied and natural responses
CONFIG_CHATBOT = {"temperature": 0.7, "top_p": 1.0}
# Brainstorming / Idea Generation
# Objective: maximum creativity
CONFIG_CREATIVE = {"temperature": 1.2, "top_p": 1.0}
# Usage
def smart_complete(client, messages, task_type="chatbot"):
configs = {
"extraction": CONFIG_EXTRACTION,
"summary": CONFIG_SUMMARY,
"writing": CONFIG_WRITING,
"chatbot": CONFIG_CHATBOT,
"creative": CONFIG_CREATIVE,
}
config = configs.get(task_type, CONFIG_CHATBOT)
return client.chat.complete(
model="mistral-large-latest",
messages=messages,
**config
)
Sperimentare metodicamente
Questi valori sono punti di partenza, non verità assolute. Per trovare l’impostazione giusta per il tuo compito specifico, devi misurare, e un singolo tentativo per temperatura non misura nulla. La funzione seguente esegue cinque generazioni per ogni valore testato e conta le risposte uniche: questo è il tuo indicatore di diversità. Un compito che produce 5/5 risposte uniche a T=0.3 segnala un prompt troppo aperto, ben più di una temperatura mal scelta.
def test_temperature_range(client, messages, temperatures):
"""Tests multiple temperatures on the same prompt."""
results = []
for temp in temperatures:
responses = []
for _ in range(5): # 5 trials per temperature
r = client.chat.complete(
model="mistral-large-latest",
messages=messages,
temperature=temp,
max_tokens=200
)
responses.append(r.choices[0].message.content)
# Measure diversity
unique = len(set(responses))
results.append({
"temperature": temp,
"unique_responses": unique,
"sample": responses[0][:100]
})
for r in results:
print(f"T={r['temperature']:.1f} | {r['unique_responses']}/5 unique | {r['sample']}...")
# Test
test_temperature_range(
client,
[{"role": "user", "content": "Give a productivity tip."}],
[0.0, 0.3, 0.7, 1.0, 1.5]
)
Punti chiave
- La temperatura modifica la forma della distribuzione di probabilità dei token
- Top P tronca la distribuzione mantenendo solo i token più probabili
- Non regolare mai entrambi simultaneamente: modifica un parametro, lascia l’altro al valore predefinito
temperature=0non è perfettamente deterministico a causa dell’arrotondamento GPU- Calibra con test metodici: 5+ tentativi per configurazione, misura la diversità