Vai al contenuto principale
Italiano— Scegli una lingua
Menu

Top P e campionamento del nucleo

Lezione 10 di 16 Aggiornata il 2 novembre 2026 Principiante
In questa pagina
  1. Una seconda leva per controllare la generazione
  2. Come funziona il Top P
  3. Top P contro Temperatura: qual è la differenza?
  4. Utilizzo del Top P con l’API Mistral
  5. Quando regolare il Top P
  6. La regola pratica: regola un parametro alla volta
  7. Punti chiave

Una seconda leva per controllare la generazione

La lezione precedente ti ha fornito la prima leva per controllare la generazione: la temperatura. Il Top P, chiamato anche campionamento del nucleo, ne è il complemento naturale. Mentre la temperatura modifica l’intera distribuzione di probabilità, il Top P agisce come un filtro che limita il numero di token candidati. Entrambi i parametri influenzano la diversità della risposta, ma attraverso meccanismi molto diversi: è proprio questa differenza che ti permetterà di affinare il comportamento del modello Mistral invece di girare manopole a caso.

Come funziona il Top P

Ripercorriamo insieme il processo di generazione. A ogni passo, il modello calcola una probabilità per ogni token possibile. Il Top P interviene in tre fasi: innanzitutto, le probabilità vengono aggiustate dalla temperatura; poi, i token vengono ordinati per probabilità decrescente e le loro probabilità vengono sommate cumulativamente; infine, vengono mantenuti solo i token la cui probabilità cumulativa non supera la soglia del Top P. L’estrazione finale avviene esclusivamente tra questi sopravvissuti.

Un esempio chiarisce il meccanismo. Immagina che il modello debba scegliere la parola successiva dopo “The cat is on the”:

TokenProbabilitàCumulativa
roof0.350.35
bed0.250.60
sofa0.150.75
floor0.100.85
ledge0.050.90
wall0.030.93
………

Con Top P = 0.75, vengono mantenuti solo “roof”, “bed” e “sofa”, poiché la loro somma cumulativa raggiunge esattamente 0.75: il modello sceglierà esclusivamente tra queste tre opzioni. Con Top P = 0.90, entrano in gioco anche “floor” e “ledge”. La regola generale è chiara dalla tabella: più alto è il Top P, più candidati vengono considerati.

Top P contro Temperatura: qual è la differenza?

Dato che entrambi i parametri controllano la diversità, potresti pensare che siano intercambiabili. Non lo sono. La temperatura cambia la forma della distribuzione: un valore alto appiattisce la curva e rende i token improbabili gradualmente più accessibili, senza mai escluderne nessuno. Il Top P, invece, taglia la distribuzione: i token al di sotto della soglia vengono ignorati del tutto, indipendentemente dalla loro probabilità residua.

Tieni a mente questa immagine: la temperatura è un’impostazione “morbida”, che si regola gradualmente, mentre il Top P è un’impostazione “netta”, che include o esclude. Nei testi creativi, un’alta temperatura combinata con un Top P moderato permette fantasia prevenendo allo stesso tempo la deriva verso token davvero improbabili: questa è spesso la combinazione più efficace.

Utilizzo del Top P con l’API Mistral

Nel codice, il parametro viene semplicemente aggiunto alla chiamata, insieme alla temperatura:

from mistralai.client import Mistral

client = Mistral(api_key="your-api-key")

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "Propose a name for an AI startup."}
    ],
    temperature=0.7,
    top_p=0.9
)

Quando regolare il Top P

Un Top P basso, tra 0.1 e 0.5, concentra il modello sulle opzioni più probabili: massima precisione. Questa è la scelta giusta quando la risposta attesa appartiene a un insieme chiuso, come in questa classificazione rigorosa:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "system", "content": "Respond only with: positive, neutral, or negative."},
        {"role": "user", "content": "Classify: The product arrived in good condition."}
    ],
    temperature=0.0,
    top_p=0.3
)

Un Top P medio, tra 0.5 e 0.8, si adatta alla maggior parte dei compiti professionali: il testo rimane coerente senza diventare monotono. Questo è il regime ideale per un report, un riassunto o l’introduzione di un documento:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "Write the introduction for a report on cybersecurity in SMEs."}
    ],
    temperature=0.5,
    top_p=0.7
)

Infine, un Top P alto, tra 0.8 e 1.0, apre il campo alla creatività e all’esplorazione di idee: accetti candidati meno probabili per ottenere proposte fuori dagli schemi:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "Invent 5 innovative restaurant concepts."}
    ],
    temperature=0.9,
    top_p=0.95
)

La regola pratica: regola un parametro alla volta

La documentazione di Mistral raccomanda un approccio metodico che dovresti adottare fin dai primi test: imposta il Top P a 1.0 (nessun filtro) e regola solo la temperatura, oppure imposta la temperatura a 1.0 e regola solo il Top P; solo successivamente affina il secondo parametro se necessario. La ragione è semplice: se modifichi entrambi simultaneamente e il comportamento cambia, non saprai quale dei due ne sia responsabile. È lo stesso riflesso del debug: cambi una sola variabile alla volta.

Per darti punti di partenza concreti: l’estrazione di dati o l’output JSON si impostano tipicamente su temperature=0.0, top_p=1.0; la scrittura professionale su temperature=0.4, top_p=0.9; la generazione creativa su temperature=0.8, top_p=0.95; e il codice o i contenuti tecnici su temperature=0.2, top_p=0.9. Questi valori sono solo punti di partenza: la sperimentazione rimane essenziale per il tuo caso d’uso specifico.

Punti chiave

  • Il Top P filtra i token candidati in base a una soglia di probabilità cumulativa
  • A differenza della temperatura che ammorbidisce la distribuzione, il Top P la taglia
  • Regola un parametro alla volta per comprenderne l’impatto
  • Top P basso = risposte focalizzate, Top P alto = risposte variegate
  • Inizia con la sola temperatura, aggiungi il Top P per affinare