Vai al contenuto principale
Italiano— Scegli una lingua
Menu

Iperparametri: Epoche, Learning Rate, Batch Size

Lezione 6 di 16 Aggiornata il 2 novembre 2026 Avanzato
In questa pagina
  1. Il ruolo degli iperparametri
  2. Il numero di epoche
  3. Il moltiplicatore del learning rate
  4. La batch size
  5. Un metodo di ottimizzazione
  6. Il valore “auto”
  7. Punti chiave

Aggiornamento 2 novembre 2026 — Disponibilità del fine-tuning. Il servizio di fine-tuning self-service di OpenAI sta venendo dismesso: dal 7 maggio 2026, le organizzazioni che non hanno mai eseguito un job di fine-tuning non possono più crearne uno; dal 2 luglio, devi aver utilizzato un modello sottoposto a fine-tuning negli ultimi 60 giorni; e a partire dal 6 gennaio 2027, nessun cliente potrà avviare nuovi job. I modelli già addestrati rimangono utilizzabili fino al pensionamento del loro modello base. Questo corso rimane utile per comprendere e sfruttare un modello esistente; per i nuovi progetti, dai priorità al prompt engineering, al RAG e alle valutazioni.

Il ruolo degli iperparametri

I tuoi dati descrivono cosa il modello deve imparare; gli iperparametri descrivono come impara. Per impostazione predefinita, OpenAI seleziona automaticamente valori ragionevoli in base alla dimensione del tuo dataset e, per un primo job, questa è la mossa giusta. Tuttavia, quando un modello offre prestazioni scadenti nonostante un corpus pulito, la differenza dipende quasi sempre da queste impostazioni, e modificarle manualmente può migliorare significativamente i risultati.

Il numero di epoche

Un’epoca è un passaggio completo attraverso l’intero dataset di addestramento. Più epoche esegui, più volte il modello vede ogni esempio e maggiori dettagli trattiene. Troppe poche epoche e il modello non ha imparato abbastanza: questo è underfitting e le tue risposte sembrano ancora quelle del modello base. Troppe epoche e il modello memorizza gli esempi invece di generalizzare: questo è overfitting; il modello recita le tue cento risposte di addestramento non appena una domanda assomiglia vagamente a una di esse, crollando però su formulazioni mai viste prima.

job = client.fine_tuning.jobs.create(
    training_file=training_file.id,
    model="gpt-5.6-luna",
    hyperparameters={
        "n_epochs": 3
    }
)

L’impostazione corretta dipende direttamente dal volume dei tuoi dati: meno esempi hai, più volte devi passarci sopra affinché il segnale si fissi.

Dimensione del dataset Epoche consigliate Motivo
50–100 esempi 4–8 Pochi dati, servono più passaggi
100–500 esempi 2–4 Buon equilibrio tra apprendimento e generalizzazione
500+ esempi 1–2 Dati sufficienti, rischio di overfitting

Il moltiplicatore del learning rate

Il learning rate controlla l’entità delle modifiche applicate ai pesi del modello a ogni passo di addestramento. Se impostato troppo alto, il modello corregge in modo troppo aggressivo a ogni passo, oscilla intorno alla risposta corretta e non converge; se impostato troppo basso, impara molto lentamente, o per nulla, lasciandoti alla fine dell’addestramento con un modello quasi identico a quello di partenza.

job = client.fine_tuning.jobs.create(
    training_file=training_file.id,
    model="gpt-5.6-luna",
    hyperparameters={
        "learning_rate_multiplier": 1.8
    }
)

Il valore predefinito viene calcolato automaticamente da OpenAI in base alla dimensione del tuo dataset. In pratica, l’intervallo 1,0–2,0 corrisponde a questo comportamento predefinito e si adatta alla maggior parte dei casi. Scendere a 0,5–1,0 rende l’apprendimento più cauto, il che aiuta sui dataset piccoli dove alcuni esempi atipici potrebbero deviare troppo il modello. Andare oltre 2,0 produce un apprendimento aggressivo, riservato a situazioni in cui hai osservato che il modello non si muove abbastanza, e va verificato immediatamente confrontandolo con la loss di validazione.

La batch size

La batch size determina quanti esempi vengono elaborati insieme prima di aggiornare i pesi del modello. Una batch piccola produce aggiornamenti frequenti: l’apprendimento è più rumoroso, con ogni esempio che pesa molto nella correzione, ma anche più reattivo. Una batch grande fa la media di più esempi prima di ogni correzione, risultando in aggiornamenti meno frequenti e un apprendimento più stabile: questa è la leva da azionare quando le tue curve sono instabili senza apparente motivo.

job = client.fine_tuning.jobs.create(
    training_file=training_file.id,
    model="gpt-5.6-luna",
    hyperparameters={
        "batch_size": 4
    }
)

Non devi ottimizzarli separatamente: tutti e tre i parametri vanno nello stesso dizionario.

job = client.fine_tuning.jobs.create(
    training_file=training_file.id,
    validation_file=validation_file.id,
    model="gpt-5.6-luna",
    suffix="optimise-v2",
    hyperparameters={
        "n_epochs": 3,
        "learning_rate_multiplier": 1.5,
        "batch_size": 4
    }
)

Un metodo di ottimizzazione

L’errore classico è cambiare tutti e tre i valori contemporaneamente, vedere un miglioramento e non avere idea di quale li abbia causati. Procedi in questo ordine:

  1. Prima esecuzione: lascia i valori predefiniti (auto)
  2. Analizza la loss: se la loss di addestramento scende ma la loss di validazione sale, sei in overfitting
  3. Regola un parametro alla volta: non cambiare mai tutto insieme
  4. Documenta ogni esecuzione: annota gli iperparametri e i risultati

Questo registro non è solo burocrazia. Alla terza o quarta esecuzione, una tabella che collega un ID job, gli iperparametri utilizzati e il risultato osservato batte la tua memoria ogni volta. Ecco come interpretare i sintomi più comuni.

Sintomo osservatoCorrezione da provare
La loss di addestramento non scendeAumenta il learning rate o il numero di epoche
La loss di validazione saleRiduci il numero di epoche, aumenta la batch size
Risultati instabiliRiduci il learning rate
Modello troppo simile al modello baseAumenta il numero di epoche

Il valore “auto”

Se non specifichi un iperparametro, OpenAI sceglie automaticamente un valore ottimale. Quindi non sei mai obbligato a compilare tutto: imposta ciò che vuoi controllare e lascia il resto alla regolazione automatica. Questo è spesso il miglior punto di partenza e ti fornisce una baseline con cui confrontare i tuoi successivi aggiustamenti.

# Solo n_epochs è impostato; il resto è auto
job = client.fine_tuning.jobs.create(
    training_file=training_file.id,
    model="gpt-5.6-luna",
    hyperparameters={
        "n_epochs": 3
        # learning_rate_multiplier e batch_size saranno auto
    }
)

Punti chiave

  • Inizia sempre con i valori predefiniti (auto) prima di apportare modifiche
  • n_epochs: regola per primo, in base alla dimensione dei tuoi dati
  • learning_rate_multiplier: regola se la convergenza è troppo lenta o troppo instabile
  • batch_size: regola se l’addestramento è rumoroso
  • Cambia solo un iperparametro alla volta per comprenderne l’impatto
  • Usa sempre un file di validazione per rilevare l’overfitting