Benchmark e valutazioni: leggere tra le righe
In questa pagina
Perché i benchmark contano (e perché non bastano)
Ogni nuovo modello viene accompagnato da una tabella di punteggi ottenuti su benchmark standardizzati; queste cifre circolano immutate negli articoli di stampa e nelle presentazioni interne. Sono utili: ti danno una prima idea delle capacità e ti aiutano a posizionare un modello nel panorama attuale. Tuttavia, diventano fuorvianti non appena li leggi senza sapere cosa misurano realmente. Questa lezione ti mostra come interpretarli con lo sguardo di un professionista, lontano dall’entusiasmo dei comunicati stampa.
Cosa misurano i benchmark standard
MMLU (Massive Multitask Language Understanding) valuta la conoscenza generale di un modello su 57 domini — storia, fisica, diritto, medicina, informatica — tramite domande a scelta multipla. Misura l’estensione della conoscenza fattuale, e nient’altro: non la capacità di ragionamento, non l’abilità di seguire istruzioni complesse, né la qualità della scrittura. I modelli migliori superano ormai l’85-90%, il che significa anche che il benchmark discrimina meno efficacemente ai vertici della classifica. Un modello eccellente su MMLU può comunque fallire nello scrivere un riassunto ejecutivo leggibile.
HumanEval testa la generazione di codice Python funzionale a partire da una descrizione in linguaggio naturale, mentre MBPP (Mostly Basic Python Problems) fa lo stesso con problemi più semplici. Questi benchmark misurano la capacità di scrivere una funzione isolata corretta. Non dicono nulla sulla capacità di lavorare in un codebase esistente, di fare debug di comportamenti inaspettati o di architettare un progetto: il cuore del mestiere. Esistono varianti, come HumanEval+ con test più severi, e MultiPL-E per coprire più linguaggi.
LMArena, precedentemente Chatbot Arena, funziona diversamente: utenti reali pongono domande a due modelli anonimi e votano la risposta migliore; la classifica si basa su un sistema Elo mutuato dagli scacchi. Questa configurazione misura la qualità percepita in conversazioni libere, rendendola il benchmark più vicino all’uso reale. Il suo punto debole è speculare: non dice nulla sulle prestazioni in un compito tecnico preciso e favorisce meccanicamente le risposte piacevoli da leggere.
Altre valutazioni completano il quadro a seconda della capacità target. GSM8K e MATH si concentrano sulla risoluzione di problemi matematici, ARC sul ragionamento scientifico di livello secondario, HellaSwag sul completamento di scenari di senso comune, TruthfulQA sulla resistenza alle allucinazioni e alla disinformazione, e CTO Bench su compiti di coding end-to-end molto più realistici di HumanEval.
Quattro regole per leggere una scheda di valutazione
La prima regola è confrontare elementi comparabili. Confrontare un modello da 3 miliardi di parametri con uno da 70 miliardi sulle stesse colonne ha poco senso se si ignora il divario di dimensioni e costi. La domanda rilevante non è mai «chi ha il punteggio migliore», ma «a parità di budget, quale modello offre i risultati migliori».
La seconda regola ti invita a diffidare dei miglioramenti marginali. Un divario di uno o due punti su MMLU tra due modelli è generalmente insignificante: i benchmark hanno una varianza naturale e questa differenza non si tradurrà in nulla di percepibile per i tuoi utenti. Eppure, fa eccellenti titoli per i comunicati stampa.
La terza regola è cercare la coerenza. Un modello che eccelle in un benchmark e rimane nella media ovunque dovrebbe accendere un campanello d’allarme; i modelli solidi mostrano prestazioni regolari su tutte le valutazioni.
La quarta regola è verificare la data. I punteggi pubblicati al lancio di un modello potrebbero non essere più rappresentativi pochi mesi dopo, perché sono arrivati nuovi concorrenti e le metodologie di valutazione sono evolute. Una tabella senza data in una presentazione commerciale dovrebbe spingerti a chiedere da dove proviene.
Tre limiti strutturali
La contaminazione è il più insidioso. I modelli sono addestrati su enormi corpora testuali che possono contenere le domande e le risposte stesse dei benchmark. Un punteggio elevato potrebbe quindi riflettere la memorizzazione piuttosto che la capacità di ragionamento, senza alcuna malizia.
La rappresentatività pone un problema diverso: i benchmark standardizzati non riflettono il tuo caso d’uso. Un modello che eccelle su MMLU potrebbe rivelarsi mediocre nella scrittura di email aziendali in francese, semplicemente perché nessuno ha mai valutato questo compito. I benchmark misurano capacità generiche, mai le prestazioni nel tuo contesto.
L’ottimizzazione, infine, è una conseguenza prevedibile dell’hype attorno alle classifiche. I laboratori conoscono i benchmark e possono orientare l’addestramento per ottenere buoni risultati su di essi, talvolta a scapito di altri compiti. È il fenomeno del «teaching to the test», ben documentato anche fuori dall’intelligenza artificiale.
Incrocia le fonti, poi testa tu stesso
Invece di affidarti esclusivamente alle cifre pubblicate da un provider — Mistral come qualsiasi altro — incrociale con classifiche indipendenti. Artificial Analysis confronta qualità, prezzo, velocità e latenza su basi omogenee. LMArena riflette la preferenza umana in condizioni reali. La Scale AI Leaderboard si concentra su coding, rispetto delle istruzioni e matematica. Le classifiche di OpenRouter si basano sull’uso effettivo, quindi su ciò per cui gli sviluppatori scelgono effettivamente di pagare. CTO Bench, infine, offre compiti di coding end-to-end realistici.
Tuttavia, l’unica valutazione che guida davvero la tua decisione è quella che conduci con i tuoi dati, i tuoi casi d’uso e i tuoi criteri di qualità. Il metodo si riduce a sei passaggi:
- Costruisci un set di test di 20-50 esempi rappresentativi del tuo uso reale
- Definisci esplicitamente i tuoi criteri di qualità (accuratezza, tono, completezza, formato)
- Testa 2 o 3 modelli candidati su questo stesso set
- Valuta in cieco se possibile, senza sapere quale modello ha prodotto quale risposta
- Misura anche la latenza e il costo per richiesta
- Decidi in base al rapporto qualità/costo/vincoli
La valutazione in cieco merita un’enfasi particolare: nulla influenza il giudizio più del sapere che una risposta proviene dal modello che speravi vincesse.
Punti chiave
- I benchmark danno una prima indicazione, ma non bastano per scegliere un modello
- MMLU misura la conoscenza, HumanEval il codice, LMArena la preferenza umana
- Diffida delle differenze marginali e della contaminazione dei benchmark
- Consulta le classifiche indipendenti (Artificial Analysis, LMArena, Scale AI)
- La valutazione migliore è sempre quella che fai con i tuoi dati