Vai al contenuto principale
Italiano— Scegli una lingua
Menu

LLM e architettura

Lezione 11 di 16 Aggiornata il 2 novembre 2026 Principiante
In questa pagina
  1. Come funziona un modello linguistico
  2. Cos’è un LLM?
  3. Parametri del modello
  4. L’architettura Transformer
  5. Mixture of Experts (MoE) — La specialità di Mistral
  6. Pesi del modello
  7. Addestramento in due fasi
  8. Punti chiave

Aggiornato il 2 novembre 2026 — Le Chat è ora Vibe. Dal 28 maggio 2026, Le Chat è diventato Vibe (sempre su chat.mistral.ai): un unico agente per lavoro e codice, che mantiene le tue conversazioni, impostazioni e abbonamenti. L’esperienza legacy di Le Chat rimane accessibile nella modalità Chat; nella modalità Work, gli agenti sono ora competenze (invocate con @), le memorie costituiscono la base di conoscenza e la ricerca approfondita è la competenza Deep Research. I piani si chiamano ora Mistral Free, Pro, Team ed Enterprise. Questa lezione utilizza il nome Vibe; alcuni menu qui descritti potrebbero aver cambiato nome o posizione.

Come funziona un modello linguistico

Usi un modello linguistico ogni volta che poni una domanda su Vibe. Ma cosa succede esattamente tra il momento in cui premi Invio e quello in cui appare la risposta? Questa lezione ti dà le chiavi per comprendere l’architettura sottostante senza addentrarti nei dettagli matematici. Non si tratta solo di cultura generale gratuita: comprendere il meccanismo ti aiuta ad anticipare cosa il modello fa bene, cosa fa male e perché.

Cos’è un LLM?

Un LLM (Large Language Model, o modello linguistico di grandi dimensioni) è un programma per computer addestrato su enormi quantità di testo per imparare a prevedere la parola successiva in una frase. Questo principio sembra ingannevolmente semplice, eppure, applicato su larga scala, produce risultati sorprendentemente coerenti e utili. Concretamente, quando poni una domanda a Mistral Small 4, il modello procede come segue:

  1. Trasforma il tuo testo in token
  2. Elabora questi token attraverso miliardi di calcoli
  3. Prevede il token più probabile che dovrebbe seguire
  4. Ripete l’operazione token per token fino a completare la sua risposta

Questo spiega un fenomeno che hai osservato fin dal primo scambio: la risposta appare progressivamente sullo schermo (streaming) perché il modello genera effettivamente la sua risposta parola per parola. Ciò che vedi scorrere non è un artefatto di visualizzazione: è la generazione stessa, in tempo reale.

Parametri del modello

Quando parliamo di un modello da “7 miliardi di parametri” o “14 miliardi di parametri”, ci riferiamo al numero di connessioni digitali regolabili contenute nel modello. Questi parametri sono i pesi del modello. Per usare un’analogia: se il modello fosse un cervello, i parametri sarebbero le sinapsi, ovvero le connessioni tra i neuroni. Più parametri ci sono, più sfumature e relazioni complesse nel linguaggio il modello può cogliere.

Tuttavia, fai attenzione a non trasformare questo numero nell’unico criterio: un modello più grande non è automaticamente migliore. L’efficienza dipende tanto dalla qualità dei dati di addestramento (dati puliti e diversificati producono risultati migliori), dall’architettura del modello, cioè da come i parametri sono organizzati, dalle tecniche di addestramento utilizzate per regolare questi parametri e dal fine-tuning, il raffinamento post-addestramento per compiti specifici. È proprio questo che permette a Mistral di competere con modelli molto più grandi: un’architettura efficiente e dati di addestramento di alta qualità.

L’architettura Transformer

Tutti gli LLM moderni si basano sull’architettura Transformer, introdotta nel 2017. Due idee bastano per cogliere l’essenziale.

La prima è il meccanismo di attenzione, il cuore del Transformer. Permette al modello di “guardare” l’intero testo in input per comprendere le relazioni tra le parole, anche quando sono distanti nella frase. Prendi “Il gatto che dormiva sul divano si è svegliato”: grazie all’attenzione, il modello capisce che “si è svegliato” si riferisce al gatto, non al divano. Questa capacità di collegare elementi distanti è ciò che distingue i Transformer dalle generazioni precedenti di modelli linguistici.

La seconda idea è l’impilamento di livelli (layer). Un Transformer è costituito da più livelli sovrapposti e ognuno affina la comprensione del testo: i primi livelli catturano relazioni grammaticali semplici, mentre i livelli profondi colgono concetti astratti e relazioni semantiche complesse. La comprensione si costruisce quindi attraverso raffinamenti successivi, un po’ come una lettura che passa dalla sintassi al significato.

Mixture of Experts (MoE) — La specialità di Mistral

Una delle principali innovazioni di Mistral AI è l’uso dell’architettura Mixture of Experts (MoE), resa popolare con Mixtral 8x7B. Il principio rompe con l’approccio classico: invece di un’unica enorme rete neurale che elabora tutto, il MoE divide il modello in diversi “esperti” specializzati e un meccanismo di instradamento seleziona, per ogni token elaborato, gli esperti più pertinenti.

Il vantaggio è duplice. In termini di efficienza, solo pochi esperti vengono attivati per ogni token, il che riduce significativamente il tempo di calcolo. In termini di prestazioni, il modello beneficia della capacità totale di tutti gli esperti combinati, pagando il costo di calcolo solo per quelli che lavorano effettivamente; ogni esperto può inoltre specializzarsi in un tipo di contenuto o compito. In pratica, un modello MoE da 47 miliardi di parametri che ne attiva solo 12 miliardi per token può offrire prestazioni comparabili a un modello denso da 47 miliardi, pur essendo veloce quanto un modello da 12 miliardi. Questo spiega perché i modelli Mistral offrono un rapporto prestazioni-velocità spesso superiore alla concorrenza.

Pesi del modello

I pesi sono i valori numerici che definiscono il comportamento del modello: sono i famosi parametri, una volta completato l’addestramento. Quando Mistral rilascia un modello come “Open”, significa che questi pesi sono scaricabili. E possedere i pesi cambia tutto: puoi ospitare il modello sui tuoi server, eseguirlo senza connessione a Internet, modificarlo o fare fine-tuning e integrarlo in sistemi embedded. Senza i pesi, dipendi dall’API del fornitore. Questa è la differenza fondamentale tra i modelli Open e Premier che hai incontrato nelle lezioni precedenti: ora capisci cosa c’è tecnicamente dietro.

Addestramento in due fasi

Come si crea un modello come Mistral Small 4? In due grandi passaggi. Il primo è il pre-addestramento: il modello viene esposto a enormi quantità di testo (libri, articoli, codice sorgente, pagine web) e impara le strutture del linguaggio. Questa fase richiede migliaia di GPU per settimane e costa milioni di euro; conferisce al modello la sua cultura e la padronanza della lingua.

Il secondo passo è il fine-tuning e l’allineamento: il modello pre-addestrato viene raffinato per seguire le istruzioni, essere utile ed evitare di produrre contenuti pericolosi. Questa fase si basa su dati annotati da esseri umani e su tecniche come l’RLHF (Reinforcement Learning from Human Feedback, apprendimento per rinforzo dal feedback umano). È ciò che trasforma un semplice predittore di testo in un assistente capace di dialogare: la differenza tra un modello che completa frasi e un modello che ti risponde.

Punti chiave

  • Un LLM prevede il token successivo, ripetendo l’operazione migliaia di volte per produrre una risposta completa
  • I parametri (pesi) sono le connessioni digitali che codificano la conoscenza del modello
  • L’architettura Transformer e il suo meccanismo di attenzione permettono di comprendere le relazioni nel testo
  • Il Mixture of Experts (MoE) è la specialità di Mistral: prestazioni di un modello grande, velocità di uno piccolo
  • I modelli vengono creati in due fasi: un massiccio pre-addestramento seguito da un fine-tuning mirato
  • I pesi aperti permettono l’auto-hosting e la personalizzazione