Vai al contenuto principale
Italiano— Scegli una lingua
Menu

Architettura multimodale dei modelli Mistral

Lezione 2 di 12 Aggiornata il 29 luglio 2026 Sviluppatore
In questa pagina
  1. Come elabora un modello testo e immagini?
  2. Il codificatore visivo (Vision Encoder)
  3. Fusione testo-immagine nell’LLM
  4. Impatto sul conteggio dei token
  5. Limiti di dimensione e risoluzione
  6. Architettura semplificata
  7. Punti chiave

Come elabora un modello testo e immagini?

Quando invii un’immagine a un modello Mistral, questo non la “vede” come farebbe un essere umano. L’elaborazione si basa su un’architettura a due stadi: innanzitutto, un codificatore visivo trasforma l’immagine in una sequenza di token numerici; successivamente, il modello linguistico elabora questi token visivi insieme ai token di testo del tuo prompt.

Questa lezione potrebbe sembrare teorica, ma è in realtà la parte più conveniente del corso in termini di costi. Comprendere questo meccanismo spiega perché un’immagine 4K non produce risultati migliori di una 1080p, perché la tua fattura mensile aumenta più rapidamente con cinque immagini che con cinque paragrafi e perché il testo minuscolo in uno screenshot viene spesso trascritto male.

Il codificatore visivo (Vision Encoder)

Il codificatore visivo è una rete neurale specializzata, tipicamente un Vision Transformer (ViT), che suddivide l’immagine in piccole porzioni quadrate, ad esempio di 14×14 pixel, e le converte in embedding numerici. La pipeline si svolge in cinque passaggi:

  1. Ridimensionamento: l’immagine viene scalata a una risoluzione standard (ad esempio 384×384 o 768×768 pixel)
  2. Estrazione delle porzioni: l’immagine ridimensionata viene divisa in porzioni regolari
  3. Proiezione: ogni porzione viene convertita in un vettore numerico (embedding)
  4. Codifica posizionale: vengono aggiunte le informazioni di posizione per ogni porzione
  5. Attenzione: il trasformatore visivo elabora l’intera sequenza

Il risultato è una sequenza di token visivi, perfettamente comparabili ai token di testo, con la differenza che rappresentano regioni dell’immagine anziché frammenti di parole. Il primo passo merita la tua attenzione: spiega perché una scansione di fattura larga 4.000 pixel viene ridotta a poche centinaia di pixel prima ancora che inizi l’analisi. I caratteri in stampa fine, già al limite della leggibilità, diventano pochi pixel sfocati.

Fusione testo-immagine nell’LLM

Una volta generati i token visivi, questi vengono inseriti nella sequenza di input del modello linguistico insieme ai token di testo. Il modello elabora il tutto in modo uniforme grazie al meccanismo di cross-attention.

[token di testo: "Descrivi questa immagine"] + [token visivi: porzione1, porzione2, ..., porzioneN]
                                    ↓
                          Modello Linguistico (LLM)
                                    ↓
                    [token di output: "Questa immagine mostra..."]

Il modello può quindi “leggere” immagine e testo simultaneamente, permettendogli di rispondere a domande specifiche sul contenuto visivo. Questo spiega anche perché una domanda posta prima dell’immagine e una posta dopo non producono esattamente lo stesso risultato: tutto risiede nella stessa sequenza e l’ordine conta.

Impatto sul conteggio dei token

Ogni immagine consuma un certo numero di token, a seconda della sua risoluzione dopo il ridimensionamento. Questo è il punto fondamentale per stimare i tuoi costi. Un’immagine standard, intorno a 768×768, consuma tra 800 e 1.500 token, l’equivalente di una o due pagine di testo. Le immagini più grandi vengono ridimensionate prima dell’elaborazione: inviare un’immagine 4K non costa più di una 1080p, ma non ti offre alcun vantaggio aggiuntivo. A questo totale, aggiungi i token del tuo prompt e della risposta generata.

# Esempio: stima del costo di una chiamata vision
tokens_image = 1000  # stima media
tokens_prompt = 50   # "Descrivi questa immagine in dettaglio"
tokens_response = 200  # risposta stimata

total_tokens = tokens_image + tokens_prompt + tokens_response
print(f"Token totali stimati: {total_tokens}")
# → Token totali stimati: 1250

Esegui questo calcolo sul tuo volume prima di industrializzare: mille immagini al giorno rappresentano almeno un milione di token in input, spostando la conversazione dal prototipo al budget.

Limiti di dimensione e risoluzione

Mistral accetta i formati JPEG, PNG, GIF (primo fotogramma) e WebP, con una dimensione massima di circa 20 MB per immagine. Più immagini possono coesistere in un singolo messaggio, argomento che affronteremo nella Lezione 6. Il vincolo più controintuitivo rimane il ridimensionamento interno: una risoluzione molto elevata non migliora i risultati; allunga solo i tempi di trasferimento.

La conseguenza pratica è che dovresti ridimensionare le immagini tu stesso a monte, piuttosto che lasciare che lo faccia l’API dopo un upload inutilmente pesante:

from PIL import Image

def prepare_image(path, max_size=1024):
    """Ridimensiona un'immagine prima dell'invio per ottimizzare la latenza."""
    img = Image.open(path)
    img.thumbnail((max_size, max_size))
    img.save(path, quality=85)
    return path

Inserisci questa funzione appena prima della codifica Base64 o dell’hosting tramite URL. Su un lotto di foto da smartphone da 4 MB, riduce il volume trasferito di un fattore significativo senza perdita di qualità significativa per l’analisi.

Architettura semplificata

Da capo a fondo, il percorso di una richiesta si riduce a cinque passaggi: invii un messaggio contenente testo e una o più immagini; l’API ridimensiona ogni immagine e la invia al codificatore visivo; i token visivi risultanti si fondono con i token di testo; il modello genera una risposta in linguaggio naturale; la ricevi esattamente come una chiamata di testo standard. Nulla cambia nel tuo codice lato API: Mistral gestisce tutta la complessità, ma questo non significa che tu possa ignorare quanto ti costa.

Punti chiave

  • Le immagini vengono convertite in token visivi da un codificatore Vision Transformer
  • L’LLM elabora questi token visivi esattamente come i token di testo
  • Un’immagine standard consuma circa da 800 a 1.500 token
  • Le immagini vengono ridimensionate internamente: non serve inviare risoluzioni molto elevate
  • Il ridimensionamento delle immagini lato client riduce la latenza senza perdita di qualità