Vai al contenuto principale
Italiano— Scegli una lingua
Menu

Riduci la latenza con gli output previsti

Lezione 5 di 16 Aggiornata il 29 luglio 2026 Avanzato
In questa pagina
  1. Il problema della latenza in produzione
  2. Il concetto: prevedere per accelerare
  3. Come funziona tecnicamente
  4. Modelli compatibili
  5. Quando utilizzare gli output previsti
  6. Impatto sui prezzi
  7. Punti chiave

Il problema della latenza in produzione

In produzione, ogni millisecondo conta. Quando un utente attende una risposta da un LLM per apportare una piccola modifica al codice o al testo, la latenza standard della generazione token per token può sembrare eccessiva. Se il 90% dell’output previsto è già noto, perché il modello dovrebbe rigenerarlo interamente?

Gli output previsti risolvono questo problema. Fornendo al modello una previsione dell’output, gli permetti di allocare le risorse di calcolo solo alle parti che differiscono effettivamente, riducendo drasticamente il tempo di risposta.

Il concetto: prevedere per accelerare

Il principio è semplice. Conosci già la maggior parte della risposta attesa, ad esempio un file di codice esistente che desideri modificare leggermente. Invece di lasciare che il modello rigeneri tutto, passi il contenuto previsto tramite il parametro prediction:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[...],
    prediction={
        "type": "content",
        "content": expected_content
    }
)

Il modello utilizza quindi questo contenuto come base. Dedica le sue risorse di calcolo ai token che differiscono dalla previsione, il che accelera significativamente la generazione.

Come funziona tecnicamente

Il meccanismo si basa su una convalida accelerata piuttosto che su una generazione accorciata. Il modello riceve la tua previsione come materiale di lavoro, quindi procede con la generazione confrontando il suo output con il contenuto previsto. Ogni volta che il token sta per essere prodotto corrisponde alla previsione, la convalida è quasi istantanea: non avviene l’intero calcolo di generazione. Non appena il suo output diverge dalla previsione, riprende la normale generazione token per token fino a quando non si riallinea potenzialmente con il contenuto previsto.

Il risultato pratico è duplice. In primo luogo, la qualità della risposta rimane rigorosamente preservata: il modello non “copia” la tua previsione; la convalida o se ne discosta in base al proprio giudizio. In secondo luogo, il risparmio di tempo è proporzionale al tasso di sovrapposizione: una previsione accurata al 90% accelera notevolmente le cose, mentre una previsione accurata solo al 40% offre quasi nessun vantaggio.

Modelli compatibili

Ad aprile 2026, due modelli supportano gli output previsti: mistral-large-latest per compiti complessi di modifica e ragionamento, e codestral-latest, ottimizzato per la modifica del codice. Quest’ultimo rappresenta la maggior parte dei casi d’uso reali, poiché la modifica del codice è lo scenario ideale per la previsione.

Quando utilizzare gli output previsti

Il criterio si riduce a una domanda: conosci già la maggior parte dell’output? Quando chiedi a Codestral di rinominare una variabile in un file di 400 righe, la risposta attesa è quello stesso file con solo poche occorrenze modificate: passa il file originale come previsione e la generazione diventa quasi istantanea. La stessa logica si applica alla correzione di una frase in un lungo documento, al riempimento di un modello con una struttura fissa o alla modifica di una chiave in un grande file JSON: in tutti questi casi, oltre il 90% dell’output è noto in anticipo ed è proprio ciò che sfrutta la previsione.

Al contrario, la funzione perde ogni valore quando l’output è imprevedibile: risposte creative, brainstorming o riassunti aperti. Se il contenuto effettivo diverge dalla previsione per più della metà dei token, il vantaggio svanisce e il modello passa il tempo a notare le discrepanze. Nota anche una limitazione tecnica: gli output previsti non funzionano con il parametro n (generazioni multiple).

Impatto sui prezzi

Buone notizie: gli output previsti non hanno alcun impatto sui prezzi. Non paghi extra per fornire una previsione. Paghi solo i token effettivamente generati, come al solito.

Punti chiave

  • Gli output previsti riducono la latenza sfruttando contenuti prevedibili
  • Il parametro prediction fornisce al modello l’output previsto come base di riferimento
  • Due modelli compatibili: mistral-large-latest e codestral-latest
  • Ideale per la modifica del codice, la modifica del testo e i modelli
  • Nessun costo extra: la qualità è preservata