Vai al contenuto principale
Italiano— Scegli una lingua
Menu

Inferenza in batch: perché, quando e risparmio sui costi

Lezione 1 di 16 Aggiornata il 3 novembre 2026 Avanzato
In questa pagina
  1. Comprendere l’inferenza in batch
  2. Quando usare l’inferenza in batch?
  3. Endpoint compatibili
  4. Due modalità di invio
  5. Risparmi concreti
  6. Punti chiave

Aggiornamento 2 novembre 2026 — Modelli. Mistral Large 3 (mistral-large-2512) e Mistral Medium 3.5 sono stati deprecati il 31 ottobre 2026 e verranno ritirati il 30 aprile 2027. Il loro successore designato, Mistral Large 4 (mistral-large-4), è in anteprima pubblica dal 6 ottobre. Gli esempi in questo corso utilizzano l’alias mistral-large-latest, che punta attualmente a Mistral Large 3 secondo la sua scheda tecnica ufficiale (verificata il 3 novembre 2026). Analogamente, mistral-medium-latest punta a Mistral Medium 3.5. Questi alias rimarranno validi fino al 30 aprile 2027. Per i nuovi progetti, testa mistral-large-4, il loro successore designato.

Comprendere l’inferenza in batch

Una volta portato un modello linguistico in produzione, ti trovi di fronte a un compromesso: devi elaborare volumi enormi di richieste senza lasciare che i costi sfuggano di mano. L’inferenza in batch risolve esattamente questo problema. Invece di chiamare l’API richiesta per richiesta, raggruppi le tue domande ed le esegui in parallelo a una tariffa ridotta rispetto alle chiamate individuali.

Il flusso di lavoro segue uno schema asincrono standard: raccogli le tue richieste in un file, invii il batch, passi ad altri compiti e recuperi i risultati una volta terminata l’elaborazione. Questa latenza accettata è proprio ciò che crea valore: offre a Mistral AI la libertà di pianificare il lavoro in modo ottimale sulle proprie risorse GPU e i guadagni di efficienza risultanti ti vengono trasferiti sotto forma di riduzione del prezzo.

1M
Richieste massime per batch
-50%
Riduzione tipica dei costi
8
Endpoint supportati
∞
Conservazione dei risultati

Quando usare l’inferenza in batch?

Il criterio decisionale si riduce a una domanda: la latenza di risposta individuale è critica? Se nessuno aspetta davanti a uno schermo, il batch è la strada da percorrere. Questo vale per l’elaborazione di grandi corpora: un servizio legale che deve classificare e riassumere quarantamila contratti archiviati non ha bisogno di una risposta in due secondi; ha bisogno che tutti i quarantamila vengano elaborati prima di lunedì a un costo sostenibile.

La generazione massiva di contenuti segue la stessa logica. Un catalogo e-commerce con sessantamila articoli che richiedono descrizioni di prodotti, o una campagna di email personalizzate preparate il giorno prima, sono candidati perfetti per l’invio notturno. Anche la valutazione e il benchmarking rientrano in questa categoria: quando misuri le prestazioni di un modello su un dataset di test, ogni richiesta è indipendente dalle altre e leggi il verdetto solo una volta eseguito l’intero set.

Le pipeline ETL e l’arricchimento dei dati costituiscono un terzo territorio naturale. Prendi un database esistente e aggiungi metadati estratti dall’IA (sentiment, categorizzazione, entità nominate) e l’elaborazione si inserisce in una catena già asincrona. Infine, la moderazione su larga scala, dove devi setacciare milioni di contenuti generati dagli utenti per rilevare violazioni, trae la maggior parte del suo beneficio economico da questa modalità di invio.

Al contrario, se la tua applicazione deve rispondere mentre l’utente sta guardando (chatbot, assistente interattivo, completamento automatico), l’inferenza in batch è fuori discussione. Questi casi d’uso appartengono all’API sincrona standard e cercare di forzarli nella modalità batch produce solo frustrazione.

Endpoint compatibili

L’inferenza in batch supporta otto endpoint delle API Mistral:

  • /v1/chat/completions — Generazione di testo conversazionale
  • /v1/embeddings — Calcolo di vettori semantici
  • /v1/fim/completions — Completamento del codice (fill-in-the-middle)
  • /v1/moderations — Moderazione dei contenuti
  • /v1/ocr — Riconoscimento ottico dei caratteri
  • /v1/classifications — Classificazione del testo
  • /v1/conversations — Conversazioni multi-turno
  • /v1/audio/transcriptions — Trascrizione audio

Questa copertura cambia il modo in cui progetti le tue attività di elaborazione di massa: l’indicizzazione semantica di una base documentale, la digitalizzazione di archivi cartacei e la trascrizione di un fondo di registrazioni telefoniche passano tutte attraverso lo stesso meccanismo unificato, con le stesse meccaniche di invio e recupero.

Due modalità di invio

Mistral offre due approcci per inviare le tue richieste in batch e la scelta dipende essenzialmente dal volume. Il batch su file scala fino a un milione di richieste: prepari un file JSONL, lo carichi sulla piattaforma e poi crei un job che punta a quel file. Questo è il metodo consigliato non appena i volumi diventano seri, soprattutto perché il file rimane riutilizzabile e tracciabile.

Il batch inline ha un limite di diecimila richieste ed elimina il passaggio del file: passi le richieste direttamente nel corpo della chiamata API. Per uno script che genera le sue richieste al volo e non ha motivo di scrivere un intermedio su disco, questa configurazione è significativamente più veloce. Dettaglieremo ciascuno di questi approcci nelle lezioni seguenti.

Risparmi concreti

La tariffazione dell’inferenza in batch differisce da quella dell’API standard. Su volumi di produzione tipici, a partire da centomila richieste al giorno, i risparmi raggiungono il 50% o più rispetto alle chiamate sincrone individuali, abbastanza da rendere vitali trattamenti che una tariffa in tempo reale renderebbe semplicemente impossibili da budgettare. Si aggiunge un comfort operativo spesso sottovalutato: i risultati non scadono. Puoi riscaricarli in qualsiasi momento dopo il termine dell’elaborazione, il che dispensa dalla necessità di costruire una copia locale come precauzione.

Punti chiave

  • L’inferenza in batch raggruppa le tue richieste per un’elaborazione asincrona a costo ridotto
  • Supporta otto endpoint diversi, coprendo quasi tutti i casi d’uso
  • Esistono due modalità: batch su file (fino a 1M di richieste) e batch inline (fino a 10K)
  • I risultati sono persistenti e scaricabili senza limiti di tempo
  • Questa modalità non è adatta alle applicazioni che richiedono risposte in tempo reale