Edizione in italiano
Produzione: batch, ottimizzazione e osservabilità
Passaggio alla produzione: inferenza batch fino a 1 milione di richieste, output previsti, citazioni con fonti e osservabilità (tracce, giudici, valutazioni offline).
16 lezioni ca. 1 h 15 min Avanzato
Cosa imparerai
- Preparare un job di inferenza batch in formato JSONL, tracciarne lo stato e recuperare i risultati
- Ridurre la latenza delle risposte con output previsti su compiti di riscrittura
- Implementare citazioni con oggetto di riferimento per ancorare le risposte alle loro fonti
- Tracciare un'applicazione con OpenTelemetry, esplorare le tracce in produzione e automatizzare la valutazione con giudici LLM
- Costruire dataset dalle tracce e misurare ogni versione con valutazioni offline
Scheda del corso
- Destinatari
- Sviluppatori, ingegneri e integratori che vogliono utilizzare Mistral AI tramite API nelle loro applicazioni.
- Prerequisiti
- Esperienza comprovata nello sviluppo di applicazioni e nel loro deploy in produzione.
- Durata
- 1 h 15 min — 16 lezioni
- Modalità
- Corso 100% online, auto-didattico, accessibile 24/7 da browser. I progressi vengono salvati e puoi riprendere in qualsiasi momento. Durata stimata: 1 h 15 min.
- Valutazione
- Autovalutazione basata sui punti chiave che concludono ogni lezione e pratica diretta degli esempi sui tuoi casi d'uso. Un quiz finale di 5 domande valutate alla fine dell'ultima lezione convalida quanto appreso.
- Accessibilità
- Corso accessibile alle persone con disabilità: contenuto testuale compatibile con screen reader, navigazione da tastiera e contrasto cromatico conforme. Per eventuali esigenze di adattamento, scrivi a [email protected].
- Prezzo
- Gratis
Contenuto del corso
- 01 Inferenza in batch: perché, quando e risparmio sui costi
- 02 Formato JSONL, custom_id e caricamento file
- 03 Créer un job par lots, suivre son statut et télécharger les résultats
- 04 Batching in-line : jusqu'à 10 000 requêtes sans fichier
- 05 Riduci la latenza con gli output previsti
- 06 Casi d'uso reali per gli Output Predetti
- 07 Implementare gli Output Previsti in Python
- 08 Citazioni con fonti: oggetto di riferimento e RAG
- 09 Implementare le citazioni in Python
- 10 Ancorare le risposte alle fonti e ridurre le allucinazioni
- 11 Introduzione all'osservabilità: Tracce, Giudici e Valutazioni
- 12 Esplora: Cerca e ispeziona le tracce di produzione
- 13 Giudici: Valutazione automatizzata degli LLM
- 14 Évaluations hors ligne : mesurer avant de déployer
- 15 Dataset: costruire set di valutazione e iterare
- 16 Pipeline end-to-end: tracce, giudici, dataset, valutazioni