Edizione in italiano
Produzione, valutazioni e ottimizzazione
Tratta latenza, caching dei prompt, Batch API, valutazioni, compattazione e architettura di produzione completa.
20 lezioni ca. 2 h Avanzato
Cosa imparerai
- Misurare la latenza end-to-end di una chiamata e identificare le leve di ottimizzazione prioritarie
- Ridurre i costi su scala con caching dei prompt, Predicted Outputs e Batch API
- Progettare un'architettura asincrona basata su code, parallelismo e modalità in background
- Gestire conversazioni lunghe tramite compattazione, conteggio dei token e budgeting
- Automatizzare le valutazioni con il framework Evals e integrarle in una pipeline CI/CD
Scheda del corso
- Destinatari
- Sviluppatori, ingegneri e integratori che intendono sfruttare ChatGPT tramite API nelle loro applicazioni.
- Prerequisiti
- Esperienza consolidata nello sviluppo e nel deployment di applicazioni in produzione.
- Durata
- 2 h — 20 lezioni
- Modalità
- Corso online 100% autonomo, accessibile 24/7 da browser. I progressi vengono salvati, permettendo di riprendere in qualsiasi momento. Durata stimata: 2 h.
- Valutazione
- Autovalutazione basata sui punti chiave che concludono ogni lezione e implementazione diretta degli esempi sui propri casi d'uso. Un quiz finale di 5 domande corrette alla fine dell'ultima lezione convalida l'apprendimento.
- Accessibilità
- Corso autonomo accessibile alle persone con disabilità: contenuto testuale compatibile con screen reader, navigazione da tastiera e contrasti conformi. Per eventuali esigenze di adattamento, inviare un'email a [email protected].
- Prezzo
- Gratis
Contenuto del corso
- 01 Misurare e analizzare la latenza
- 02 Ottimizzazione end-to-end: dal prompt alla rete
- 03 Caching dei prompt: Riutilizzare i calcoli
- 04 Output previsti: risposte più veloci
- 05 Streaming ottimizzato
- 06 Batch API: Elaborazione Asincrona Massiva
- 07 Architettura asincrona e code
- 08 Parallelismo e Concorrenza
- 09 Modalità in background
- 10 Ottimizzazione dei costi su larga scala
- 11 Compattazione: comprimere conversazioni lunghe
- 12 Conteggio e budget dei token
- 13 Caching avanzato dei prompt
- 14 Strategie di contesto per gli agent
- 15 Valuta i tuoi prompt: metodi, valutatori e migrazione a Promptfoo
- 16 Créer des évaluations personnalisées
- 17 Metriche e Benchmark
- 18 CI/CD per l'IA: Valutazioni Automatizzate
- 19 Moderazione dei contenuti su larga scala
- 20 Architettura di produzione: monitoraggio, allerta, scalabilità