Ediția în limba română
Producție: Batch, Optimizare și Observabilitate
Trecerea la producție: inferență batch până la 1 milion de cereri, ieșiri prezise, citate cu surse și observabilitate (urme, evaluatori, evaluări offline).
16 lecții cca. 1 h 15 min Avansat
Ce veți învăța
- Pregătirea unei sarcini de inferență batch în format JSONL, urmărirea stării acesteia și preluarea rezultatelor
- Reducerea latenței răspunsului cu ieșiri prezise pentru sarcinile de rescriere
- Implementarea citatelor cu obiecte de referință pentru a ancora răspunsurile în sursele lor
- Urmărirea unei aplicații cu OpenTelemetry, explorarea urmelor de producție și automatizarea evaluării cu evaluatori LLM
- Construirea de seturi de date din urme și măsurarea fiecărei versiuni cu evaluări offline
Fișa cursului
- Cui se adresează
- Dezvoltatori, ingineri și integratori care doresc să utilizeze Mistral AI prin API în aplicațiile lor.
- Prerechizite
- Experiență dovedită în dezvoltarea aplicațiilor și implementarea acestora în producție.
- Durată
- 1 h 15 min — 16 lecții
- Format
- Curs 100% online, în ritmul propriu, accesibil 24/7 dintr-un browser. Progresul este salvat și puteți relua oricând. Durată estimată: 1 h 15 min.
- Evaluare
- Autoevaluare bazată pe punctele cheie care concluzionează fiecare lecție și practică directă a exemplelor pe propriile dumneavoastră cazuri. Un quiz final de 5 întrebări notate la sfârșitul ultimei lecții validează ceea ce ați învățat.
- Accesibilitate
- Curs accesibil persoanelor cu dizabilități: conținut text compatibil cu cititoarele de ecran, navigare prin tastatură și contrast de culori conform. Pentru orice nevoie de adaptare, trimiteți un e-mail la [email protected].
- Preț
- Gratis
Conținutul cursului
- 01 Inferență în loturi: De ce, când și economii de costuri
- 02 Formatul JSONL, custom_id și încărcarea fișierelor
- 03 Crearea unei sarcini batch, urmărirea stării și descărcarea rezultatelor
- 04 Batching inline : jusqu'à 10 000 requêtes sans fichier
- 05 Reduceți latența cu ieșiri anticipate
- 06 Cazuri de utilizare în lumea reală pentru ieșirile anticipate
- 07 Implementarea ieșirilor prezise în Python
- 08 Citate cu surse: Obiectul de referință și RAG
- 09 Implementarea citărilor în Python
- 10 Ancorarea răspunsurilor în surse și reducerea halucinațiilor
- 11 Introducere în observabilitate: urme, evaluatori și evaluări
- 12 Explore: Căutați și inspectați urmele de producție
- 13 Judecători: Evaluarea automată a LLM-urilor
- 14 Évaluations hors ligne : mesurez avant de déployer
- 15 Dataseturi: Construirea seturilor de evaluare și iterarea
- 16 Pipeline end-to-end: traces, juges, datasets, évaluations