Slovenské vydanie
Produkcia: Dávkové spracovanie, optimalizácia a pozorovateľnosť
Prechod do produkcie: dávková inferencia až do 1 milióna požiadaviek, predpovedané výstupy, citácie so zdrojmi a pozorovateľnosť (stopy, hodnotitelia, offline evaluácie).
16 lekcií ca. 1 h 15 min Pokročilý
Čo sa naučíte
- Pripraviť úlohu dávkovej inferencie vo formáte JSONL, sledovať jej stav a získať výsledky
- Znížiť latenciu odpovedí pomocou predpovedaných výstupov pri úlohách prepisovania
- Implementovať citácie s referenčným objektom na ukotvenie odpovedí v ich zdrojoch
- Sledovať aplikáciu pomocou OpenTelemetry, preskúmať produkčné stopy a automatizovať evaluáciu pomocou LLM hodnotiteľov
- Vytvárať datasety zo stôp a merať každú verziu pomocou offline evaluácií
Osnova kurzu
- Komu je kurz určený
- Vývojári, inžinieri a integrátori, ktorí chcú používať Mistral AI prostredníctvom API vo svojich aplikáciách.
- Predpoklady
- Overené skúsenosti s vývojom aplikácií a ich nasadzovaním do produkcie.
- Dĺžka
- 1 h 15 min — 16 lekcií
- Formát
- 100 % online, kurz vlastným tempom, dostupný 24/7 z prehliadača. Postup sa ukladá a môžete v ňom kedykoľvek pokračovať. Odhadovaný čas: 1 h 15 min.
- Hodnotenie
- Samohodnotenie na základe kľúčových poznatkov, ktoré uzatvárajú každú lekciu, a priame precvičovanie príkladov na vlastných dátach. Záverečný kvíz s 5 hodnotenými otázkami na konci poslednej lekcie overí vaše vedomosti.
- Prístupnosť
- Kurz je prístupný pre ľudí so zdravotným postihnutím: textový obsah kompatibilný so čítačkami obrazovky, navigácia pomocou klávesnice a vyhovujúci farebný kontrast. V prípade potreby úprav nám napíšte na [email protected].
- Cena
- Zadarmo
Obsah kurzu
- 01 Dávková inferencia: Prečo, kedy a úspora nákladov
- 02 Formát JSONL, custom_id a nahrávanie súborov
- 03 Vytvorenie dávkovej úlohy, sledovanie stavu a stiahnutie výsledkov
- 04 Dávkové spracovanie inline: až 10 000 požiadaviek bez súboru
- 05 Znížte latenciu pomocou predpovedaných výstupov
- 06 Prípady použitia predpovedaných výstupov v praxi
- 07 Implementácia predpovedaných výstupov v Pythone
- 08 Citácie so zdrojmi: Objekt referencie a RAG
- 09 Implementácia citácií v Pythone
- 10 Ukotvenie odpovedí v zdrojoch a obmedzenie halucinácií
- 11 Úvod do observability: stopy, hodnotitelia a evaluácie
- 12 Preskúmaj: Vyhľadávaj a kontroluj produkčné stopy
- 13 Posudzovatelia: Automatizované hodnotenie LLM
- 14 Évaluations hors ligne : mesurez avant de déployer
- 15 Datasety: Vytváranie evaluačných súborov a iterácia
- 16 Kompletný pipeline: stopy, hodnotitelia, datasety, evaluácie