Slovenské vydanie
Produkcia, hodnotenia a optimalizácia
Pokrýva latenciu, ukladanie promptov do vyrovnávacej pamäte, Batch API, hodnotenia, kompresiu a kompletnú produkčnú architektúru.
20 lekcií ca. 2 h Pokročilý
Čo sa naučíte
- Zmerať latenciu volania od začiatku do konca a identifikovať prioritné páky optimalizácie
- Znížiť náklady vo veľkom meradle pomocou ukladania promptov do vyrovnávacej pamäte, predpovedaných výstupov a Batch API
- Navrhnúť asynchrónnu architektúru založenú na frontách, paralelizme a režime na pozadí
- Ovládať dlhé konverzácie prostredníctvom kompresie, počítania tokenov a rozpočtovania
- Automatizovať hodnotenia pomocou rámca Evals a integrovať ich do pipeline CI/CD
Osnova kurzu
- Komu je kurz určený
- Vývojári, inžinieri a integrátori, ktorí chcú využiť ChatGPT prostredníctvom API vo svojich aplikáciách.
- Predpoklady
- Potvrdené skúsenosti s vývojom aplikácií a ich nasadzovaním do produkcie.
- Dĺžka
- 2 h — 20 lekcií
- Formát
- 100 % online kurz vlastným tempom, dostupný 24/7 z prehliadača. Priebeh sa ukladá, takže môžeš kedykoľvek pokračovať. Odhadovaný čas: 2 h.
- Hodnotenie
- Samohodnotenie na základe kľúčových poznatkov, ktoré uzatvárajú každú lekciu, a priama implementácia príkladov na tvojich vlastných príkladoch. Záverečný kvíz s 5 opravenými otázkami na konci poslednej lekcie overí tvoje vedomosti.
- Prístupnosť
- Kurz vlastným tempom prístupný pre ľudí so zdravotným postihnutím: textový obsah kompatibilný so čítačkami obrazovky, navigácia pomocou klávesnice a kontrasty v súlade s normami. Pre akékoľvek potreby úprav napíš na [email protected].
- Cena
- Zadarmo
Obsah kurzu
- 01 Meranie a analýza latencie
- 02 Optimalizácia od konca ku koncu: od promptu po sieť
- 03 Ukladanie promptov do vyrovnávacej pamäte: Opätovné využitie výpočtov
- 04 Výstupy s predikciou: Rýchlejšie odpovede
- 05 Optimalizované streamovanie
- 06 Batch API: Masívne asynchrónne spracovanie
- 07 Asynchrónna architektúra a fronty
- 08 Paralelizmus a konkurencia
- 09 Režim na pozadí
- 10 Optimalizácia nákladov vo veľkom meradle
- 11 Kompakcia: Komprimovanie dlhých konverzácií
- 12 Počítanie tokenov a rozpočtovanie
- 13 Pokročilé ukladanie promptov do vyrovnávacej pamäte
- 14 Stratégie de contexte pour les agents
- 15 Hodnotenie svojich promptov: Metódy, hodnotitelia a migrácia na Promptfoo
- 16 Vytváranie vlastných hodnotení
- 17 Metriky a referenčné hodnoty
- 18 CI/CD pre AI: Automatizované hodnotenia
- 19 Moderovanie obsahu vo veľkom meradle
- 20 Architektúra produkcie: monitorovanie, alerting, škálovanie