Česká edice
Produkce, evaluace a optimalizace
Pokrývá latenci, ukládání promptů do mezipaměti, Batch API, evaluace, kompresi a kompletní produkční architekturu.
20 lekcí cca 2 h Pokročilý
Co se naučíte
- Měřit latenci volání od začátku do konce a identifikovat prioritní páky pro optimalizaci
- Snížit náklady ve velkém měřítku díky ukládání promptů do mezipaměti, Predicted Outputs a Batch API
- Navrhnout asynchronní architekturu založenou na frontách, paralelismu a režimu na pozadí
- Zvládnout dlouhé konverzace prostřednictvím komprese, počítání tokenů a rozpočtování
- Automatizovat evaluace pomocí frameworku Evals a integrovat je do pipeline CI/CD
Informace o kurzu
- Komu je kurz určen
- Vývojáři, inženýři a integrátoři, kteří chtějí ve svých aplikacích využít ChatGPT prostřednictvím API.
- Předpoklady
- Ověřené zkušenosti s vývojem aplikací a jejich nasazováním do produkce.
- Doba trvání
- 2 h — 20 lekcí
- Forma výuky
- 100% online kurz vlastním tempem, dostupný 24/7 z prohlížeče. Postup se ukládá, takže můžeš kdykoli pokračovat. Odhadovaná délka: 2 h.
- Hodnocení
- Sebehodnocení na základě klíčových poznatků závěrících každou lekci a přímá implementace příkladů na tvých vlastních datech. Závěrečný kvíz s 5 opravenými otázkami na konci poslední lekce ověřuje osvojené znalosti.
- Přístupnost
- Kurz vlastním tempem přístupný lidem se zdravotním postižením: textový obsah kompatibilní se čtečkami obrazovky, navigace pomocí klávesnice a kontrasty v souladu s normami. Pro jakékoli potřeby úprav napiš na [email protected].
- Cena
- Zdarma
Obsah kurzu
- 01 Měření a analýza latence
- 02 Optimalizace end-to-end: od promptu po síť
- 03 Mezipaměť promptů: Opětovné využití výpočtů
- 04 Výstupy s predikcí: Rychlejší odpovědi
- 05 Optimalizované streamování
- 06 Batch API: Masivní asynchronní zpracování
- 07 Asynchronní architektura a fronty
- 08 Paralelismus a souběžnost
- 09 Režim na pozadí
- 10 Optimalizace nákladů ve velkém měřítku
- 11 Kompakce: Komprese dlouhých konverzací
- 12 Počítání tokenů a správa rozpočtu
- 13 Pokročilé ukládání promptů do mezipaměti
- 14 Strategie kontextu pro agenty
- 15 Vyhodnocování svých promptů: Metody, hodnotitelé a migrace na Promptfoo
- 16 Vytvářejte vlastní evaluace
- 17 Metriky a referenční testy
- 18 CI/CD pro AI: Automatizovaná evaluace
- 19 Moderování obsahu ve velkém měřítku
- 20 Architektura produkce: monitorování, alerting, škálování