Dansk udgave
Produktion, evalueringer og optimering
Dækker latens, prompt-caching, Batch API, evalueringer, komprimering og komplet produktionsarkitektur.
20 lektioner ca. 2 h Avanceret
Hvad du lærer
- Mål latens fra ende til ende for et opkald og identificér prioriterede optimeringsmuligheder
- Reducer omkostninger i stor skala med prompt-caching, forudsagte output og Batch API
- Design en asynkron arkitektur baseret på køer, parallelisme og baggrundstilstand
- Behersk lange samtaler gennem komprimering, token-tælling og budgettering
- Automatisér evalueringer med Evals-rammen og integrér dem i en CI/CD-pipeline
Kursusark
- Målgruppe
- Udviklere, ingeniører og integratorer, der ønsker at udnytte ChatGPT via API i deres applikationer.
- Forudsætninger
- Bekræftet erfaring med applikationsudvikling og implementering til produktion.
- Varighed
- 2 h — 20 lektioner
- Formater
- 100 % online selvstyret kursus, tilgængeligt 24/7 fra en browser. Fremdriften gemmes, så du kan genoptage når som helst. Estimeret varighed: 2 h.
- Vurdering
- Selvbedømmelse baseret på de vigtigste pointer, der afslutter hver lektion, og direkte implementering af eksempler på dine egne eksempler. En afsluttende quiz med 5 rettede spørgsmål i slutningen af den sidste lektion validerer læringen.
- Tilgængelighed
- Selvstyret kursus tilgængeligt for personer med handicap: tekstindhold kompatibelt med skærmlæsere, tastaturnavigation og overholdelse af kontraster. For eventuelle tilpasningsbehov, send en e-mail til [email protected].
- Pris
- Gratis
Kursets indhold
- 01 Mål og analysér ventetid
- 02 End-to-end-optimering: fra prompt til netværk
- 03 Prompt-caching: Genbrug af beregninger
- 04 Forudsagte output: Hurtigere svar
- 05 Optimeret streaming
- 06 Batch API: Massiv asynkron behandling
- 07 Asynkron arkitektur og køer
- 08 Parallelisme og samtidighed
- 09 Baggrundstilstand
- 10 Optimering af omkostninger i stor skala
- 11 Kompaktering: Komprimering af lange samtaler
- 12 Optælling og budgettering af tokens
- 13 Avanceret prompt-caching
- 14 Kontekststrategier for agenter
- 15 Evaluér dine prompts: Metoder, bedømmere og migration til Promptfoo
- 16 Opret tilpassede evalueringer
- 17 Målinger og benchmarks
- 18 CI/CD til AI: Automatiserede evalueringskørsler
- 19 Indholdsmoderation i stor skala
- 20 Produktionsarkitektur: overvågning, alarmering, skalering