Spring til hovedindhold
Dansk— Vælg et sprog
Menu

Dansk udgave

Produktion, evalueringer og optimering

Dækker latens, prompt-caching, Batch API, evalueringer, komprimering og komplet produktionsarkitektur.

20 lektioner ca. 2 h Avanceret

Hvad du lærer

  • Mål latens fra ende til ende for et opkald og identificér prioriterede optimeringsmuligheder
  • Reducer omkostninger i stor skala med prompt-caching, forudsagte output og Batch API
  • Design en asynkron arkitektur baseret på køer, parallelisme og baggrundstilstand
  • Behersk lange samtaler gennem komprimering, token-tælling og budgettering
  • Automatisér evalueringer med Evals-rammen og integrér dem i en CI/CD-pipeline

Kursusark

Målgruppe
Udviklere, ingeniører og integratorer, der ønsker at udnytte ChatGPT via API i deres applikationer.
Forudsætninger
Bekræftet erfaring med applikationsudvikling og implementering til produktion.
Varighed
2 h — 20 lektioner
Formater
100 % online selvstyret kursus, tilgængeligt 24/7 fra en browser. Fremdriften gemmes, så du kan genoptage når som helst. Estimeret varighed: 2 h.
Vurdering
Selvbedømmelse baseret på de vigtigste pointer, der afslutter hver lektion, og direkte implementering af eksempler på dine egne eksempler. En afsluttende quiz med 5 rettede spørgsmål i slutningen af den sidste lektion validerer læringen.
Tilgængelighed
Selvstyret kursus tilgængeligt for personer med handicap: tekstindhold kompatibelt med skærmlæsere, tastaturnavigation og overholdelse af kontraster. For eventuelle tilpasningsbehov, send en e-mail til [email protected].
Pris
Gratis

Kursets indhold

  1. 01 Mål og analysér ventetid
  2. 02 End-to-end-optimering: fra prompt til netværk
  3. 03 Prompt-caching: Genbrug af beregninger
  4. 04 Forudsagte output: Hurtigere svar
  5. 05 Optimeret streaming
  6. 06 Batch API: Massiv asynkron behandling
  7. 07 Asynkron arkitektur og køer
  8. 08 Parallelisme og samtidighed
  9. 09 Baggrundstilstand
  10. 10 Optimering af omkostninger i stor skala
  11. 11 Kompaktering: Komprimering af lange samtaler
  12. 12 Optælling og budgettering af tokens
  13. 13 Avanceret prompt-caching
  14. 14 Kontekststrategier for agenter
  15. 15 Evaluér dine prompts: Metoder, bedømmere og migration til Promptfoo
  16. 16 Opret tilpassede evalueringer
  17. 17 Målinger og benchmarks
  18. 18 CI/CD til AI: Automatiserede evalueringskørsler
  19. 19 Indholdsmoderation i stor skala
  20. 20 Produktionsarkitektur: overvågning, alarmering, skalering