Zum Hauptinhalt springen

Deutsche Ausgabe

Produktion, Evaluierung und Optimierung

Behandelt Latenz, Prompt-Caching, die Batch-API, Evaluierungen, Kompaktierung und eine vollständige Produktionsarchitektur.

20 Lektionen ca. 2 h Fortgeschritten

Das lernen Sie

  • Die End-to-End-Latenz eines Aufrufs messen und vorrangige Optimierungshebel identifizieren
  • Kosten im großen Maßstab durch Prompt-Caching, Predicted Outputs und die Batch-API senken
  • Eine asynchrone Architektur auf Basis von Warteschlangen, Parallelität und Hintergrundmodus entwerfen
  • Lange Konversationen durch Kompaktierung, Token-Zählung und Budgetierung beherrschen
  • Evaluierungen mit dem Evals-Framework automatisieren und in eine CI/CD-Pipeline integrieren

Kursübersicht

Zielgruppe
Entwickler, Ingenieure und Integratoren, die ChatGPT über die API in ihren Anwendungen nutzen möchten.
Voraussetzungen
Nachgewiesene Erfahrung in der Anwendungsentwicklung und der Bereitstellung in Produktionsumgebungen.
Dauer
2 h — 20 Lektionen
Modalitäten
100 % onlineer Selbstlernkurs, rund um die Uhr über den Browser zugänglich. Der Fortschritt wird gespeichert, sodass Sie jederzeit fortfahren können. Geschätzte Dauer: 2 h.
Bewertung
Selbsteinschätzung auf Basis der wichtigsten Erkenntnisse am Ende jeder Lektion sowie direkte Umsetzung der Beispiele an eigenen Anwendungsfällen. Ein abschließendes Quiz mit 5 korrigierten Fragen am Ende der letzten Lektion bestätigt den Lernerfolg.
Barrierefreiheit
Selbstlernkurs, der für Menschen mit Behinderungen zugänglich ist: Textinhalte sind mit Screenreadern kompatibel, die Navigation erfolgt über die Tastatur und die Kontraste entsprechen den Vorgaben. Bei Anpassungsbedarf wenden Sie sich bitte per E-Mail an [email protected].
Preis
Kostenlos

Kursinhalt

  1. 01 Latenz messen und analysieren
  2. 02 End-to-end-Optimierung: Vom Prompt bis zum Netzwerk
  3. 03 Prompt-Caching: Berechnungen wiederverwenden
  4. 04 Vorhergesagte Ausgaben: Schnellere Antworten
  5. 05 Optimierter Streaming-Output
  6. 06 Batch API: Massive Asynchrone Verarbeitung
  7. 07 Asynchrone Architektur und Warteschlangen
  8. 08 Parallelismus und Konfunktionalität
  9. 09 Hintergrundmodus
  10. 10 Kostenoptimierung im großen Maßstab
  11. 11 Kompaktierung: Komprimierung langer Gespräche
  12. 12 Token-Zählung und Budgetierung
  13. 13 Erweitertes Prompt-Caching
  14. 14 Kontextstrategien für Agenten
  15. 15 Ihre Prompts evaluieren: Methoden, Grader und der Wechsel zu Promptfoo
  16. 16 Erstellen benutzerdefinierter Bewertungen
  17. 17 Metriken und Benchmarks
  18. 18 CI/CD für KI: Automatisierte Evaluierungen
  19. 19 Content-Moderation im großen Maßstab
  20. 20 Produktionsarchitektur: Monitoring, Alarmierung, Skalierung