Deutsche Ausgabe
Produktion, Evaluierung und Optimierung
Behandelt Latenz, Prompt-Caching, die Batch-API, Evaluierungen, Kompaktierung und eine vollständige Produktionsarchitektur.
20 Lektionen ca. 2 h Fortgeschritten
Das lernen Sie
- Die End-to-End-Latenz eines Aufrufs messen und vorrangige Optimierungshebel identifizieren
- Kosten im großen Maßstab durch Prompt-Caching, Predicted Outputs und die Batch-API senken
- Eine asynchrone Architektur auf Basis von Warteschlangen, Parallelität und Hintergrundmodus entwerfen
- Lange Konversationen durch Kompaktierung, Token-Zählung und Budgetierung beherrschen
- Evaluierungen mit dem Evals-Framework automatisieren und in eine CI/CD-Pipeline integrieren
Kursübersicht
- Zielgruppe
- Entwickler, Ingenieure und Integratoren, die ChatGPT über die API in ihren Anwendungen nutzen möchten.
- Voraussetzungen
- Nachgewiesene Erfahrung in der Anwendungsentwicklung und der Bereitstellung in Produktionsumgebungen.
- Dauer
- 2 h — 20 Lektionen
- Modalitäten
- 100 % onlineer Selbstlernkurs, rund um die Uhr über den Browser zugänglich. Der Fortschritt wird gespeichert, sodass Sie jederzeit fortfahren können. Geschätzte Dauer: 2 h.
- Bewertung
- Selbsteinschätzung auf Basis der wichtigsten Erkenntnisse am Ende jeder Lektion sowie direkte Umsetzung der Beispiele an eigenen Anwendungsfällen. Ein abschließendes Quiz mit 5 korrigierten Fragen am Ende der letzten Lektion bestätigt den Lernerfolg.
- Barrierefreiheit
- Selbstlernkurs, der für Menschen mit Behinderungen zugänglich ist: Textinhalte sind mit Screenreadern kompatibel, die Navigation erfolgt über die Tastatur und die Kontraste entsprechen den Vorgaben. Bei Anpassungsbedarf wenden Sie sich bitte per E-Mail an [email protected].
- Preis
- Kostenlos
Kursinhalt
- 01 Latenz messen und analysieren
- 02 End-to-end-Optimierung: Vom Prompt bis zum Netzwerk
- 03 Prompt-Caching: Berechnungen wiederverwenden
- 04 Vorhergesagte Ausgaben: Schnellere Antworten
- 05 Optimierter Streaming-Output
- 06 Batch API: Massive Asynchrone Verarbeitung
- 07 Asynchrone Architektur und Warteschlangen
- 08 Parallelismus und Konfunktionalität
- 09 Hintergrundmodus
- 10 Kostenoptimierung im großen Maßstab
- 11 Kompaktierung: Komprimierung langer Gespräche
- 12 Token-Zählung und Budgetierung
- 13 Erweitertes Prompt-Caching
- 14 Kontextstrategien für Agenten
- 15 Ihre Prompts evaluieren: Methoden, Grader und der Wechsel zu Promptfoo
- 16 Erstellen benutzerdefinierter Bewertungen
- 17 Metriken und Benchmarks
- 18 CI/CD für KI: Automatisierte Evaluierungen
- 19 Content-Moderation im großen Maßstab
- 20 Produktionsarchitektur: Monitoring, Alarmierung, Skalierung