Zum Hauptinhalt springen

Deutsche Ausgabe

Realtime API und Voice Agents

Dieser Kurs behandelt die Realtime API, Whisper, TTS sowie die Entwicklung vollständiger Voice Agents für Telefonie und Assistenzsysteme.

18 Lektionen ca. 45 min Entwickler

Das lernen Sie

  • Eine WebSocket-Sitzung mit der Realtime API herstellen und Lebenszyklusereignisse verwalten
  • Bidirektionales Audio streamen und dabei Unterbrechungen sowie die Verwaltung von Sprecherwechseln handhaben
  • Audiodateien mit Whisper transkribieren und übersetzen und die Qualität sprachspezifisch optimieren
  • Sprache mit der TTS-API generieren und dabei Stimme, Prosodie und Geschwindigkeit steuern
  • Einen Voice Agent entwickeln, der in Telefoniesysteme integriert ist, und dessen Latenz im Produktivbetrieb beherrschen

Kursübersicht

Zielgruppe
Entwickler, Ingenieure und Integratoren, die ChatGPT über die API in ihren Anwendungen nutzen möchten.
Voraussetzungen
Fähigkeit, Python und JSON zu lesen, Grundkenntnisse der Kommandozeile. Ein API-Schlüssel von der OpenAI-Plattform zur Erprobung der Beispiele.
Dauer
45 min — 18 Lektionen
Modalitäten
100 % onlineer Selbstlernkurs, rund um die Uhr über den Browser zugänglich. Der Fortschritt wird gespeichert und kann jederzeit fortgesetzt werden. Geschätzte Dauer: 45 min.
Bewertung
In den Kurs integrierte Validierungsquizze. Jede Lektion endet mit ihren wichtigsten Erkenntnissen, was die Selbstüberprüfung unterstützt.
Barrierefreiheit
Selbstlernkurs, der für Menschen mit Behinderungen zugänglich ist: Textinhalte sind mit Screenreadern kompatibel, unterstützen die Tastaturnavigation und erfüllen die Kontrastanforderungen. Bei Anpassungsbedarf wenden Sie sich bitte per E-Mail an [email protected].
Preis
Kostenlos

Kursinhalt

  1. 01 WebSocket-Architektur der Realtime API
  2. 02 Sessions, events, and lifecycle
  3. 03 Bidirektionales Audio-Streaming
  4. 04 Echtzeit-Funktionaufrufe
  5. 05 Unterbrechungen und Sprechwechsel-Management
  6. 06 Audio-Datei transkribieren: gpt-transcribe und Whisper
  7. 07 Unterstützte Formate und Sprachen
  8. 08 Automatische Übersetzung
  9. 09 Transkriptionsqualität optimieren
  10. 10 Die TTS-API: Spracherzeugung
  11. 11 Verfügbare Stimmen und Anpassungsmöglichkeiten
  12. 12 Echtzeit-Audio-Streaming
  13. 13 Kontrolle von Prosodie und Sprechgeschwindigkeit
  14. 14 Erstellen Sie einen vollständigen Sprach-Agenten
  15. 15 Telefonie-Integration (Twilio, etc.)
  16. 16 Multimodaler Sprachassistent
  17. 17 Latenz und Echtzeit-Optimierung
  18. 18 Produktion: Skalierung und Überwachung