Deutsche Ausgabe
Realtime API und Voice Agents
Dieser Kurs behandelt die Realtime API, Whisper, TTS sowie die Entwicklung vollständiger Voice Agents für Telefonie und Assistenzsysteme.
18 Lektionen ca. 45 min Entwickler
Das lernen Sie
- Eine WebSocket-Sitzung mit der Realtime API herstellen und Lebenszyklusereignisse verwalten
- Bidirektionales Audio streamen und dabei Unterbrechungen sowie die Verwaltung von Sprecherwechseln handhaben
- Audiodateien mit Whisper transkribieren und übersetzen und die Qualität sprachspezifisch optimieren
- Sprache mit der TTS-API generieren und dabei Stimme, Prosodie und Geschwindigkeit steuern
- Einen Voice Agent entwickeln, der in Telefoniesysteme integriert ist, und dessen Latenz im Produktivbetrieb beherrschen
Kursübersicht
- Zielgruppe
- Entwickler, Ingenieure und Integratoren, die ChatGPT über die API in ihren Anwendungen nutzen möchten.
- Voraussetzungen
- Fähigkeit, Python und JSON zu lesen, Grundkenntnisse der Kommandozeile. Ein API-Schlüssel von der OpenAI-Plattform zur Erprobung der Beispiele.
- Dauer
- 45 min — 18 Lektionen
- Modalitäten
- 100 % onlineer Selbstlernkurs, rund um die Uhr über den Browser zugänglich. Der Fortschritt wird gespeichert und kann jederzeit fortgesetzt werden. Geschätzte Dauer: 45 min.
- Bewertung
- In den Kurs integrierte Validierungsquizze. Jede Lektion endet mit ihren wichtigsten Erkenntnissen, was die Selbstüberprüfung unterstützt.
- Barrierefreiheit
- Selbstlernkurs, der für Menschen mit Behinderungen zugänglich ist: Textinhalte sind mit Screenreadern kompatibel, unterstützen die Tastaturnavigation und erfüllen die Kontrastanforderungen. Bei Anpassungsbedarf wenden Sie sich bitte per E-Mail an [email protected].
- Preis
- Kostenlos
Kursinhalt
- 01 WebSocket-Architektur der Realtime API
- 02 Sessions, events, and lifecycle
- 03 Bidirektionales Audio-Streaming
- 04 Echtzeit-Funktionaufrufe
- 05 Unterbrechungen und Sprechwechsel-Management
- 06 Audio-Datei transkribieren: gpt-transcribe und Whisper
- 07 Unterstützte Formate und Sprachen
- 08 Automatische Übersetzung
- 09 Transkriptionsqualität optimieren
- 10 Die TTS-API: Spracherzeugung
- 11 Verfügbare Stimmen und Anpassungsmöglichkeiten
- 12 Echtzeit-Audio-Streaming
- 13 Kontrolle von Prosodie und Sprechgeschwindigkeit
- 14 Erstellen Sie einen vollständigen Sprach-Agenten
- 15 Telefonie-Integration (Twilio, etc.)
- 16 Multimodaler Sprachassistent
- 17 Latenz und Echtzeit-Optimierung
- 18 Produktion: Skalierung und Überwachung