Deutsche Ausgabe
Voice Agent API: Echtzeitgespräche
Entwickeln Sie Voice-Agents über WebSocket: VAD, Sprach-Funktionsaufrufe, Events und SIP-Telefonintegration.
16 Lektionen ca. 1 h Entwickler
Das lernen Sie
- Öffnen einer Echtzeit-WebSocket-Sitzung, die mit ephemeren Tokens authentifiziert und über session.update konfiguriert ist
- Verarbeiten von PCM- und G.711-Audioströmen unter Verwaltung der automatischen Spracherkennung
- Handhabung des Event-Zyklus von Client-zu-Server und Server-zu-Client während eines Gesprächs
- Auslösen von Sprach-Funktionsaufrufen und integrierten Tools während eines Live-Austauschs
- Verbinden eines Voice-Agents mit der Telefonie über SIP und LiveKit sowie Konvertieren von Audio in Python
Kursübersicht
- Zielgruppe
- Entwickler, Ingenieure und Integratoren, die Grok über die API in ihren Anwendungen nutzen möchten.
- Voraussetzungen
- Fähigkeit, Python oder JavaScript sowie JSON zu lesen, plus grundlegende Kenntnisse der Befehlszeile. Ein API-Schlüssel von der xAI-Konsole, um die Beispiele auszuprobieren.
- Dauer
- 1 h — 16 Lektionen
- Modalitäten
- 100 % online und selbstgesteuert, rund um die Uhr von jedem Browser aus verfügbar. Ihr Fortschritt wird gespeichert, sodass Sie jederzeit dort weitermachen können, wo Sie aufgehört haben. Geschätzte Zeit: 1 h.
- Bewertung
- Selbsteinschätzung mit den wichtigsten Erkenntnissen am Ende jeder Lektion sowie praktische Übung durch Anwendung der Beispiele auf eigene Use Cases. Ein abschließendes Quiz mit 5 Fragen und Antworten am Ende der letzten Lektion ermöglicht es Ihnen, Ihr gelerntes Wissen zu überprüfen.
- Barrierefreiheit
- Dieser Kurs ist so konzipiert, dass er für Menschen mit Behinderungen zugänglich ist: Textinhalte sind mit Screenreadern kompatibel, die Navigation erfolgt über die Tastatur, und die Farbkontraste entsprechen den Standards. Für Anfragen nach Anpassungen senden Sie bitte eine E-Mail an [email protected].
- Preis
- Kostenlos
Kursinhalt
- 01 Der WebSocket-Endpunkt und die Echtzeit-Verbindung
- 02 Authentifizierung und temporäre Tokens
- 03 Konfigurieren Sie die Sitzung mit session.update
- 04 Die Ereignisse session.created und session.updated
- 05 Audio-Formate: PCM und G.711
- 06 VAD: automatische Spracherkennung
- 07 Audio mit input_audio_buffer.append senden
- 08 Audio-Buffer festlegen und leeren
- 09 Client-zu-Server-Ereignisse
- 10 Server-zu-Klient-Events
- 11 Empfang und Wiedergabe der Antwort-Audio
- 12 MCP-Ereignisse in Sprachgesprächen
- 13 Voice-Funktionsaufrufe
- 14 Eingebaute Werkzeuge: Websuche, X und Sammlungen
- 15 Telefonie: SIP, LiveKit und G.711
- 16 Audio-Umwandlungsbibliotheken in Python