Zum Hauptinhalt springen
Deutsch— Sprache auswählen
Menü

Interaktive Sprachassistenten erstellen

Lektion 10 von 14 Aktualisiert am 29. Juli 2026 Mittelstufe
Auf dieser Seite
  1. Vom Prototyp zum produktiven Sprachassistenten
  2. Der Web-Assistent im Browser
  3. Der mobile Assistent
  4. Das interaktive Kiosk
  5. Muster, die alle drei Architekturen teilen
  6. Kernaussagen

Vom Prototyp zum produktiven Sprachassistenten

Sie wissen, wie man eine Voice-Agent-Sitzung konfiguriert und Audio mit TTS erzeugt. Was fehlt, ist das Zusammenfügen dieser Bausteine zu einem Produkt, das echten Nutzern standhält. Drei Architekturen tauchen immer wieder auf (Browser, Mobilgerät und interaktives Kiosk), und jede von ihnen stellt technische Anforderungen, lange bevor die Qualität des Modells eine Rolle spielt.

Der Web-Assistent im Browser

Dies ist der häufigste Ausgangspunkt: Ein Mikrofon-Button in einer bestehenden App, der Nutzer spricht, und der Assistent antwortet laut. Der technische Ablauf verläuft wie folgt:

  1. Der Nutzer klickt auf den Button: Sie beginnen die Audioaufnahme mit MediaRecorder oder AudioWorklet.
  2. Das aufgezeichnete Audio wird in base64 PCM umgewandelt und über WebSocket an den Voice Agent gesendet.
  3. Serverseitige VAD erkennt das Ende der Sprache und generiert eine Antwort.
  4. Die Audio-Blöcke der Antwort kommen über response.output_audio.delta an.
  5. Sie decodieren sie und spielen sie mit AudioContext ab.

Das Problem entsteht selten in diesem Zyklus, sondern im Browser selbst. Safari verlangt, dass der AudioContext innerhalb eines Benutzer-Event-Handlers erstellt wird. Erstellen Sie ihn beim ersten Klick auf den Mikrofon-Button, nicht beim Laden der Seite, sonst erhalten Sie einen unterbrochenen Kontext und totale Stille. Die Autoplay-Richtlinie weist in dieselbe Richtung: Ohne vorherige Benutzerinteraktion startet keine Audio-Wiedergabe, was eine Begrüßung ausschließt, die automatisch abgespielt wird, wenn jemand auf die Seite gelangt. Für Ausgabeformate bleiben Sie bei PCM oder MP3, da Browser mulaw und alaw nicht nativ abspielen können. Der API-Schlüssel kommt niemals in den Client-Code: Er bleibt auf Ihrem Server, und der Browser verwendet stattdessen einen vorübergehenden Token (Lektion 13).

Auch die Aufnahme benötigt Feinabstimmung:

const stream = await navigator.mediaDevices.getUserMedia({
  audio: {
    sampleRate: 24000,
    channelCount: 1,
    echoCancellation: true,
    noiseSuppression: true
  }
});

Echo-Unterdrückung und Rauschunterdrückung sind keine Extras. Ohne sie nimmt das Mikrofon die Antwort des Assistenten auf, die aus den Lautsprechern kommt, die VAD nimmt dies für die Sprache des Nutzers und der Agent unterbricht sich selbst ständig. Testen Sie immer ohne Kopfhörer: Das ist die Konfiguration, bei der Rückkopplungen auftreten.

Der mobile Assistent

Bei React Native oder Flutter bleibt das Prinzip gleich, aber die Umgebung ist anspruchsvoller. Nutzen Sie die nativen Aufnahme-APIs (AVAudioEngine auf iOS, AudioRecord auf Android) statt einer generischen Abstraktion: Die Qualität des Eingangssignals beeinflusst die Erkennung direkt. Bauen Sie eine automatische Wiederverbindung ein, da der WebSocket abbricht, sobald die App in den Hintergrund geht, was genau dann passiert, wenn während eines Gesprächs eine Benachrichtigung eingeht.

Zwei Dinge gleiten oft durch das interne Testing durch. Das erste ist die Audio-Verbindung: Lautsprecher oder Hörer, das erwartete Verhalten unterscheidet sich je nachdem, ob der Nutzer das Telefon an das Ohr hält oder es auf einen Tisch legt. Das zweite ist Bluetooth, dessen eigene Latenz sich auf die Netzwerk- und Modelllatenz aufaddiert; ein Gespräch, das mit dem integrierten Mikrofon flüssig verläuft, kann mit kabellosen Ohrhörern ruckelig werden.

Das interaktive Kiosk

Für ein Kiosk in einem Geschäft, an einer Hotel-Rezeption oder in einem Museumsgang wird die dominante Einschränkung zur Klangumgebung. Ein kardioides, richtungsabhängiges Mikrofon begrenzt die Aufnahmemenge auf die Person, die direkt vor dem Kiosk steht. Zählen Sie nicht darauf, dass eine Empfindlichkeits-Einstellung die Menge an Hintergrundlärm filtert: Die Sprechwechsel-Erkennung des Voice Agenten gibt nur type und idle_timeout_ms vor, ohne einen Schwellenwert zu erhöhen. Wenn der Veranstaltungsort wirklich laut ist, wie ein Bahnhofsvorplatz oder eine Messe, ist Push-to-Talk mit einer physischen Taste zuverlässiger als jede automatische Erkennung.

Denken Sie schließlich daran, Sitzungen nach zwei bis drei Minuten Inaktivität zu schließen. Andernfalls lässt ein Besucher, der mitten im Gespräch wegwandelt, eine Sitzung offen, die Ihre Ressourcen verbraucht und einen Ihrer parallelen Slots belegt.

Muster, die alle drei Architekturen teilen

Der Voice Agent behält die Gesprächsgeschichte für die gesamte Sitzung bei. Sie können ihn vor dem ersten Wort mit nützlichem Kontext aufladen, wie der Identität des angemeldeten Kunden oder einer laufenden Bestellung, mit conversation.item.create:

{
  "type": "conversation.item.create",
  "item": {
    "type": "message",
    "role": "system",
    "content": [
      {
        "type": "text",
        "text": "Der angemeldete Kunde ist Sarah Miller, Kundennummer C-4521. Sie hat eine laufende Bestellung, CMD-8834."
      }
    ]
  }
}

Der Agent fragt dann nicht mehr nach Informationen, die Ihre App bereits hat, was pro Gespräch etwa zehn Sekunden einspart.

Damit der Assistent zuerst spricht, fügen Sie eine initiale Nachricht ein und lösen Sie dann die Antwort aus:

{
  "type": "conversation.item.create",
  "item": {
    "type": "message",
    "role": "user",
    "content": [{ "type": "text", "text": "Hallo" }]
  }
}

Ein { "type": "response.create" }, das direkt danach gesendet wird, löst die Begrüßung aus.

Das bleibt die visuelle Rückmeldung, die meist zuletzt behandelt wird, obwohl sie stark auf das Produktgefühl einwirkt. Zeigen Sie einen Indikator, während der Agent spricht (eine Schallwelle, ein animiertes Avatar) und einen anderen, während Sie Audio aufnehmen. Ohne dieses Signal können Nutzer nicht erkennen, ob sie sprechen sollen, ob sie gehört werden oder ob die App abgestürzt ist, und sie sprechen über den Agenten.

Kernaussagen

  • Drei Hauptarchitekturen: Web, Mobil und Kiosk, jede mit ihren eigenen Einschränkungen
  • Audio im Browser erfordert Sorgfalt (AudioContext in Safari, Autoplay-Richtlinie)
  • Laden Sie den Gesprächskontext mit conversation.item.create vor, um das Erlebnis zu personalisieren
  • Eine Begrüßung und visuelle Rückmeldung verbessern das Nutzererlebnis erheblich