Λήψη και αναπαραγωγή του ήχου απόκρισης
Σε αυτήν τη σελίδα
Αναπαραγωγή ροής (Streaming)
Όταν ο φωνητικός πράκτορας δημιουργεί μια απόκριση, ο ήχος φτάνει σε τμήματα (deltas) κωδικοποιημένα σε base64. Η εφαρμογή σας πρέπει να τα αποκωδικοποιεί, να τα θέτει σε ουρά και να τα αναπαράγει ομαλά, ώστε ο χρήστης να ακούει μια ενιαία, συνεχόμενη απόκριση χωρίς κενά.
Αρχιτεκτονική του αναπαραγωγέα ήχου
Η αρχή είναι απλή: κάθε δέλτα ήχου που λαμβάνετε αποκωδικοποιείται και προστίθεται σε μια ουρά. Μια διαδικασία αναπαραγωγής καταναλώνει την ουρά και στέλνει τα δεδομένα στην έξοδο ήχου του συστήματος:
class AudioStreamPlayer {
constructor(sampleRate = 24000) {
this.audioContext = new AudioContext({ sampleRate });
this.queue = [];
this.isPlaying = false;
this.nextPlayTime = 0;
}
enqueue(pcm16ArrayBuffer) {
// Μετατροπή PCM16 σε Float32 για το Web Audio API
const pcm16 = new Int16Array(pcm16ArrayBuffer);
const float32 = new Float32Array(pcm16.length);
for (let i = 0; i < pcm16.length; i++) {
float32[i] = pcm16[i] / 32768.0;
}
const buffer = this.audioContext.createBuffer(
1, float32.length, this.audioContext.sampleRate
);
buffer.getChannelData(0).set(float32);
this.queue.push(buffer);
if (!this.isPlaying) this.playNext();
}
playNext() {
if (this.queue.length === 0) {
this.isPlaying = false;
return;
}
this.isPlaying = true;
const buffer = this.queue.shift();
const source = this.audioContext.createBufferSource();
source.buffer = buffer;
source.connect(this.audioContext.destination);
const now = this.audioContext.currentTime;
const startTime = Math.max(now, this.nextPlayTime);
source.start(startTime);
this.nextPlayTime = startTime + buffer.duration;
source.onended = () => this.playNext();
}
stop() {
this.queue = [];
this.isPlaying = false;
this.nextPlayTime = 0;
}
}
Σύνδεση με τα γεγονότα WebSocket
Ακολουθεί ο τρόπος σύνδεσης του αναπαραγωγέα ήχου με τα γεγονότα του API:
const player = new AudioStreamPlayer(24000);
ws.on("message", (data) => {
const event = JSON.parse(data);
switch (event.type) {
case "response.output_audio.delta":
const audioBytes = base64ToArrayBuffer(event.delta);
player.enqueue(audioBytes);
break;
case "response.output_audio.done":
console.log("Audio response complete");
break;
case "input_audio_buffer.speech_started":
// Ο χρήστης διακόπτει τον πράκτορα
player.stop();
ws.send(JSON.stringify({ type: "response.cancel" }));
break;
}
});
function base64ToArrayBuffer(base64) {
const binary = atob(base64);
const bytes = new Uint8Array(binary.length);
for (let i = 0; i < binary.length; i++) {
bytes[i] = binary.charCodeAt(i);
}
return bytes.buffer;
}
Διαχείριση διακοπών
Σε μια φυσική συνομιλία, ο χρήστης μπορεί να διακόψει τον πράκτορα μιλώντας ταυτόχρονα με την απόκρισή του. Η εφαρμογή σας πρέπει να το διαχειριστεί αυτό:
- Εντοπισμός της διακοπής: το γεγονός
speech_startedφτάνει ενώ ο ήχος αναπαράγεται. - Διακοπή αναπαραγωγής: εκκένωση της ουράς ήχου και παύση του ήχου.
- Ακύρωση της απόκρισης: αποστολή του
response.cancelώστε ο διακομιστής να σταματήσει τη δημιουργία. - Ακρόαση: ο χρήστης έχει τον λόγο και ο κύκλος ξεκινά εκ νέου.
Αυτός ο μηχανισμός «barge-in» είναι απαραίτητος για μια ρευστή συνομιλία. Χωρίς αυτόν, οι χρήστες θα έπρεπε να περιμένουν να ολοκληρώσει ο πράκτορας την ομιλία του πριν μπορέσουν να απαντήσουν.
Αναπαραγωγέας ήχου σε Python
Για μια εφαρμογή Python, μπορείτε να χρησιμοποιήσετε το pyaudio για αναπαραγωγή:
import pyaudio
import base64
import asyncio
from collections import deque
class AudioPlayer:
def __init__(self, rate=24000):
self.p = pyaudio.PyAudio()
self.stream = self.p.open(
format=pyaudio.paInt16,
channels=1,
rate=rate,
output=True
)
self.queue = deque()
def enqueue(self, base64_audio):
audio_bytes = base64.b64decode(base64_audio)
self.queue.append(audio_bytes)
def play_all(self):
while self.queue:
chunk = self.queue.popleft()
self.stream.write(chunk)
def stop(self):
self.queue.clear()
Εμφάνιση της μεταγραφής παράλληλα
Ενώ αναπαράγεται ο ήχος, μπορείτε να εμφανίζετε τη μεταγραφή της απόκρισης σε πραγματικό χρόνο μέσω των γεγονότων response.output_audio_transcript.delta. Έτσι, οι χρήστες μπορούν να διαβάζουν τι λέει ο πράκτορας, κάτι που βοηθά σε θορυβώδη περιβάλλοντα και βελτιώνει την προσβασιμότητα:
let currentTranscript = "";
case "response.output_audio_transcript.delta":
currentTranscript += event.delta;
updateTranscriptDisplay(currentTranscript);
break;
Βασικά σημεία
- Ο ήχος απόκρισης φτάνει ως τμήματα base64 μέσω του
response.output_audio.delta - Χρησιμοποιήστε μια ουρά ήχου για να εξασφαλίσετε συνεχή αναπαραγωγή χωρίς κενά
- Διαχειριστείτε τις διακοπές (barge-in) σταματώντας την αναπαραγωγή και ακυρώνοντας την απόκριση
- Εμφανίστε τη μεταγραφή παράλληλα με τον ήχο για βελτίωση της προσβασιμότητας
- Το Web Audio API του προγράμματος περιήγησης απαιτεί μετατροπή από base64 σε PCM16 και στη συνέχεια σε Float32