Μετάβαση στο κύριο περιεχόμενο
Ελληνικά— Επιλέξτε γλώσσα
Μενού

Λήψη και αναπαραγωγή του ήχου απόκρισης

Μάθημα 11 / 16 Ενημερώθηκε 30 Ιουλίου 2026 Για developers
Σε αυτήν τη σελίδα
  1. Αναπαραγωγή ροής (Streaming)
  2. Αρχιτεκτονική του αναπαραγωγέα ήχου
  3. Σύνδεση με τα γεγονότα WebSocket
  4. Διαχείριση διακοπών
  5. Αναπαραγωγέας ήχου σε Python
  6. Εμφάνιση της μεταγραφής παράλληλα
  7. Βασικά σημεία

Αναπαραγωγή ροής (Streaming)

Όταν ο φωνητικός πράκτορας δημιουργεί μια απόκριση, ο ήχος φτάνει σε τμήματα (deltas) κωδικοποιημένα σε base64. Η εφαρμογή σας πρέπει να τα αποκωδικοποιεί, να τα θέτει σε ουρά και να τα αναπαράγει ομαλά, ώστε ο χρήστης να ακούει μια ενιαία, συνεχόμενη απόκριση χωρίς κενά.

Αρχιτεκτονική του αναπαραγωγέα ήχου

Η αρχή είναι απλή: κάθε δέλτα ήχου που λαμβάνετε αποκωδικοποιείται και προστίθεται σε μια ουρά. Μια διαδικασία αναπαραγωγής καταναλώνει την ουρά και στέλνει τα δεδομένα στην έξοδο ήχου του συστήματος:

class AudioStreamPlayer {
  constructor(sampleRate = 24000) {
    this.audioContext = new AudioContext({ sampleRate });
    this.queue = [];
    this.isPlaying = false;
    this.nextPlayTime = 0;
  }

  enqueue(pcm16ArrayBuffer) {
    // Μετατροπή PCM16 σε Float32 για το Web Audio API
    const pcm16 = new Int16Array(pcm16ArrayBuffer);
    const float32 = new Float32Array(pcm16.length);
    for (let i = 0; i < pcm16.length; i++) {
      float32[i] = pcm16[i] / 32768.0;
    }

    const buffer = this.audioContext.createBuffer(
      1, float32.length, this.audioContext.sampleRate
    );
    buffer.getChannelData(0).set(float32);

    this.queue.push(buffer);
    if (!this.isPlaying) this.playNext();
  }

  playNext() {
    if (this.queue.length === 0) {
      this.isPlaying = false;
      return;
    }

    this.isPlaying = true;
    const buffer = this.queue.shift();
    const source = this.audioContext.createBufferSource();
    source.buffer = buffer;
    source.connect(this.audioContext.destination);

    const now = this.audioContext.currentTime;
    const startTime = Math.max(now, this.nextPlayTime);
    source.start(startTime);
    this.nextPlayTime = startTime + buffer.duration;

    source.onended = () => this.playNext();
  }

  stop() {
    this.queue = [];
    this.isPlaying = false;
    this.nextPlayTime = 0;
  }
}

Σύνδεση με τα γεγονότα WebSocket

Ακολουθεί ο τρόπος σύνδεσης του αναπαραγωγέα ήχου με τα γεγονότα του API:

const player = new AudioStreamPlayer(24000);

ws.on("message", (data) => {
  const event = JSON.parse(data);

  switch (event.type) {
    case "response.output_audio.delta":
      const audioBytes = base64ToArrayBuffer(event.delta);
      player.enqueue(audioBytes);
      break;

    case "response.output_audio.done":
      console.log("Audio response complete");
      break;

    case "input_audio_buffer.speech_started":
      // Ο χρήστης διακόπτει τον πράκτορα
      player.stop();
      ws.send(JSON.stringify({ type: "response.cancel" }));
      break;
  }
});

function base64ToArrayBuffer(base64) {
  const binary = atob(base64);
  const bytes = new Uint8Array(binary.length);
  for (let i = 0; i < binary.length; i++) {
    bytes[i] = binary.charCodeAt(i);
  }
  return bytes.buffer;
}

Διαχείριση διακοπών

Σε μια φυσική συνομιλία, ο χρήστης μπορεί να διακόψει τον πράκτορα μιλώντας ταυτόχρονα με την απόκρισή του. Η εφαρμογή σας πρέπει να το διαχειριστεί αυτό:

  1. Εντοπισμός της διακοπής: το γεγονός speech_started φτάνει ενώ ο ήχος αναπαράγεται.
  2. Διακοπή αναπαραγωγής: εκκένωση της ουράς ήχου και παύση του ήχου.
  3. Ακύρωση της απόκρισης: αποστολή του response.cancel ώστε ο διακομιστής να σταματήσει τη δημιουργία.
  4. Ακρόαση: ο χρήστης έχει τον λόγο και ο κύκλος ξεκινά εκ νέου.

Αυτός ο μηχανισμός «barge-in» είναι απαραίτητος για μια ρευστή συνομιλία. Χωρίς αυτόν, οι χρήστες θα έπρεπε να περιμένουν να ολοκληρώσει ο πράκτορας την ομιλία του πριν μπορέσουν να απαντήσουν.

Αναπαραγωγέας ήχου σε Python

Για μια εφαρμογή Python, μπορείτε να χρησιμοποιήσετε το pyaudio για αναπαραγωγή:

import pyaudio
import base64
import asyncio
from collections import deque

class AudioPlayer:
    def __init__(self, rate=24000):
        self.p = pyaudio.PyAudio()
        self.stream = self.p.open(
            format=pyaudio.paInt16,
            channels=1,
            rate=rate,
            output=True
        )
        self.queue = deque()

    def enqueue(self, base64_audio):
        audio_bytes = base64.b64decode(base64_audio)
        self.queue.append(audio_bytes)

    def play_all(self):
        while self.queue:
            chunk = self.queue.popleft()
            self.stream.write(chunk)

    def stop(self):
        self.queue.clear()

Εμφάνιση της μεταγραφής παράλληλα

Ενώ αναπαράγεται ο ήχος, μπορείτε να εμφανίζετε τη μεταγραφή της απόκρισης σε πραγματικό χρόνο μέσω των γεγονότων response.output_audio_transcript.delta. Έτσι, οι χρήστες μπορούν να διαβάζουν τι λέει ο πράκτορας, κάτι που βοηθά σε θορυβώδη περιβάλλοντα και βελτιώνει την προσβασιμότητα:

let currentTranscript = "";

case "response.output_audio_transcript.delta":
  currentTranscript += event.delta;
  updateTranscriptDisplay(currentTranscript);
  break;

Βασικά σημεία

  • Ο ήχος απόκρισης φτάνει ως τμήματα base64 μέσω του response.output_audio.delta
  • Χρησιμοποιήστε μια ουρά ήχου για να εξασφαλίσετε συνεχή αναπαραγωγή χωρίς κενά
  • Διαχειριστείτε τις διακοπές (barge-in) σταματώντας την αναπαραγωγή και ακυρώνοντας την απόκριση
  • Εμφανίστε τη μεταγραφή παράλληλα με τον ήχο για βελτίωση της προσβασιμότητας
  • Το Web Audio API του προγράμματος περιήγησης απαιτεί μετατροπή από base64 σε PCM16 και στη συνέχεια σε Float32