Премини към основното съдържание
Български— Изберете език
Меню

Получаване и възпроизвеждане на аудио отговора

Урок 11 от 16 Обновен 30 юли 2026 г. Програмист
На тази страница
  1. Поточно възпроизвеждане
  2. Архитектура на аудио плейъра
  3. Свързване със събитията на WebSocket
  4. Обработка на прекъсванията
  5. Аудио плейър на Python
  6. Показване на транскрипцията успоредно
  7. Ключови изводи

Поточно възпроизвеждане

Когато гласовият агент генерира отговор, аудиото пристига на части (делти), кодирани в base64. Вашето приложение трябва да ги декодира, да ги постави в опашка и да ги възпроизведе плавно, така че потребителят да чуе един непрекъснат отговор без прекъсвания.

Архитектура на аудио плейъра

Принципът е прост: всяка аудио делта, която получавате, се декодира и добавя към опашка. Процес на възпроизвеждане консумира опашката и изпраща данните към аудио изхода на системата:

class AudioStreamPlayer {
  constructor(sampleRate = 24000) {
    this.audioContext = new AudioContext({ sampleRate });
    this.queue = [];
    this.isPlaying = false;
    this.nextPlayTime = 0;
  }

  enqueue(pcm16ArrayBuffer) {
    // Convert PCM16 to Float32 for the Web Audio API
    const pcm16 = new Int16Array(pcm16ArrayBuffer);
    const float32 = new Float32Array(pcm16.length);
    for (let i = 0; i < pcm16.length; i++) {
      float32[i] = pcm16[i] / 32768.0;
    }

    const buffer = this.audioContext.createBuffer(
      1, float32.length, this.audioContext.sampleRate
    );
    buffer.getChannelData(0).set(float32);

    this.queue.push(buffer);
    if (!this.isPlaying) this.playNext();
  }

  playNext() {
    if (this.queue.length === 0) {
      this.isPlaying = false;
      return;
    }

    this.isPlaying = true;
    const buffer = this.queue.shift();
    const source = this.audioContext.createBufferSource();
    source.buffer = buffer;
    source.connect(this.audioContext.destination);

    const now = this.audioContext.currentTime;
    const startTime = Math.max(now, this.nextPlayTime);
    source.start(startTime);
    this.nextPlayTime = startTime + buffer.duration;

    source.onended = () => this.playNext();
  }

  stop() {
    this.queue = [];
    this.isPlaying = false;
    this.nextPlayTime = 0;
  }
}

Свързване със събитията на WebSocket

Ето как да свържете аудио плейъра със събитията на API:

const player = new AudioStreamPlayer(24000);

ws.on("message", (data) => {
  const event = JSON.parse(data);

  switch (event.type) {
    case "response.output_audio.delta":
      const audioBytes = base64ToArrayBuffer(event.delta);
      player.enqueue(audioBytes);
      break;

    case "response.output_audio.done":
      console.log("Audio response complete");
      break;

    case "input_audio_buffer.speech_started":
      // The user interrupts the agent
      player.stop();
      ws.send(JSON.stringify({ type: "response.cancel" }));
      break;
  }
});

function base64ToArrayBuffer(base64) {
  const binary = atob(base64);
  const bytes = new Uint8Array(binary.length);
  for (let i = 0; i < binary.length; i++) {
    bytes[i] = binary.charCodeAt(i);
  }
  return bytes.buffer;
}

Обработка на прекъсванията

В естествен разговор потребителят може да прекъсне агента, заговорвайки по време на неговия отговор. Вашето приложение трябва да обработи това:

  1. Откриване на прекъсването: събитието speech_started пристига, докато аудиото се възпроизвежда.
  2. Спиране на възпроизвеждането: изпразване на аудио опашката и спиране на звука.
  3. Отказ на отговора: изпращане на response.cancel, за да спре сървърът генерирането.
  4. Изслушване: потребителят има думата и цикълът започва отново.

Този механизъм за „прекъсване“ (barge-in) е от съществено значение за плавен разговор. Без него потребителите биха трябвало да чакат агентът да приключи говоренето, преди да могат да отговорят.

Аудио плейър на Python

За приложение на Python можете да използвате pyaudio за възпроизвеждане:

import pyaudio
import base64
import asyncio
from collections import deque

class AudioPlayer:
    def __init__(self, rate=24000):
        self.p = pyaudio.PyAudio()
        self.stream = self.p.open(
            format=pyaudio.paInt16,
            channels=1,
            rate=rate,
            output=True
        )
        self.queue = deque()

    def enqueue(self, base64_audio):
        audio_bytes = base64.b64decode(base64_audio)
        self.queue.append(audio_bytes)

    def play_all(self):
        while self.queue:
            chunk = self.queue.popleft()
            self.stream.write(chunk)

    def stop(self):
        self.queue.clear()

Показване на транскрипцията успоредно

Докато аудиото се възпроизвежда, можете да показвате транскрипцията на отговора в реално време чрез събитията response.output_audio_transcript.delta. Така потребителите могат да четат какво казва агентът, което помага в шумна среда и за достъпност:

let currentTranscript = "";

case "response.output_audio_transcript.delta":
  currentTranscript += event.delta;
  updateTranscriptDisplay(currentTranscript);
  break;

Ключови изводи

  • Аудиото на отговора пристига като chunks в base64 чрез response.output_audio.delta
  • Използвайте аудио опашка, за да гарантирате непрекъснато възпроизвеждане без прекъсвания
  • Обработвайте прекъсванията (barge-in), като спирате възпроизвеждането и отказвате отговора
  • Показвайте транскрипцията успоредно с аудиото, за да подобрите достъпността
  • Web Audio API на браузъра изисква конвертиране от base64 към PCM16 и след това към Float32