Léim go dtí an príomhábhar
Gaeilge— Roghnaigh teanga
Roghchlár

Faigh agus seinm an fhreagra fuaime

Ceacht 11 as 16 Nuashonraithe 30 Iúil 2026 Forbróir
Ar an leathanach seo
  1. Seinm sruthaithe
  2. Ailtireacht an seinnteora fuaime
  3. Ceangail leis na himeachtaí WebSocket
  4. Cur isteach a láimhseáil
  5. Seinnteoir fuaime i bPython
  6. Taispeáin an tras-scríbhinn in éineacht
  7. Príomhphointí

Seinm sruthaithe

Nuair a ghineann an gníomhaire gutha freagra, tagann an fhuaim i bpíosaí atá ionchódaithe i mbonn64 (deiltí). Caithfidh d’fheidhmchlár iad a dhíchódú, iad a chur i scuaine, agus iad a sheinm go réidh ionas go gcloiseann an t-úsáideoir freagra leanúnach amháin gan bearnaí.

Ailtireacht an seinnteora fuaime

Tá an prionsabal simplí: déantar gach deilt fuaime a fhaigheann tú a dhíchódú agus a chur le scuaine. Baineann próiseas seinmte úsáid as an scuaine agus seolann sé na sonraí chuig aschur fuaime an chórais:

class AudioStreamPlayer {
  constructor(sampleRate = 24000) {
    this.audioContext = new AudioContext({ sampleRate });
    this.queue = [];
    this.isPlaying = false;
    this.nextPlayTime = 0;
  }

  enqueue(pcm16ArrayBuffer) {
    // Convert PCM16 to Float32 for the Web Audio API
    const pcm16 = new Int16Array(pcm16ArrayBuffer);
    const float32 = new Float32Array(pcm16.length);
    for (let i = 0; i < pcm16.length; i++) {
      float32[i] = pcm16[i] / 32768.0;
    }

    const buffer = this.audioContext.createBuffer(
      1, float32.length, this.audioContext.sampleRate
    );
    buffer.getChannelData(0).set(float32);

    this.queue.push(buffer);
    if (!this.isPlaying) this.playNext();
  }

  playNext() {
    if (this.queue.length === 0) {
      this.isPlaying = false;
      return;
    }

    this.isPlaying = true;
    const buffer = this.queue.shift();
    const source = this.audioContext.createBufferSource();
    source.buffer = buffer;
    source.connect(this.audioContext.destination);

    const now = this.audioContext.currentTime;
    const startTime = Math.max(now, this.nextPlayTime);
    source.start(startTime);
    this.nextPlayTime = startTime + buffer.duration;

    source.onended = () => this.playNext();
  }

  stop() {
    this.queue = [];
    this.isPlaying = false;
    this.nextPlayTime = 0;
  }
}

Ceangail leis na himeachtaí WebSocket

Seo conas an seinnteoir fuaime a cheangal le himeachtaí an API:

const player = new AudioStreamPlayer(24000);

ws.on("message", (data) => {
  const event = JSON.parse(data);

  switch (event.type) {
    case "response.output_audio.delta":
      const audioBytes = base64ToArrayBuffer(event.delta);
      player.enqueue(audioBytes);
      break;

    case "response.output_audio.done":
      console.log("Audio response complete");
      break;

    case "input_audio_buffer.speech_started":
      // The user interrupts the agent
      player.stop();
      ws.send(JSON.stringify({ type: "response.cancel" }));
      break;
  }
});

function base64ToArrayBuffer(base64) {
  const binary = atob(base64);
  const bytes = new Uint8Array(binary.length);
  for (let i = 0; i < binary.length; i++) {
    bytes[i] = binary.charCodeAt(i);
  }
  return bytes.buffer;
}

Cur isteach a láimhseáil

I gcomhrá nádúrtha, is féidir leis an úsáideoir cur isteach ar an ngníomhaire trí labhairt thar a fhreagra. Caithfidh d’fheidhmchlár é sin a láimhseáil:

  1. Braith an cur isteach: tagann an t-imeacht speech_started agus fuaim á seinm
  2. Stad an tseinm: folmhaigh an scuaine fuaime agus cuir deireadh leis an bhfuaim
  3. Cealaigh an freagra: seol response.cancel ionas go stopfaidh an freastalaí ag giniúint
  4. Éist: tá an urlár ag an úsáideoir, agus tosaíonn an timthriall arís

Tá an mheicníocht “barge-in” seo riachtanach le haghaidh comhrá sreabhach. Gan í, bheadh ar úsáideoirí fanacht go mbeadh an gníomhaire críochnaithe ag caint sular fhéadfaidís freagairt.

Seinnteoir fuaime i bPython

Le haghaidh feidhmchláir Python, is féidir leat pyaudio a úsáid don tseinm:

import pyaudio
import base64
import asyncio
from collections import deque

class AudioPlayer:
    def __init__(self, rate=24000):
        self.p = pyaudio.PyAudio()
        self.stream = self.p.open(
            format=pyaudio.paInt16,
            channels=1,
            rate=rate,
            output=True
        )
        self.queue = deque()

    def enqueue(self, base64_audio):
        audio_bytes = base64.b64decode(base64_audio)
        self.queue.append(audio_bytes)

    def play_all(self):
        while self.queue:
            chunk = self.queue.popleft()
            self.stream.write(chunk)

    def stop(self):
        self.queue.clear()

Taispeáin an tras-scríbhinn in éineacht

Cé go bhfuil an fhuaim á seinm, is féidir leat tras-scríbhinn an fhreagra a thaispeáint i bhfíor-am leis na himeachtaí response.output_audio_transcript.delta. Is féidir le húsáideoirí ansin léamh cad atá an gníomhaire a rá, rud a chuidíonn i dtimpeallachtaí torannacha agus don inrochtaineacht:

let currentTranscript = "";

case "response.output_audio_transcript.delta":
  currentTranscript += event.delta;
  updateTranscriptDisplay(currentTranscript);
  break;

Príomhphointí

  • Tagann fuaim fhreagra mar chodanna bonn64 trí response.output_audio.delta
  • Úsáid scuaine fuaime chun seinm leanúnach a ráthú gan bearnaí
  • Láimhseáil cur isteach (barge-in) trí sheinm a stopadh agus an freagra a chealú
  • Taispeáin an tras-scríbhinn in éineacht leis an bhfuaim chun inrochtaineacht a fheabhsú
  • Teastaíonn tiontú ó bhonn64 go PCM16 go Float32 ó API Fuaime Gréasáin an bhrabhsálaí