Siirry pääsisältöön
Suomi— Valitse kieli
Valikko

Lähetä ääntä input_audio_buffer.append-komennolla

Oppitunti 7 / 16 Päivitetty 30. heinäkuuta 2026 Kehittäjä
Tällä sivulla
  1. Äänen suoratoisto palvelimelle
  2. Tapahtuman rakenne
  3. Äänen kaappaus selaimessa
  4. Äänen kaappaus Pythonilla
  5. Palan koko ja lähetystiheys
  6. Kaiunvaimennus
  7. Keskeiset asiat

Äänen suoratoisto palvelimelle

Kun istunto on määritetty, voit aloittaa äänen suoratoiston palvelimelle. input_audio_buffer.append-tapahtuma lähettää base64-koodattuja äänipaloja.

Tapahtuman rakenne

{
  "type": "input_audio_buffer.append",
  "audio": "SGVsbG8gV29ybGQ..."
}

audio-kenttä sisältää raakaa äänidataa base64-koodattuna. Sen formaatin on vastattava session.update-komennolla määritettyä asetusta (oletuksena 16-bittinen little-endian PCM taajuudella 24000 Hz).

Äänen kaappaus selaimessa

Selaimen Web Audio API:n avulla voit kaapata mikrofonin äänen ja lähettää datan reaaliajassa:

async function startCapture(ws) {
  const stream = await navigator.mediaDevices.getUserMedia({
    audio: {
      sampleRate: 24000,
      channelCount: 1,
      echoCancellation: true,
      noiseSuppression: true
    }
  });

  const audioContext = new AudioContext({ sampleRate: 24000 });
  const source = audioContext.createMediaStreamSource(stream);
  const processor = audioContext.createScriptProcessor(4096, 1, 1);

  processor.onaudioprocess = (event) => {
    const inputData = event.inputBuffer.getChannelData(0);
    const pcm16 = float32ToPCM16(inputData);
    const base64 = arrayBufferToBase64(pcm16.buffer);

    ws.send(JSON.stringify({
      type: "input_audio_buffer.append",
      audio: base64
    }));
  };

  source.connect(processor);
  processor.connect(audioContext.destination);
}

function float32ToPCM16(float32Array) {
  const pcm16 = new Int16Array(float32Array.length);
  for (let i = 0; i < float32Array.length; i++) {
    const s = Math.max(-1, Math.min(1, float32Array[i]));
    pcm16[i] = s < 0 ? s * 0x8000 : s * 0x7FFF;
  }
  return pcm16;
}

function arrayBufferToBase64(buffer) {
  const bytes = new Uint8Array(buffer);
  let binary = "";
  for (let i = 0; i < bytes.byteLength; i++) {
    binary += String.fromCharCode(bytes[i]);
  }
  return btoa(binary);
}

Äänen kaappaus Pythonilla

pyaudio-kirjaston avulla voit kaapata mikrofonin äänen ja lähettää datapalat:

import pyaudio
import base64
import json

RATE = 24000
CHUNK = 4096
FORMAT = pyaudio.paInt16
CHANNELS = 1

p = pyaudio.PyAudio()
stream = p.open(
    format=FORMAT,
    channels=CHANNELS,
    rate=RATE,
    input=True,
    frames_per_buffer=CHUNK
)

async def send_audio(ws):
    while True:
        data = stream.read(CHUNK, exception_on_overflow=False)
        audio_b64 = base64.b64encode(data).decode("utf-8")
        await ws.send(json.dumps({
            "type": "input_audio_buffer.append",
            "audio": audio_b64
        }))

Palan koko ja lähetystiheys

Palan koko vaikuttaa viiveeseen ja suorituskykyyn:

  • Pienet palat (1024 näytettä / ~42 ms): minimaalinen viive, mutta enemmän WebSocket-viestejä
  • Keskikokoiset palat (4096 näytettä / ~170 ms): hyvä kompromissi
  • Suuret palat (8192 näytettä / ~341 ms): vähemmän viestejä, mutta huomattava viive

Luontevaa keskustelua varten lähetä pala 100–200 ms välein. Palvelimen VAD kerää datan sisäiseen puskuriin ja käsittelee sitä jatkuvasti.

Kaiunvaimennus

Jos sovelluksesi toistaa vastausäänen kaiuttimista mikrofonin ollessa päällä, tarvitset kaiunvaimennusta. Ilman sitä agentti kuulisi itsensä puhumisen ja voisi jäädä silmukkaan keskustelemaan itsensä kanssa.

Vaihtoehtosi:

  • Käytä Web Audio API:n echoCancellation- ja noiseSuppression-asetuksia
  • Mykistä mikrofoni agentin puhuessa
  • Käytä kuulokkeita eristääksesi syötteen tulosteesta

Keskeiset asiat

  • input_audio_buffer.append lähettää base64-koodattuja äänipaloja
  • Dataformaatin on vastattava istunnon määritystä (oletuksena 16-bittinen PCM)
  • Lähetä pala 100–200 ms välein saavuttaaksesi hyvän tasapainon viiveen ja suorituskyvyn välillä
  • Selaimen äänenkaappaus käyttää Web Audio API:ta Float32–PCM16-muunnoksella
  • Huomioi kaiunvaimennus välttääksesi äänisilmukat