Ugrás a főtartalomra
Magyar— Nyelv kiválasztása
Menü

Hang küldése az input_audio_buffer.append eseménnyel

7. lecke 16 közül Frissítve 2026. július 30. Fejlesztő
Ezen az oldalon
  1. Hang streamelése a szerverre
  2. Eseményszerkezet
  3. Hang rögzítése böngészőben
  4. Hang rögzítése Pythonban
  5. Darabkaméret és gyakoriság
  6. Visszhangszűrés (Echo cancellation)
  7. Főbb megállapítások

Hang streamelése a szerverre

Miután beállítottad a munkamenetet, elindíthatod a hang adatfolyamát a szerver felé. Az input_audio_buffer.append esemény base64-kódolt hangdarabkákat küld.

Eseményszerkezet

{
  "type": "input_audio_buffer.append",
  "audio": "SGVsbG8gV29ybGQ..."
}

Az audio mező nyers hangadatokat tartalmaz, base64 formátumban kódolva. A formátumnak meg kell egyeznie a session.update hívásban beállítottal (alapértelmezetten 16 bites, little-endian PCM, 24000 Hz-en).

Hang rögzítése böngészőben

A böngésző Web Audio API-ja lehetővé teszi a mikrofon használatát és az adatok valós idejű elküldését:

async function startCapture(ws) {
  const stream = await navigator.mediaDevices.getUserMedia({
    audio: {
      sampleRate: 24000,
      channelCount: 1,
      echoCancellation: true,
      noiseSuppression: true
    }
  });

  const audioContext = new AudioContext({ sampleRate: 24000 });
  const source = audioContext.createMediaStreamSource(stream);
  const processor = audioContext.createScriptProcessor(4096, 1, 1);

  processor.onaudioprocess = (event) => {
    const inputData = event.inputBuffer.getChannelData(0);
    const pcm16 = float32ToPCM16(inputData);
    const base64 = arrayBufferToBase64(pcm16.buffer);

    ws.send(JSON.stringify({
      type: "input_audio_buffer.append",
      audio: base64
    }));
  };

  source.connect(processor);
  processor.connect(audioContext.destination);
}

function float32ToPCM16(float32Array) {
  const pcm16 = new Int16Array(float32Array.length);
  for (let i = 0; i < float32Array.length; i++) {
    const s = Math.max(-1, Math.min(1, float32Array[i]));
    pcm16[i] = s < 0 ? s * 0x8000 : s * 0x7FFF;
  }
  return pcm16;
}

function arrayBufferToBase64(buffer) {
  const bytes = new Uint8Array(buffer);
  let binary = "";
  for (let i = 0; i < bytes.byteLength; i++) {
    binary += String.fromCharCode(bytes[i]);
  }
  return btoa(binary);
}

Hang rögzítése Pythonban

A pyaudio könyvtár segítségével rögzítheted a mikrofon bemenetét, és elküldheted a darabkákat:

import pyaudio
import base64
import json

RATE = 24000
CHUNK = 4096
FORMAT = pyaudio.paInt16
CHANNELS = 1

p = pyaudio.PyAudio()
stream = p.open(
    format=FORMAT,
    channels=CHANNELS,
    rate=RATE,
    input=True,
    frames_per_buffer=CHUNK
)

async def send_audio(ws):
    while True:
        data = stream.read(CHUNK, exception_on_overflow=False)
        audio_b64 = base64.b64encode(data).decode("utf-8")
        await ws.send(json.dumps({
            "type": "input_audio_buffer.append",
            "audio": audio_b64
        }))

Darabkaméret és gyakoriság

A darabkaméret befolyásolja a késleltetést és a teljesítményt:

  • Kis darabkák (1024 minta / ~42 ms): minimális késleltetés, de több WebSocket üzenet
  • Közepes darabkák (4096 minta / ~170 ms): jó kompromisszum
  • Nagy darabkák (8192 minta / ~341 ms): kevesebb üzenet, de észrevehető késleltetés

Természetes beszélgetés érdekében küldj egy darabkát 100 és 200 ms közötti időközönként. A szerver VAD (Voice Activity Detection) komponense egy belső pufferben gyűjti az adatokat, és folyamatosan dolgozza fel azokat.

Visszhangszűrés (Echo cancellation)

Ha az alkalmazásod hangszórón keresztül játssza le a választ, miközben a mikrofon aktív, szükséged lesz visszhangszűrésre. Enélkül az ügynök hallaná saját magát beszélni, ami önmagával folytatott beszélgetési hurokhoz vezethet.

Lehetőségeid:

  • Használd a Web Audio API echoCancellation és noiseSuppression beállításait
  • Némítsd a mikrofont, amíg az ügynök beszél
  • Használj fejhallgatót a bemenet és a kimenet elszigetelésére

Főbb megállapítások

  • Az input_audio_buffer.append base64-kódolt hangdarabkákat küld
  • Az adatformátumnak meg kell egyeznie a munkamenet konfigurációjával (alapértelmezetten 16 bites PCM)
  • A késleltetés és a teljesítmény közötti jó egyensúly érdekében 100–200 ms-onként küldj egy darabkát
  • A böngészős hangrögzítés a Web Audio API-t használja Float32-ből PCM16-ba történő konverzióval
  • Kezeld a visszhangszűrést a hanghurok elkerülése érdekében