Pereiti prie pagrindinio turinio
Lietuvių— Pasirinkite kalbą
Meniu

Siųsti garso įrašą naudojant input_audio_buffer.append

Paskaita 7 iš 16 Atnaujinta 2026 m. liepos 30 d. Kūrėjas
Šiame puslapyje
  1. Garso srauto siuntimas į serverį
  2. Įvykio struktūra
  3. Garso fiksavimas naršyklėje
  4. Garso fiksavimas naudojant Python
  5. Dalies dydis ir siuntimo dažnis
  6. Aido slopinimas
  7. Svarbiausi punktai

Garso srauto siuntimas į serverį

Kai sesija sukonfigūruota, gali pradėti siųsti garso srautą į serverį. Įvykis input_audio_buffer.append siunčia bazės 64 koduote užkoduotas garso dalis.

Įvykio struktūra

{
  "type": "input_audio_buffer.append",
  "audio": "SGVsbG8gV29ybGQ..."
}

Laukas audio turi neapdorotus garso duomenis, užkoduotus bazės 64 formatu. Jo formatas turi atitikti tą, kuris nustatytas session.update (pagal nutylėjimą – 16 bitų mažosios galios PCM, 24 000 Hz dažnio).

Garso fiksavimas naršyklėje

Naršyklės „Web Audio API“ leidžia fiksuoti mikrofono signalą ir siųsti duomenis realiuoju laiku:

async function startCapture(ws) {
  const stream = await navigator.mediaDevices.getUserMedia({
    audio: {
      sampleRate: 24000,
      channelCount: 1,
      echoCancellation: true,
      noiseSuppression: true
    }
  });

  const audioContext = new AudioContext({ sampleRate: 24000 });
  const source = audioContext.createMediaStreamSource(stream);
  const processor = audioContext.createScriptProcessor(4096, 1, 1);

  processor.onaudioprocess = (event) => {
    const inputData = event.inputBuffer.getChannelData(0);
    const pcm16 = float32ToPCM16(inputData);
    const base64 = arrayBufferToBase64(pcm16.buffer);

    ws.send(JSON.stringify({
      type: "input_audio_buffer.append",
      audio: base64
    }));
  };

  source.connect(processor);
  processor.connect(audioContext.destination);
}

function float32ToPCM16(float32Array) {
  const pcm16 = new Int16Array(float32Array.length);
  for (let i = 0; i < float32Array.length; i++) {
    const s = Math.max(-1, Math.min(1, float32Array[i]));
    pcm16[i] = s < 0 ? s * 0x8000 : s * 0x7FFF;
  }
  return pcm16;
}

function arrayBufferToBase64(buffer) {
  const bytes = new Uint8Array(buffer);
  let binary = "";
  for (let i = 0; i < bytes.byteLength; i++) {
    binary += String.fromCharCode(bytes[i]);
  }
  return btoa(binary);
}

Garso fiksavimas naudojant Python

Naudodamas pyaudio biblioteką, gali fiksuoti mikrofono signalą ir siųsti duomenų dalis:

import pyaudio
import base64
import json

RATE = 24000
CHUNK = 4096
FORMAT = pyaudio.paInt16
CHANNELS = 1

p = pyaudio.PyAudio()
stream = p.open(
    format=FORMAT,
    channels=CHANNELS,
    rate=RATE,
    input=True,
    frames_per_buffer=CHUNK
)

async def send_audio(ws):
    while True:
        data = stream.read(CHUNK, exception_on_overflow=False)
        audio_b64 = base64.b64encode(data).decode("utf-8")
        await ws.send(json.dumps({
            "type": "input_audio_buffer.append",
            "audio": audio_b64
        }))

Dalies dydis ir siuntimo dažnis

Dalies dydis daro įtaką delsai ir našumui:

  • Mažos dalys (1024 imtiniai / ~42 ms): minimali delsa, bet daugiau „WebSocket“ žinučių
  • Vidutinės dalys (4096 imtiniai / ~170 ms): geras kompromisas
  • Didelės dalys (8192 imtiniai / ~341 ms): mažiau žinučių, bet pastebima delsa

Norint natūralaus pokalbio, siųsk dalį kas 100–200 ms. Serverio VAD (balso aptikimas) renka duomenis į vidinį buferį ir juos nuolat apdoroja.

Aido slopinimas

Jei tavo programa groja atsakymo garso įrašą per garsiakalbius tuo metu, kai mikrofonas įjungtas, tau reikia aido slopinimo. Be jo, agentas girdėtų save kalbant ir galėtų įstrigti begaliniame pokalbio cikle pats su savimi.

Tavo pasirinkimai:

  • Naudoti „Web Audio API“ parinktis echoCancellation ir noiseSuppression
  • Išjungti mikrofoną, kai agentas kalba
  • Naudoti ausines, kad atskirtum įvestį nuo išvesties

Svarbiausi punktai

  • input_audio_buffer.append siunčia bazės 64 koduote užkoduotas garso dalis
  • Duomenų formatas turi atitikti sesijos konfigūraciją (pagal nutylėjimą – 16 bitų PCM)
  • Siųsk dalį kas 100–200 ms, kad pasiektum gerą delsos ir našumo pusiausvyrą
  • Garso fiksavimas naršyklėje naudoja „Web Audio API“ su konvertavimu iš Float32 į PCM16
  • Užtikrink aido slopinimą, kad išvengtum garso ciklų