Pāriet uz galveno saturu
Latviešu— Izvēlēties valodu
Izvēlne

Nosūtīt audio ar input_audio_buffer.append

Nodarbība 7 no 16 Atjaunota 2026. gada 30. jūlijs Programmētājs
Šajā lapā
  1. Straumēt audio uz serveri
  2. Notikuma struktūra
  3. Audio uztveršana pārlūkprogrammā
  4. Audio uztveršana valodā Python
  5. Fragmenta izmērs un biežums
  6. Atbalss slāpēšana
  7. Galvenās atziņas

Straumēt audio uz serveri

Kad sesija ir konfigurēta, vari sākt straumēt audio uz serveri. Notikums input_audio_buffer.append nosūta audio fragmentus, kas kodēti formātā base64.

Notikuma struktūra

{
  "type": "input_audio_buffer.append",
  "audio": "SGVsbG8gV29ybGQ..."
}

Lauks audio satur neapstrādātus audio datus, kas kodēti formātā base64. Tā formātam ir jāsakrīt ar to, kas konfigurēts notikumā session.update (pēc noklusējuma: 16 bitu mazākās baitu kārtas PCM ar 24 000 Hz).

Audio uztveršana pārlūkprogrammā

Pārlūkprogrammas Web Audio API ļauj uztvert mikrofonu un nosūtīt datus reāllaikā:

async function startCapture(ws) {
  const stream = await navigator.mediaDevices.getUserMedia({
    audio: {
      sampleRate: 24000,
      channelCount: 1,
      echoCancellation: true,
      noiseSuppression: true
    }
  });

  const audioContext = new AudioContext({ sampleRate: 24000 });
  const source = audioContext.createMediaStreamSource(stream);
  const processor = audioContext.createScriptProcessor(4096, 1, 1);

  processor.onaudioprocess = (event) => {
    const inputData = event.inputBuffer.getChannelData(0);
    const pcm16 = float32ToPCM16(inputData);
    const base64 = arrayBufferToBase64(pcm16.buffer);

    ws.send(JSON.stringify({
      type: "input_audio_buffer.append",
      audio: base64
    }));
  };

  source.connect(processor);
  processor.connect(audioContext.destination);
}

function float32ToPCM16(float32Array) {
  const pcm16 = new Int16Array(float32Array.length);
  for (let i = 0; i < float32Array.length; i++) {
    const s = Math.max(-1, Math.min(1, float32Array[i]));
    pcm16[i] = s < 0 ? s * 0x8000 : s * 0x7FFF;
  }
  return pcm16;
}

function arrayBufferToBase64(buffer) {
  const bytes = new Uint8Array(buffer);
  let binary = "";
  for (let i = 0; i < bytes.byteLength; i++) {
    binary += String.fromCharCode(bytes[i]);
  }
  return btoa(binary);
}

Audio uztveršana valodā Python

Izmantojot bibliotēku pyaudio, vari uztvert mikrofonu un nosūtīt fragmentus:

import pyaudio
import base64
import json

RATE = 24000
CHUNK = 4096
FORMAT = pyaudio.paInt16
CHANNELS = 1

p = pyaudio.PyAudio()
stream = p.open(
    format=FORMAT,
    channels=CHANNELS,
    rate=RATE,
    input=True,
    frames_per_buffer=CHUNK
)

async def send_audio(ws):
    while True:
        data = stream.read(CHUNK, exception_on_overflow=False)
        audio_b64 = base64.b64encode(data).decode("utf-8")
        await ws.send(json.dumps({
            "type": "input_audio_buffer.append",
            "audio": audio_b64
        }))

Fragmenta izmērs un biežums

Fragmenta izmērs ietekmē latentumu un veiktspēju:

  • Mazi fragmenti (1024 paraugi / ~42 ms): minimāls latentums, bet vairāk WebSocket ziņojumu
  • Vidēji fragmenti (4096 paraugi / ~170 ms): labs kompromiss
  • Lieli fragmenti (8192 paraugi / ~341 ms): mazāk ziņojumu, bet manāms latentums

Lai nodrošinātu dabisku sarunu, nosūti fragmentu ik pēc 100 līdz 200 ms. Servera VAD (balss aktivitātes noteikšana) savāc datus iekšējā buferī un apstrādā tos nepārtraukti.

Atbalss slāpēšana

Ja tava lietotne atskaņo atbildes audio caur skaļruņiem, kamēr mikrofons ir ieslēgts, tev ir nepieciešama atbalss slāpēšana. Bez tās aģents dzirdētu pats sevi runājam un varētu nonākt sarunas cilpā pats ar sevi.

Tavas iespējas:

  • Izmanto Web Audio API opcijas echoCancellation un noiseSuppression
  • Izslēdz mikrofonu, kamēr aģents runā
  • Izmanto austiņas, lai izolētu ievadi no izvades

Galvenās atziņas

  • input_audio_buffer.append nosūta audio fragmentus, kas kodēti formātā base64
  • Datu formātam ir jāsakrīt ar sesijas konfigurāciju (pēc noklusējuma 16 bitu PCM)
  • Nosūti fragmentu ik pēc 100 līdz 200 ms, lai panāktu labu līdzsvaru starp latentumu un veiktspēju
  • Audio uztveršana pārlūkprogrammā izmanto Web Audio API ar konvertēšanu no Float32 uz PCM16
  • Apstrādā atbalss slāpēšanu, lai izvairītos no audio cilpām