Aqbeż għall-kontenut ewlieni
Malti— Agħżel lingwa
Menu

Ibgħat l-awdjo b'input_audio_buffer.append

Lezzjoni 7 / 16 Aġġornat 30 ta’ Lulju 2026 Zviluppatur
F'din il-paġna
  1. Istraċċja l-awdjo lejn is-server
  2. Struttura tal-avveniment
  3. Aqbad l-awdjo fil-browser
  4. Aqbad l-awdjo f’Python
  5. Daqs tal-biċċa u frekwenza
  6. Kanċellazzjoni tal-eku
  7. Punti Ewlenin

Istraċċja l-awdjo lejn is-server

Ladarba s-sessjoni tkun ikkonfigurata, tista’ tibda tistraċċja l-awdjo lejn is-server. L-avveniment input_audio_buffer.append jibgħat biċċiet tal-awdjo kodifikati f’base64.

Struttura tal-avveniment

{
  "type": "input_audio_buffer.append",
  "audio": "SGVsbG8gV29ybGQ..."
}

Il-qasam audio fih dejta tal-awdjo mhux ipproċessata kodifikata f’base64. Il-format tiegħu għandu jaqbel ma’ dak ikkonfigurat f’session.update (b’mod predefinit, PCM ta’ 16-il bit little-endian f’24000 Hz).

Aqbad l-awdjo fil-browser

L-API Web Audio tal-browser tippermettilek taqbad il-mikrofonu u tibgħat id-dejta f’ħin reali:

async function startCapture(ws) {
  const stream = await navigator.mediaDevices.getUserMedia({
    audio: {
      sampleRate: 24000,
      channelCount: 1,
      echoCancellation: true,
      noiseSuppression: true
    }
  });

  const audioContext = new AudioContext({ sampleRate: 24000 });
  const source = audioContext.createMediaStreamSource(stream);
  const processor = audioContext.createScriptProcessor(4096, 1, 1);

  processor.onaudioprocess = (event) => {
    const inputData = event.inputBuffer.getChannelData(0);
    const pcm16 = float32ToPCM16(inputData);
    const base64 = arrayBufferToBase64(pcm16.buffer);

    ws.send(JSON.stringify({
      type: "input_audio_buffer.append",
      audio: base64
    }));
  };

  source.connect(processor);
  processor.connect(audioContext.destination);
}

function float32ToPCM16(float32Array) {
  const pcm16 = new Int16Array(float32Array.length);
  for (let i = 0; i < float32Array.length; i++) {
    const s = Math.max(-1, Math.min(1, float32Array[i]));
    pcm16[i] = s < 0 ? s * 0x8000 : s * 0x7FFF;
  }
  return pcm16;
}

function arrayBufferToBase64(buffer) {
  const bytes = new Uint8Array(buffer);
  let binary = "";
  for (let i = 0; i < bytes.byteLength; i++) {
    binary += String.fromCharCode(bytes[i]);
  }
  return btoa(binary);
}

Aqbad l-awdjo f’Python

Bil-librerija pyaudio, tista’ taqbad il-mikrofonu u tibgħat il-biċċiet:

import pyaudio
import base64
import json

RATE = 24000
CHUNK = 4096
FORMAT = pyaudio.paInt16
CHANNELS = 1

p = pyaudio.PyAudio()
stream = p.open(
    format=FORMAT,
    channels=CHANNELS,
    rate=RATE,
    input=True,
    frames_per_buffer=CHUNK
)

async def send_audio(ws):
    while True:
        data = stream.read(CHUNK, exception_on_overflow=False)
        audio_b64 = base64.b64encode(data).decode("utf-8")
        await ws.send(json.dumps({
            "type": "input_audio_buffer.append",
            "audio": audio_b64
        }))

Daqs tal-biċċa u frekwenza

Id-daqs tal-biċċa jaffettwa l-latenza u l-prestazzjoni:

  • Biċċiet żgħar (1024 kampjun / ~42 ms): latenza minima, iżda aktar messaġġi WebSocket
  • Biċċiet medji (4096 kampjun / ~170 ms): kompromess tajjeb
  • Biċċiet kbar (8192 kampjun / ~341 ms): inqas messaġġi, iżda latenza notevoli

Għal konversazzjoni naturali, ibgħat biċċa kull 100 sa 200 ms. Is-VAD tas-server jiġbor id-dejta f’buffer intern u jipproċessaha kontinwament.

Kanċellazzjoni tal-eku

Jekk l-app tiegħek idoqq l-awdjo tar-risposta permezz tal-ispikers waqt li l-mikrofonu jkun mixgħul, għandek bżonn kanċellazzjoni tal-eku. Mingħajrha, l-aġent jisma’ lilu nnifsu jitkellem u jista’ jispiċċa f’loop ta’ konversazzjoni miegħu nnifsu.

L-għażliet tiegħek:

  • Uża l-għażliet echoCancellation u noiseSuppression tal-API Web Audio
  • Itfi l-mikrofonu waqt li l-aġent ikun qed jitkellem
  • Uża headset biex tiżola l-input mill-output

Punti Ewlenin

  • input_audio_buffer.append jibgħat biċċiet tal-awdjo kodifikati f’base64
  • Il-format tad-dejta għandu jaqbel mal-konfigurazzjoni tas-sessjoni (PCM ta’ 16-il bit b’mod predefinit)
  • Ibghat biċċa kull 100 sa 200 ms għal bilanċ tajjeb bejn il-latenza u l-prestazzjoni
  • Il-qbid tal-awdjo fil-browser juża l-API Web Audio b’konverżjoni minn Float32 għal PCM16
  • Immaniġġja l-kanċellazzjoni tal-eku biex tevita loops tal-awdjo