Léim go dtí an príomhábhar
Gaeilge— Roghnaigh teanga
Roghchlár

Seol fuaim le input_audio_buffer.append

Ceacht 7 as 16 Nuashonraithe 30 Iúil 2026 Forbróir
Ar an leathanach seo
  1. Sruthú fuaime chuig an bhfreastalaí
  2. Struchtúr an teagmhais
  3. Gabháil fuaime sa bhrabhsálaí
  4. Gabháil fuaime i bPython
  5. Méid an smután agus minicíocht
  6. Cealú athshondais
  7. Príomhphointí

Sruthú fuaime chuig an bhfreastalaí

Nuair a bheidh an seisiún cumraithe, is féidir leat tosú ag sruthú fuaime chuig an bhfreastalaí. Seolann an teagmhas input_audio_buffer.append smután fuaime atá ionchódaithe i mbonn-64.

Struchtúr an teagmhais

{
  "type": "input_audio_buffer.append",
  "audio": "SGVsbG8gV29ybGQ..."
}

Tá sonraí fuaime amh san réimse audio, ionchódaithe i mbonn-64. Ní mór don fhormáid teacht leis an gceann a cumraíodh in session.update (de réir réamhshocraithe, PCM 16-giotán ord-litil ag 24000 Hz).

Gabháil fuaime sa bhrabhsálaí

Ligeann API Fuaim Gréasáin an bhrabhsálaí duit an micreafón a ghabháil agus na sonraí a sheoladh i bhfíor-am:

async function startCapture(ws) {
  const stream = await navigator.mediaDevices.getUserMedia({
    audio: {
      sampleRate: 24000,
      channelCount: 1,
      echoCancellation: true,
      noiseSuppression: true
    }
  });

  const audioContext = new AudioContext({ sampleRate: 24000 });
  const source = audioContext.createMediaStreamSource(stream);
  const processor = audioContext.createScriptProcessor(4096, 1, 1);

  processor.onaudioprocess = (event) => {
    const inputData = event.inputBuffer.getChannelData(0);
    const pcm16 = float32ToPCM16(inputData);
    const base64 = arrayBufferToBase64(pcm16.buffer);

    ws.send(JSON.stringify({
      type: "input_audio_buffer.append",
      audio: base64
    }));
  };

  source.connect(processor);
  processor.connect(audioContext.destination);
}

function float32ToPCM16(float32Array) {
  const pcm16 = new Int16Array(float32Array.length);
  for (let i = 0; i < float32Array.length; i++) {
    const s = Math.max(-1, Math.min(1, float32Array[i]));
    pcm16[i] = s < 0 ? s * 0x8000 : s * 0x7FFF;
  }
  return pcm16;
}

function arrayBufferToBase64(buffer) {
  const bytes = new Uint8Array(buffer);
  let binary = "";
  for (let i = 0; i < bytes.byteLength; i++) {
    binary += String.fromCharCode(bytes[i]);
  }
  return btoa(binary);
}

Gabháil fuaime i bPython

Leis an leabharlann pyaudio, is féidir leat an micreafón a ghabháil agus na smután a sheoladh:

import pyaudio
import base64
import json

RATE = 24000
CHUNK = 4096
FORMAT = pyaudio.paInt16
CHANNELS = 1

p = pyaudio.PyAudio()
stream = p.open(
    format=FORMAT,
    channels=CHANNELS,
    rate=RATE,
    input=True,
    frames_per_buffer=CHUNK
)

async def send_audio(ws):
    while True:
        data = stream.read(CHUNK, exception_on_overflow=False)
        audio_b64 = base64.b64encode(data).decode("utf-8")
        await ws.send(json.dumps({
            "type": "input_audio_buffer.append",
            "audio": audio_b64
        }))

Méid an smután agus minicíocht

Bíonn tionchar ag méid an smután ar an moill agus ar an bhfeidhmíocht:

  • Smutáin bheaga (1024 sampla / ~42 ms): moill íosta, ach níos teachtaireachtaí WebSocket
  • Smutáin mheánacha (4096 sampla / ~170 ms): comhréir mhaith
  • Smutáin mhóra (8192 sampla / ~341 ms): níos lú teachtaireachtaí, ach moill inaitheanta

Chun comhrá nádúrtha a bheith agat, seol smután gach 100 go 200 ms. Bailíonn VAD an fhreastalaí na sonraí i mbufar inmheánach agus déanann sé próiseáil orthu go leanúnach.

Cealú athshondais

Má sheinneann d’aip an fhreagra fuaime trí chainteoirí agus an micreafón ar siúl, beidh ort cealú athshondais a úsáid. Gan é, chloisfeadh an gníomhaire é féin ag caint agus d’fhéadfadh sé dul i mbun lúibe comhrá leis féin.

Seo do roghanna:

  • Úsáid na roghanna echoCancellation agus noiseSuppression in API Fuaim Gréasáin
  • Balbhaigh an micreafón nuair a bheidh an gníomhaire ag caint
  • Úsáid cinnfhón chun an t-ionchur a scaradh ón aschur

Príomhphointí

  • Seolann input_audio_buffer.append smután fuaime atá ionchódaithe i mbonn-64
  • Ní mór don fhormáid sonraí teacht leis an gcumraíocht seisiúin (PCM 16-giotán de réir réamhshocraithe)
  • Seol smután gach 100 go 200 ms chun cothromaíocht mhaith a bhaint amach idir moill agus feidhmíocht
  • Baineann gabháil fuaime sa bhrabhsálaí úsáid as API Fuaim Gréasáin le tiontú ó Float32 go PCM16
  • Déileáil le cealú athshondais chun lúibe fuaime a sheachaint