Μετάβαση στο κύριο περιεχόμενο
Ελληνικά— Επιλέξτε γλώσσα
Μενού

Αποστολή ήχου με input_audio_buffer.append

Μάθημα 7 / 16 Ενημερώθηκε 30 Ιουλίου 2026 Για developers
Σε αυτήν τη σελίδα
  1. Ροή ήχου προς τον διακομιστή
  2. Δομή συμβάντος
  3. Λήψη ήχου στον περιηγητή
  4. Λήψη ήχου σε Python
  5. Μέγεθος τμήματος και συχνότητα
  6. Ακύρωση ηχούς
  7. Βασικά σημεία

Ροή ήχου προς τον διακομιστή

Μόλις διαμορφωθεί η συνεδρία, μπορείτε να ξεκινήσετε τη ροή ήχου προς τον διακομιστή. Το συμβάν input_audio_buffer.append στέλνει τμήματα ήχου κωδικοποιημένα σε base64.

Δομή συμβάντος

{
  "type": "input_audio_buffer.append",
  "audio": "SGVsbG8gV29ybGQ..."
}

Το πεδίο audio περιέχει ακατέργαστα δεδομένα ήχου κωδικοποιημένα σε base64. Η μορφή του πρέπει να ταιριάζει με αυτή που έχει οριστεί στο session.update (εξ ορισμού, PCM 16-bit little-endian στα 24000 Hz).

Λήψη ήχου στον περιηγητή

Το Web Audio API του περιηγητή σάς επιτρέπει να καταγράφετε το μικρόφωνο και να στέλνετε τα δεδομένα σε πραγματικό χρόνο:

async function startCapture(ws) {
  const stream = await navigator.mediaDevices.getUserMedia({
    audio: {
      sampleRate: 24000,
      channelCount: 1,
      echoCancellation: true,
      noiseSuppression: true
    }
  });

  const audioContext = new AudioContext({ sampleRate: 24000 });
  const source = audioContext.createMediaStreamSource(stream);
  const processor = audioContext.createScriptProcessor(4096, 1, 1);

  processor.onaudioprocess = (event) => {
    const inputData = event.inputBuffer.getChannelData(0);
    const pcm16 = float32ToPCM16(inputData);
    const base64 = arrayBufferToBase64(pcm16.buffer);

    ws.send(JSON.stringify({
      type: "input_audio_buffer.append",
      audio: base64
    }));
  };

  source.connect(processor);
  processor.connect(audioContext.destination);
}

function float32ToPCM16(float32Array) {
  const pcm16 = new Int16Array(float32Array.length);
  for (let i = 0; i < float32Array.length; i++) {
    const s = Math.max(-1, Math.min(1, float32Array[i]));
    pcm16[i] = s < 0 ? s * 0x8000 : s * 0x7FFF;
  }
  return pcm16;
}

function arrayBufferToBase64(buffer) {
  const bytes = new Uint8Array(buffer);
  let binary = "";
  for (let i = 0; i < bytes.byteLength; i++) {
    binary += String.fromCharCode(bytes[i]);
  }
  return btoa(binary);
}

Λήψη ήχου σε Python

Με τη βιβλιοθήκη pyaudio, μπορείτε να καταγράψετε το μικρόφωνο και να στείλετε τα τμήματα δεδομένων:

import pyaudio
import base64
import json

RATE = 24000
CHUNK = 4096
FORMAT = pyaudio.paInt16
CHANNELS = 1

p = pyaudio.PyAudio()
stream = p.open(
    format=FORMAT,
    channels=CHANNELS,
    rate=RATE,
    input=True,
    frames_per_buffer=CHUNK
)

async def send_audio(ws):
    while True:
        data = stream.read(CHUNK, exception_on_overflow=False)
        audio_b64 = base64.b64encode(data).decode("utf-8")
        await ws.send(json.dumps({
            "type": "input_audio_buffer.append",
            "audio": audio_b64
        }))

Μέγεθος τμήματος και συχνότητα

Το μέγεθος του τμήματος επηρεάζει την καθυστέρηση και την απόδοση:

  • Μικρά τμήματα (1024 δείγματα / ~42 ms): ελάχιστη καθυστέρηση, αλλά περισσότερα μηνύματα WebSocket
  • Μεσαία τμήματα (4096 δείγματα / ~170 ms): μια καλή ισορροπία
  • Μεγάλα τμήματα (8192 δείγματα / ~341 ms): λιγότερα μηνύματα, αλλά αισθητή καθυστέρηση

Για μια φυσική συνομιλία, στέλνετε ένα τμήμα κάθε 100 έως 200 ms. Το VAD του διακομιστή συλλέγει τα δεδομένα σε ένα εσωτερικό buffer και τα επεξεργάζεται συνεχώς.

Ακύρωση ηχούς

Εάν η εφαρμογή σας αναπαράγει τον ήχο απόκρισης μέσω ηχείων ενώ το μικρόφωνο είναι ενεργό, χρειάζεστε ακύρωση ηχούς. Χωρίς αυτήν, ο πράκτορας θα άκουγε τον εαυτό του να μιλά και θα μπορούσε να καταλήξει σε βρόχο συνομιλίας με τον εαυτό του.

Οι επιλογές σας:

  • Χρησιμοποιήστε τις επιλογές echoCancellation και noiseSuppression του Web Audio API
  • Σιγάστε το μικρόφωνο ενώ ο πράκτορας μιλά
  • Χρησιμοποιήστε ακουστικά για να απομονώσετε την είσοδο από την έξοδο

Βασικά σημεία

  • Το input_audio_buffer.append στέλνει τμήματα ήχου κωδικοποιημένα σε base64
  • Η μορφή των δεδομένων πρέπει να ταιριάζει με τη διαμόρφωση της συνεδρίας (εξ ορισμού PCM 16-bit)
  • Στέλνετε ένα τμήμα κάθε 100 έως 200 ms για καλή ισορροπία μεταξύ καθυστέρησης και απόδοσης
  • Η λήψη ήχου στον περιηγητή χρησιμοποιεί το Web Audio API με μετατροπή Float32 σε PCM16
  • Διαχειριστείτε την ακύρωση ηχούς για να αποφύγετε βρόχους ήχου