Премини към основното съдържание
Български— Изберете език
Меню

Поток на аудио данни в двете посоки

Урок 3 от 18 Обновен 2 ноември 2026 г. Програмист
На тази страница
  1. Поток на аудио данни в двете посоки
  2. Аудио формат PCM16
  3. Изпращане на аудио: Заснемане от микрофона
  4. Получаване на аудио отговор
  5. Пълно приложение: Гласов разговор
  6. Ключови изводи

Обновено на 2 ноември 2026 г. — Аудио модели. Няколко модела в този курс са депрецирали: tts-1, tts-1-hd и gpt-4o-mini-tts ще спрат да работят на 6 януари 2027 г. (посочената замяна е gpt-realtime-2.1-mini, която според ръководството на OpenAI за TTS не се поддържа от /v1/audio/speech: миграцията на синтез на реч преминава към Realtime API); gpt-realtime, gpt-4o-realtime и наследените аудио модели на 20 януари 2027 г. (gpt-realtime-2.1, gpt-realtime-2.1-mini, gpt-audio-1.5); whisper-1, gpt-4o-transcribe и /v1/audio/translations на 26 февруари 2027 г. (gpt-transcribe, gpt-live-transcribe, v1/realtime/translations). За гласова връзка в пълен дуплекс, GPT-Live 1 е достъпен в API от 10 септември 2026 г.

Поток на аудио данни в двете посоки

Потокът на аудио данни в двете посоки е сърцето на Realtime API. Вие непрекъснато изпращате аудио чанкове от микрофона, а моделът непрекъснато връща аудио чанкове като отговор. Тези два потока са независими и могат да работят едновременно – именно това прави разговора да звучи естествено.

Аудио формат PCM16

Realtime API използва формат 24 kHz моно 16-битов PCM. Това е суров, некомпресиран формат: всяка проба е 16-битово цяло число със знак. Този избор приоритизира ниската латентност пред ефективността на честотната лента.

24 kHz
Честота на дискретизация
16 bit
Дълбочина на пробата
Mono
Един канал
48 KB/s
Сурова аудио честота на битове

Аудио чанковете се изпращат кодирани в Base64 в рамките на JSON събития. Всеки чанк обикновено представлява между 20 и 100 ms аудио.

Изпращане на аудио: Заснемане от микрофона

Ето как да заснемете звука от микрофона и да го предадете като поток:

import asyncio
import sounddevice as sd
import numpy as np
import base64
import json

SAMPLE_RATE = 24000
CHUNK_DURATION_MS = 100
CHUNK_SIZE = int(SAMPLE_RATE * CHUNK_DURATION_MS / 1000)

async def stream_microphone(ws):
    """Capture the microphone and send chunks to the Realtime API."""
    loop = asyncio.get_event_loop()
    audio_queue = asyncio.Queue()

    def audio_callback(indata, frames, time_info, status):
        if status:
            print(f"Audio warning: {status}")
        # Convert to int16 and enqueue
        pcm_data = (indata[:, 0] * 32767).astype(np.int16)
        loop.call_soon_threadsafe(audio_queue.put_nowait, pcm_data)

    # Start capture
    stream = sd.InputStream(
        samplerate=SAMPLE_RATE,
        channels=1,
        dtype="float32",
        blocksize=CHUNK_SIZE,
        callback=audio_callback
    )

    with stream:
        print("Microphone active — speak now...")
        while True:
            pcm_data = await audio_queue.get()
            audio_b64 = base64.b64encode(pcm_data.tobytes()).decode("utf-8")

            await ws.send(json.dumps({
                "type": "input_audio_buffer.append",
                "audio": audio_b64
            }))

Аудио буферът от страна на сървъра

Чанковете, изпратени чрез input_audio_buffer.append, се натрупват в буфер на сървъра. Този буфер се обработва по два начина:

  • Автоматичен VAD режим (server_vad): Сървърът открива кога спрете да говорите и автоматично фиксира (commit) буфера.
  • Ръчен режим: Вие изрично изпращате input_audio_buffer.commit, за да задействате обработката.
# Manually commit the audio buffer
await ws.send(json.dumps({
    "type": "input_audio_buffer.commit"
}))

# Or clear the buffer without processing it
await ws.send(json.dumps({
    "type": "input_audio_buffer.clear"
}))

Получаване на аудио отговор

Аудио отговорите пристигат на чанкове чрез събития response.output_audio.delta. Трябва да ги декодирате и възпроизвеждате непрекъснато:

import pyaudio

async def play_response_audio(ws):
    """Receive and play response audio."""
    pa = pyaudio.PyAudio()
    player = pa.open(
        format=pyaudio.paInt16,
        channels=1,
        rate=SAMPLE_RATE,
        output=True,
        frames_per_buffer=CHUNK_SIZE
    )

    try:
        async for raw_message in ws:
            event = json.loads(raw_message)

            if event["type"] == "response.output_audio.delta":
                # Decode the Base64 audio chunk
                audio_bytes = base64.b64decode(event["delta"])
                player.write(audio_bytes)

            elif event["type"] == "response.output_audio.done":
                print("Audio response finished")

            elif event["type"] == "response.output_audio_transcript.delta":
                # Text transcription of the response
                print(event["delta"], end="", flush=True)

    finally:
        player.stop_stream()
        player.close()
        pa.terminate()

Пълно приложение: Гласов разговор

Ето как да сглобите заснемането и възпроизвеждането за пълен разговор:

async def conversation_vocale():
    headers = {
        "Authorization": f"Bearer {OPENAI_API_KEY}"
    }

    async with websockets.connect(URL, additional_headers=headers) as ws:
        # Wait for session.created
        await ws.recv()

        # Configure the session
        await ws.send(json.dumps({
            "type": "session.update",
            "session": {
                "type": "realtime",
                "output_modalities": ["audio"],
                "instructions": "You are a voice assistant. Respond in English.",
                "audio": {
                    "input": {
                        "format": {"type": "audio/pcm", "rate": 24000},
                        "turn_detection": {
                            "type": "server_vad",
                            "threshold": 0.5,
                            "silence_duration_ms": 700
                        }
                    },
                    "output": {
                        "format": {"type": "audio/pcm", "rate": 24000},
                        "voice": "marin"
                    }
                }
            }
        }))
        await ws.recv()  # session.updated

        # Launch capture and playback in parallel
        await asyncio.gather(
            stream_microphone(ws),
            play_response_audio(ws)
        )

asyncio.run(conversation_vocale())

Управление на едновременни потоци

Предизвикателството при потока в двете посоки е, че изпращате и получавате едновременно през един и същи WebSocket. asyncio.gather стартира и двете корутини паралелно, но те споделят един и същи WebSocket обект. Библиотеката websockets обработва тази конкурентност правилно.

Ключови изводи

  • Аудиото се предава като 24 kHz моно 16-битов PCM, кодиран в Base64 в JSON събития
  • Чанковете обикновено са с продължителност 20 до 100 ms аудио за добър баланс между латентност и натоварване
  • Аудио буферът от страна на сървъра натрупва чанкове до момента на фиксиране (автоматично във VAD режим)
  • Възпроизвеждането на отговора става чанк по чанк чрез response.output_audio.delta
  • asyncio.gather позволява едновременно заснемане и възпроизвеждане през един и същи WebSocket