Поток на аудио данни в двете посоки
На тази страница
Обновено на 2 ноември 2026 г. — Аудио модели. Няколко модела в този курс са депрецирали:
tts-1,tts-1-hdиgpt-4o-mini-ttsще спрат да работят на 6 януари 2027 г. (посочената замяна еgpt-realtime-2.1-mini, която според ръководството на OpenAI за TTS не се поддържа от/v1/audio/speech: миграцията на синтез на реч преминава към Realtime API);gpt-realtime,gpt-4o-realtimeи наследените аудио модели на 20 януари 2027 г. (gpt-realtime-2.1,gpt-realtime-2.1-mini,gpt-audio-1.5);whisper-1,gpt-4o-transcribeи/v1/audio/translationsна 26 февруари 2027 г. (gpt-transcribe,gpt-live-transcribe,v1/realtime/translations). За гласова връзка в пълен дуплекс, GPT-Live 1 е достъпен в API от 10 септември 2026 г.
Поток на аудио данни в двете посоки
Потокът на аудио данни в двете посоки е сърцето на Realtime API. Вие непрекъснато изпращате аудио чанкове от микрофона, а моделът непрекъснато връща аудио чанкове като отговор. Тези два потока са независими и могат да работят едновременно – именно това прави разговора да звучи естествено.
Аудио формат PCM16
Realtime API използва формат 24 kHz моно 16-битов PCM. Това е суров, некомпресиран формат: всяка проба е 16-битово цяло число със знак. Този избор приоритизира ниската латентност пред ефективността на честотната лента.
Аудио чанковете се изпращат кодирани в Base64 в рамките на JSON събития. Всеки чанк обикновено представлява между 20 и 100 ms аудио.
Изпращане на аудио: Заснемане от микрофона
Ето как да заснемете звука от микрофона и да го предадете като поток:
import asyncio
import sounddevice as sd
import numpy as np
import base64
import json
SAMPLE_RATE = 24000
CHUNK_DURATION_MS = 100
CHUNK_SIZE = int(SAMPLE_RATE * CHUNK_DURATION_MS / 1000)
async def stream_microphone(ws):
"""Capture the microphone and send chunks to the Realtime API."""
loop = asyncio.get_event_loop()
audio_queue = asyncio.Queue()
def audio_callback(indata, frames, time_info, status):
if status:
print(f"Audio warning: {status}")
# Convert to int16 and enqueue
pcm_data = (indata[:, 0] * 32767).astype(np.int16)
loop.call_soon_threadsafe(audio_queue.put_nowait, pcm_data)
# Start capture
stream = sd.InputStream(
samplerate=SAMPLE_RATE,
channels=1,
dtype="float32",
blocksize=CHUNK_SIZE,
callback=audio_callback
)
with stream:
print("Microphone active — speak now...")
while True:
pcm_data = await audio_queue.get()
audio_b64 = base64.b64encode(pcm_data.tobytes()).decode("utf-8")
await ws.send(json.dumps({
"type": "input_audio_buffer.append",
"audio": audio_b64
}))
Аудио буферът от страна на сървъра
Чанковете, изпратени чрез input_audio_buffer.append, се натрупват в буфер на сървъра. Този буфер се обработва по два начина:
- Автоматичен VAD режим (
server_vad): Сървърът открива кога спрете да говорите и автоматично фиксира (commit) буфера. - Ръчен режим: Вие изрично изпращате
input_audio_buffer.commit, за да задействате обработката.
# Manually commit the audio buffer
await ws.send(json.dumps({
"type": "input_audio_buffer.commit"
}))
# Or clear the buffer without processing it
await ws.send(json.dumps({
"type": "input_audio_buffer.clear"
}))
Получаване на аудио отговор
Аудио отговорите пристигат на чанкове чрез събития response.output_audio.delta. Трябва да ги декодирате и възпроизвеждате непрекъснато:
import pyaudio
async def play_response_audio(ws):
"""Receive and play response audio."""
pa = pyaudio.PyAudio()
player = pa.open(
format=pyaudio.paInt16,
channels=1,
rate=SAMPLE_RATE,
output=True,
frames_per_buffer=CHUNK_SIZE
)
try:
async for raw_message in ws:
event = json.loads(raw_message)
if event["type"] == "response.output_audio.delta":
# Decode the Base64 audio chunk
audio_bytes = base64.b64decode(event["delta"])
player.write(audio_bytes)
elif event["type"] == "response.output_audio.done":
print("Audio response finished")
elif event["type"] == "response.output_audio_transcript.delta":
# Text transcription of the response
print(event["delta"], end="", flush=True)
finally:
player.stop_stream()
player.close()
pa.terminate()
Пълно приложение: Гласов разговор
Ето как да сглобите заснемането и възпроизвеждането за пълен разговор:
async def conversation_vocale():
headers = {
"Authorization": f"Bearer {OPENAI_API_KEY}"
}
async with websockets.connect(URL, additional_headers=headers) as ws:
# Wait for session.created
await ws.recv()
# Configure the session
await ws.send(json.dumps({
"type": "session.update",
"session": {
"type": "realtime",
"output_modalities": ["audio"],
"instructions": "You are a voice assistant. Respond in English.",
"audio": {
"input": {
"format": {"type": "audio/pcm", "rate": 24000},
"turn_detection": {
"type": "server_vad",
"threshold": 0.5,
"silence_duration_ms": 700
}
},
"output": {
"format": {"type": "audio/pcm", "rate": 24000},
"voice": "marin"
}
}
}
}))
await ws.recv() # session.updated
# Launch capture and playback in parallel
await asyncio.gather(
stream_microphone(ws),
play_response_audio(ws)
)
asyncio.run(conversation_vocale())
Управление на едновременни потоци
Предизвикателството при потока в двете посоки е, че изпращате и получавате едновременно през един и същи WebSocket. asyncio.gather стартира и двете корутини паралелно, но те споделят един и същи WebSocket обект. Библиотеката websockets обработва тази конкурентност правилно.
Ключови изводи
- Аудиото се предава като 24 kHz моно 16-битов PCM, кодиран в Base64 в JSON събития
- Чанковете обикновено са с продължителност 20 до 100 ms аудио за добър баланс между латентност и натоварване
- Аудио буферът от страна на сървъра натрупва чанкове до момента на фиксиране (автоматично във VAD режим)
- Възпроизвеждането на отговора става чанк по чанк чрез
response.output_audio.delta asyncio.gatherпозволява едновременно заснемане и възпроизвеждане през един и същи WebSocket