Интеграция с телефония (Twilio и др.)
На тази страница
Обновено на 3 ноември 2026 г. въз основа на документацията на Realtime API: форматът G.711 μ-law се нарича
audio/pcmu(предишният текст цитирашеg711_ulaw, което беше бета името). Източник: Realtime API.
Актуализация от 2 ноември 2026 г. — Аудио модели. Няколко модела в този курс са депрецирали:
tts-1,tts-1-hdиgpt-4o-mini-ttsще спрат да работят на 6 януари 2027 г. (посочената замяна еgpt-realtime-2.1-mini, която според ръководството на OpenAI за TTS не се поддържа от/v1/audio/speech: миграцията на синтез на реч трябва да премине през Realtime API);gpt-realtime,gpt-4o-realtimeи наследените аудио модели на 20 януари 2027 г. (gpt-realtime-2.1,gpt-realtime-2.1-mini,gpt-audio-1.5);whisper-1,gpt-4o-transcribeи/v1/audio/translationsна 26 февруари 2027 г. (gpt-transcribe,gpt-live-transcribe,v1/realtime/translations). За гласова връзка в пълен дуплекс, GPT-Live 1 е наличен в API от 10 септември 2026 г.
Интеграция с телефония (Twilio и др.)
Един гласов агент става наистина полезен, когато е достъпен по телефон. Облачните телефонни платформи като Twilio, LiveKit и Daily Ви позволяват да свържете Realtime API с глобалната телефонна мрежа. Потребителят набира номер, а Вашият агент отговаря в реално време.
Архитектура на телефонията
Интеграцията с телефония добавя слой между телефонната мрежа и Realtime API:
Входящо обаждане → Twilio
Потребителят набира телефонен номер. Twilio получава обаждането и изпраща уебхук към Вашия сървър.
Вашият сървър → Медия поток
Вашият сървър отговаря с TwiML инструкции, които отварят двупосочен WebSocket за медия поток.
Медия поток ↔ Realtime API
Вашият сървър препредава аудиото между Twilio Media Stream и OpenAI Realtime API.
Гласов отговор → Потребител
Аудио отговорът от Realtime API се изпраща обратно чрез Twilio към телефона на потребителя.
Имплементация с Twilio
Уебхук за входящи обаждания
Когато пристигне обаждане, Twilio изпраща HTTP заявка към Вашия сървър. Вие отговаряте с TwiML, който отваря медия поток:
from fastapi import FastAPI, Request
from fastapi.responses import Response
app = FastAPI()
@app.post("/incoming-call")
async def incoming_call(request: Request):
"""Twilio webhook for incoming calls."""
twiml = """<?xml version="1.0" encoding="UTF-8"?>
<Response>
<Say language="en-US">
Welcome to Corsen AI. Connecting you to your voice assistant.
</Say>
<Connect>
<Stream url="wss://your-server.com/media-stream">
<Parameter name="caller" value="{caller_number}" />
</Stream>
</Connect>
</Response>"""
form_data = await request.form()
caller = form_data.get("From", "unknown")
twiml = twiml.replace("{caller_number}", caller)
return Response(content=twiml, media_type="application/xml")
Мостът между Медия поток и Realtime API
WebSocket сървърът получава аудио от Twilio и го препредава към Realtime API:
from fastapi import WebSocket
import websockets
import json
import base64
import audioop
import asyncio
OPENAI_API_KEY = "sk-..."
REALTIME_URL = "wss://api.openai.com/v1/realtime?model=gpt-realtime-2.1"
@app.websocket("/media-stream")
async def media_stream(twilio_ws: WebSocket):
"""Bridge between Twilio Media Stream and the Realtime API."""
await twilio_ws.accept()
# Connect to the Realtime API
headers = {
"Authorization": f"Bearer {OPENAI_API_KEY}"
}
async with websockets.connect(REALTIME_URL, additional_headers=headers) as openai_ws:
await openai_ws.recv() # session.created
# Configure the session
await openai_ws.send(json.dumps({
"type": "session.update",
"session": {
"type": "realtime",
"output_modalities": ["audio"],
"instructions": "You are a phone assistant. "
"Respond in English, concisely.",
"audio": {
"input": {
"format": {"type": "audio/pcmu"},
"turn_detection": {
"type": "server_vad",
"threshold": 0.5,
"silence_duration_ms": 600
}
},
"output": {
"format": {"type": "audio/pcmu"},
"voice": "marin"
}
}
}
}))
await openai_ws.recv()
stream_sid = None
async def twilio_to_openai():
nonlocal stream_sid
async for message in twilio_ws.iter_text():
data = json.loads(message)
if data["event"] == "media":
audio_b64 = data["media"]["payload"]
await openai_ws.send(json.dumps({
"type": "input_audio_buffer.append",
"audio": audio_b64
}))
elif data["event"] == "start":
stream_sid = data["start"]["streamSid"]
async def openai_to_twilio():
async for message in openai_ws:
event = json.loads(message)
if event["type"] == "response.output_audio.delta":
await twilio_ws.send_json({
"event": "media",
"streamSid": stream_sid,
"media": {
"payload": event["delta"]
}
})
await asyncio.gather(twilio_to_openai(), openai_to_twilio())
Аудио формат G.711
Телефонията използва формата G.711 μ-law (8 kHz, един байт на семпъл). Realtime API поддържа това нативно под името audio/pcmu, което декларирате както за вход, така и за изход (audio.input.format и audio.output.format, както в кода по-горе). Това избягва всякаква конверсия на страната на сървъра. Името g711_ulaw принадлежеше на бета версията на API; еквивалентът A-law се нарича audio/pcma.
Алтернативи на Twilio
| Платформа | Предимство | Интеграция с Realtime API |
|---|---|---|
| Twilio | Пълна екосистема, номера в над 100 държави | Нативни WebSocket медия потоци |
| LiveKit | Отворен код, ниска латентност, WebRTC | Официален плъгин на OpenAI |
| Daily | Опростен, хостван, подходящ за прототипиране | Pipecat SDK с конектор за Realtime |
Ключови изводи
- Twilio Media Streams Ви позволява да свържете телефонно обаждане с двупосочен WebSocket
- Вашият сървър действа като мост между Twilio Media Stream и OpenAI Realtime API
- Форматът G.711 μ-law е нативен за телефонията и се поддържа директно от Realtime API
- LiveKit (отворен код, WebRTC) и Daily (хостван) са жизнеспособни алтернативи на Twilio
- Архитектурата винаги е една и съща: телефония → Вашият сървър → Realtime API