Премини към основното съдържание
Български— Изберете език
Меню

Интеграция с телефония (Twilio и др.)

Урок 15 от 18 Обновен 3 ноември 2026 г. Програмист
На тази страница
  1. Интеграция с телефония (Twilio и др.)
  2. Архитектура на телефонията
  3. Имплементация с Twilio
  4. Алтернативи на Twilio
  5. Ключови изводи

Обновено на 3 ноември 2026 г. въз основа на документацията на Realtime API: форматът G.711 μ-law се нарича audio/pcmu (предишният текст цитираше g711_ulaw, което беше бета името). Източник: Realtime API.

Актуализация от 2 ноември 2026 г. — Аудио модели. Няколко модела в този курс са депрецирали: tts-1, tts-1-hd и gpt-4o-mini-tts ще спрат да работят на 6 януари 2027 г. (посочената замяна е gpt-realtime-2.1-mini, която според ръководството на OpenAI за TTS не се поддържа от /v1/audio/speech: миграцията на синтез на реч трябва да премине през Realtime API); gpt-realtime, gpt-4o-realtime и наследените аудио модели на 20 януари 2027 г. (gpt-realtime-2.1, gpt-realtime-2.1-mini, gpt-audio-1.5); whisper-1, gpt-4o-transcribe и /v1/audio/translations на 26 февруари 2027 г. (gpt-transcribe, gpt-live-transcribe, v1/realtime/translations). За гласова връзка в пълен дуплекс, GPT-Live 1 е наличен в API от 10 септември 2026 г.

Интеграция с телефония (Twilio и др.)

Един гласов агент става наистина полезен, когато е достъпен по телефон. Облачните телефонни платформи като Twilio, LiveKit и Daily Ви позволяват да свържете Realtime API с глобалната телефонна мрежа. Потребителят набира номер, а Вашият агент отговаря в реално време.

Архитектура на телефонията

Интеграцията с телефония добавя слой между телефонната мрежа и Realtime API:

1

Входящо обаждане → Twilio

Потребителят набира телефонен номер. Twilio получава обаждането и изпраща уебхук към Вашия сървър.

2

Вашият сървър → Медия поток

Вашият сървър отговаря с TwiML инструкции, които отварят двупосочен WebSocket за медия поток.

3

Медия поток ↔ Realtime API

Вашият сървър препредава аудиото между Twilio Media Stream и OpenAI Realtime API.

4

Гласов отговор → Потребител

Аудио отговорът от Realtime API се изпраща обратно чрез Twilio към телефона на потребителя.

Имплементация с Twilio

Уебхук за входящи обаждания

Когато пристигне обаждане, Twilio изпраща HTTP заявка към Вашия сървър. Вие отговаряте с TwiML, който отваря медия поток:

from fastapi import FastAPI, Request
from fastapi.responses import Response

app = FastAPI()

@app.post("/incoming-call")
async def incoming_call(request: Request):
    """Twilio webhook for incoming calls."""
    twiml = """<?xml version="1.0" encoding="UTF-8"?>
    <Response>
        <Say language="en-US">
            Welcome to Corsen AI. Connecting you to your voice assistant.
        </Say>
        <Connect>
            <Stream url="wss://your-server.com/media-stream">
                <Parameter name="caller" value="{caller_number}" />
            </Stream>
        </Connect>
    </Response>"""

    form_data = await request.form()
    caller = form_data.get("From", "unknown")
    twiml = twiml.replace("{caller_number}", caller)

    return Response(content=twiml, media_type="application/xml")

Мостът между Медия поток и Realtime API

WebSocket сървърът получава аудио от Twilio и го препредава към Realtime API:

from fastapi import WebSocket
import websockets
import json
import base64
import audioop
import asyncio

OPENAI_API_KEY = "sk-..."
REALTIME_URL = "wss://api.openai.com/v1/realtime?model=gpt-realtime-2.1"

@app.websocket("/media-stream")
async def media_stream(twilio_ws: WebSocket):
    """Bridge between Twilio Media Stream and the Realtime API."""
    await twilio_ws.accept()

    # Connect to the Realtime API
    headers = {
        "Authorization": f"Bearer {OPENAI_API_KEY}"
    }

    async with websockets.connect(REALTIME_URL, additional_headers=headers) as openai_ws:
        await openai_ws.recv()  # session.created

        # Configure the session
        await openai_ws.send(json.dumps({
            "type": "session.update",
            "session": {
                "type": "realtime",
                "output_modalities": ["audio"],
                "instructions": "You are a phone assistant. "
                                "Respond in English, concisely.",
                "audio": {
                    "input": {
                        "format": {"type": "audio/pcmu"},
                        "turn_detection": {
                            "type": "server_vad",
                            "threshold": 0.5,
                            "silence_duration_ms": 600
                        }
                    },
                    "output": {
                        "format": {"type": "audio/pcmu"},
                        "voice": "marin"
                    }
                }
            }
        }))
        await openai_ws.recv()

        stream_sid = None

        async def twilio_to_openai():
            nonlocal stream_sid
            async for message in twilio_ws.iter_text():
                data = json.loads(message)

                if data["event"] == "media":
                    audio_b64 = data["media"]["payload"]
                    await openai_ws.send(json.dumps({
                        "type": "input_audio_buffer.append",
                        "audio": audio_b64
                    }))

                elif data["event"] == "start":
                    stream_sid = data["start"]["streamSid"]

        async def openai_to_twilio():
            async for message in openai_ws:
                event = json.loads(message)

                if event["type"] == "response.output_audio.delta":
                    await twilio_ws.send_json({
                        "event": "media",
                        "streamSid": stream_sid,
                        "media": {
                            "payload": event["delta"]
                        }
                    })

        await asyncio.gather(twilio_to_openai(), openai_to_twilio())

Аудио формат G.711

Телефонията използва формата G.711 μ-law (8 kHz, един байт на семпъл). Realtime API поддържа това нативно под името audio/pcmu, което декларирате както за вход, така и за изход (audio.input.format и audio.output.format, както в кода по-горе). Това избягва всякаква конверсия на страната на сървъра. Името g711_ulaw принадлежеше на бета версията на API; еквивалентът A-law се нарича audio/pcma.

Алтернативи на Twilio

Платформа Предимство Интеграция с Realtime API
Twilio Пълна екосистема, номера в над 100 държави Нативни WebSocket медия потоци
LiveKit Отворен код, ниска латентност, WebRTC Официален плъгин на OpenAI
Daily Опростен, хостван, подходящ за прототипиране Pipecat SDK с конектор за Realtime

Ключови изводи

  • Twilio Media Streams Ви позволява да свържете телефонно обаждане с двупосочен WebSocket
  • Вашият сървър действа като мост между Twilio Media Stream и OpenAI Realtime API
  • Форматът G.711 μ-law е нативен за телефонията и се поддържа директно от Realtime API
  • LiveKit (отворен код, WebRTC) и Daily (хостван) са жизнеспособни алтернативи на Twilio
  • Архитектурата винаги е една и съща: телефония → Вашият сървър → Realtime API