Pereiti prie pagrindinio turinio
Lietuvių— Pasirinkite kalbą
Meniu

Telefonijos integracija („Twilio“ ir kt.)

Paskaita 15 iš 18 Atnaujinta 2026 m. lapkričio 3 d. Kūrėjas
Šiame puslapyje
  1. Telefonijos integracija („Twilio“ ir kt.)
  2. Telefonijos architektūra
  3. Įgyvendinimas naudojant „Twilio“
  4. „Twilio“ alternatyvos
  5. Svarbiausi punktai

Atnaujinta 2026 m. lapkričio 3 d. pagal „Realtime API“ dokumentaciją: G.711 μ-law formatas dabar vadinamas audio/pcmu (anksčiau tekste buvo cituojamas g711_ulaw, kuris buvo beta versijos pavadinimas). Šaltinis: Realtime API.

2026 m. lapkričio 2 d. atnaujinimas — Garso modeliai. Keli šio kurso modeliai yra pasenę: tts-1, tts-1-hd ir gpt-4o-mini-tts nustos veikti 2027 m. sausio 6 d. (nurodytas pakaitalas – gpt-realtime-2.1-mini, tačiau „OpenAI TTS“ gide teigiama, kad jis nepalaikomas per /v1/audio/speech: kalbos sintezės migracija turi vykti per „Realtime API“); gpt-realtime, gpt-4o-realtime ir senieji garso modeliai nustos veikti 2027 m. sausio 20 d. (gpt-realtime-2.1, gpt-realtime-2.1-mini, gpt-audio-1.5); whisper-1, gpt-4o-transcribe ir /v1/audio/translations nustos veikti 2027 m. vasario 26 d. (gpt-transcribe, gpt-live-transcribe, v1/realtime/translations). Pilno dublekso (full-duplex) balsui „GPT-Live 1“ API yra prieinamas nuo 2026 m. rugsėjo 10 d.

Telefonijos integracija („Twilio“ ir kt.)

Balso agentas tampa tikrai naudingas tada, kai juo galima pasinaudoti telefonu. Debesijos telefonijos platformos, tokios kaip „Twilio“, „LiveKit“ ir „Daily“, leidžia sujungti „Realtime API“ su pasauliniu telefono tinklu. Vartotojas surenka numerį, o tavo agentas atsako realiuoju laiku.

Telefonijos architektūra

Integruojant telefoniją, tarp telefono tinklo ir „Realtime API“ atsiranda papildomas sluoksnis:

1

Gaunamas skambutis → „Twilio“

Vartotojas surenka telefono numerį. „Twilio“ priima skambutį ir išsiunčia „webhook“ užklausą tavo serveriui.

2

Tavo serveris → Medienos srautas

Tavo serveris atsako „TwiML“ instrukcijomis, kurios atveria dvikryptį „Media Stream WebSocket“.

3

Medienos srautas ↔ „Realtime API“

Tavo serveris perduoda garso duomenis tarp „Twilio Media Stream“ ir „OpenAI Realtime API“.

4

Balso atsakas → Vartotojui

Garso atsakas iš „Realtime API“ per „Twilio“ siunčiamas atgal į vartotojo telefoną.

Įgyvendinimas naudojant „Twilio“

Gaunamo skambučio „Webhook“

Kai gaunamas skambutis, „Twilio“ siunčia HTTP užklausą tavo serveriui. Tu atsakai „TwiML“, kuris atveria medienos srautą:

from fastapi import FastAPI, Request
from fastapi.responses import Response

app = FastAPI()

@app.post("/incoming-call")
async def incoming_call(request: Request):
    """Twilio webhook for incoming calls."""
    twiml = """<?xml version="1.0" encoding="UTF-8"?>
    <Response>
        <Say language="en-US">
            Welcome to Corsen AI. Connecting you to your voice assistant.
        </Say>
        <Connect>
            <Stream url="wss://your-server.com/media-stream">
                <Parameter name="caller" value="{caller_number}" />
            </Stream>
        </Connect>
    </Response>"""

    form_data = await request.form()
    caller = form_data.get("From", "unknown")
    twiml = twiml.replace("{caller_number}", caller)

    return Response(content=twiml, media_type="application/xml")

„Media Stream“ ir „Realtime API“ tiltas

„WebSocket“ serveris gauna garso duomenis iš „Twilio“ ir perduoda juos į „Realtime API“:

from fastapi import WebSocket
import websockets
import json
import base64
import audioop
import asyncio

OPENAI_API_KEY = "sk-..."
REALTIME_URL = "wss://api.openai.com/v1/realtime?model=gpt-realtime-2.1"

@app.websocket("/media-stream")
async def media_stream(twilio_ws: WebSocket):
    """Bridge between Twilio Media Stream and the Realtime API."""
    await twilio_ws.accept()

    # Connect to the Realtime API
    headers = {
        "Authorization": f"Bearer {OPENAI_API_KEY}"
    }

    async with websockets.connect(REALTIME_URL, additional_headers=headers) as openai_ws:
        await openai_ws.recv()  # session.created

        # Configure the session
        await openai_ws.send(json.dumps({
            "type": "session.update",
            "session": {
                "type": "realtime",
                "output_modalities": ["audio"],
                "instructions": "You are a phone assistant. "
                                "Respond in English, concisely.",
                "audio": {
                    "input": {
                        "format": {"type": "audio/pcmu"},
                        "turn_detection": {
                            "type": "server_vad",
                            "threshold": 0.5,
                            "silence_duration_ms": 600
                        }
                    },
                    "output": {
                        "format": {"type": "audio/pcmu"},
                        "voice": "marin"
                    }
                }
            }
        }))
        await openai_ws.recv()

        stream_sid = None

        async def twilio_to_openai():
            nonlocal stream_sid
            async for message in twilio_ws.iter_text():
                data = json.loads(message)

                if data["event"] == "media":
                    audio_b64 = data["media"]["payload"]
                    await openai_ws.send(json.dumps({
                        "type": "input_audio_buffer.append",
                        "audio": audio_b64
                    }))

                elif data["event"] == "start":
                    stream_sid = data["start"]["streamSid"]

        async def openai_to_twilio():
            async for message in openai_ws:
                event = json.loads(message)

                if event["type"] == "response.output_audio.delta":
                    await twilio_ws.send_json({
                        "event": "media",
                        "streamSid": stream_sid,
                        "media": {
                            "payload": event["delta"]
                        }
                    })

        await asyncio.gather(twilio_to_openai(), openai_to_twilio())

G.711 garso formatas

Telefonijoje naudojamas G.711 μ-law formatas (8 kHz, vienas baitas vienam ėminiui). „Realtime API“ šį formatą palaiko natūraliai pavadinimu audio/pcmu, kurį nurodai tiek įvestiai, tiek išvestiai (audio.input.format ir audio.output.format, kaip aukščiau esančiame kode). Tai leidžia išvengti bet kokio konvertavimo serveryje. Pavadinimas g711_ulaw priklausė API beta versijai; A-law ekvivalentas vadinamas audio/pcma.

„Twilio“ alternatyvos

Platforma Privalumas Integracija su „Realtime API“
Twilio Išsami ekosistema, numeriai 100+ šalių Natyvūs „WebSocket Media Streams“
LiveKit Atviro kodo, maža delsą, „WebRTC“ Oficialus „OpenAI“ įskiepis
Daily Paprasta, talpinama, tinka prototipams „Pipecat SDK“ su „Realtime“ jungtimi

Svarbiausi punktai

  • „Twilio Media Streams“ leidžia prijungti telefono skambutį prie dvikrypčio „WebSocket“
  • Tavo serveris veikia kaip tiltas tarp „Twilio Media Stream“ ir „OpenAI Realtime API“
  • G.711 μ-law formatas yra natūralus telefonijai ir tiesiogiai palaikomas „Realtime API“
  • „LiveKit“ (atviro kodo, „WebRTC“) ir „Daily“ (talpinama) yra tinkamos „Twilio“ alternatyvos
  • Architektūra visada ta pati: telefonija → tavo serveris → „Realtime API“