Prejsť na hlavný obsah
Slovenčina— Vyberte jazyk
Menu

Integrácia telefónie (Twilio a ďalšie)

Lekcia 15 z 18 Aktualizované 3. novembra 2026 Vývojár
Na tejto strane
  1. Integrácia telefónie (Twilio a ďalšie)
  2. Architektúra telefónie
  3. Implementácia s Twilio
  4. Alternatívy k Twilio
  5. Kľúčové poznatky

Aktualizované 3. novembra 2026 na základe dokumentácie Realtime API: formát G.711 μ-law sa nazýva audio/pcmu (text predtým uvádzal g711_ulaw, čo bol názov z betaverzie). Zdroj: Realtime API.

Aktualizácia z 2. novembra 2026 — Zvukové modely. Niektoré modely v tomto kurze sú zastarané: tts-1, tts-1-hd a gpt-4o-mini-tts prestanú fungovať 6. januára 2027 (uvedenou náhradou je gpt-realtime-2.1-mini, ktorý podľa sprievodcu OpenAI TTS nie je podporovaný cez /v1/audio/speech: migrácia syntézy reči musí prebehnúť cez Realtime API); gpt-realtime, gpt-4o-realtime a staršie zvukové modely 20. januára 2027 (gpt-realtime-2.1, gpt-realtime-2.1-mini, gpt-audio-1.5); whisper-1, gpt-4o-transcribe a /v1/audio/translations 26. februára 2027 (gpt-transcribe, gpt-live-transcribe, v1/realtime/translations). Pre plno duplexný hlas je GPT-Live 1 dostupný v API od 10. septembra 2026.

Integrácia telefónie (Twilio a ďalšie)

Hlasový agent sa stane skutočne užitočným, keď je dostupný telefonicky. Cloudové telefónne platformy ako Twilio, LiveKit a Daily ti umožňujú pripojiť Realtime API ku globálnej telefónnej sieti. Používateľ vytočí číslo a tvoj agent odpovie v reálnom čase.

Architektúra telefónie

Integrácia telefónie pridáva vrstvu medzi telefónnu sieť a Realtime API:

1

Prichádzajúci hovor → Twilio

Používateľ vytočí telefónne číslo. Twilio hovor prijme a odošle webhook na tvoj server.

2

Tvoj server → Mediálny stream

Tvoj server odpovie inštrukciami TwiML, ktoré otvoria obojsmerný WebSocket pre mediálny stream.

3

Mediálny stream ↔ Realtime API

Tvoj server prepája zvuk medzi Twilio Media Stream a OpenAI Realtime API.

4

Hlasová odpoveď → Používateľ

Zvuková odpoveď z Realtime API sa cez Twilio pošle späť na telefón používateľa.

Implementácia s Twilio

Webhook pre prichádzajúce hovory

Keď dorazí hovor, Twilio odošle na tvoj server HTTP požiadavku. Ty odpovieš pomocou TwiML, ktoré otvorí mediálny stream:

from fastapi import FastAPI, Request
from fastapi.responses import Response

app = FastAPI()

@app.post("/incoming-call")
async def incoming_call(request: Request):
    """Twilio webhook pre prichádzajúce hovory."""
    twiml = """<?xml version="1.0" encoding="UTF-8"?>
    <Response>
        <Say language="en-US">
            Welcome to Corsen AI. Connecting you to your voice assistant.
        </Say>
        <Connect>
            <Stream url="wss://your-server.com/media-stream">
                <Parameter name="caller" value="{caller_number}" />
            </Stream>
        </Connect>
    </Response>"""

    form_data = await request.form()
    caller = form_data.get("From", "unknown")
    twiml = twiml.replace("{caller_number}", caller)

    return Response(content=twiml, media_type="application/xml")

Most medzi mediálnym streamom a Realtime API

WebSocket server prijíma zvuk od Twilia a prepája ho do Realtime API:

from fastapi import WebSocket
import websockets
import json
import base64
import audioop
import asyncio

OPENAI_API_KEY = "sk-..."
REALTIME_URL = "wss://api.openai.com/v1/realtime?model=gpt-realtime-2.1"

@app.websocket("/media-stream")
async def media_stream(twilio_ws: WebSocket):
    """Most medzi Twilio Media Stream a Realtime API."""
    await twilio_ws.accept()

    # Pripojenie k Realtime API
    headers = {
        "Authorization": f"Bearer {OPENAI_API_KEY}"
    }

    async with websockets.connect(REALTIME_URL, additional_headers=headers) as openai_ws:
        await openai_ws.recv()  # session.created

        # Konfigurácia relácie
        await openai_ws.send(json.dumps({
            "type": "session.update",
            "session": {
                "type": "realtime",
                "output_modalities": ["audio"],
                "instructions": "You are a phone assistant. "
                                "Respond in English, concisely.",
                "audio": {
                    "input": {
                        "format": {"type": "audio/pcmu"},
                        "turn_detection": {
                            "type": "server_vad",
                            "threshold": 0.5,
                            "silence_duration_ms": 600
                        }
                    },
                    "output": {
                        "format": {"type": "audio/pcmu"},
                        "voice": "marin"
                    }
                }
            }
        }))
        await openai_ws.recv()

        stream_sid = None

        async def twilio_to_openai():
            nonlocal stream_sid
            async for message in twilio_ws.iter_text():
                data = json.loads(message)

                if data["event"] == "media":
                    audio_b64 = data["media"]["payload"]
                    await openai_ws.send(json.dumps({
                        "type": "input_audio_buffer.append",
                        "audio": audio_b64
                    }))

                elif data["event"] == "start":
                    stream_sid = data["start"]["streamSid"]

        async def openai_to_twilio():
            async for message in openai_ws:
                event = json.loads(message)

                if event["type"] == "response.output_audio.delta":
                    await twilio_ws.send_json({
                        "event": "media",
                        "streamSid": stream_sid,
                        "media": {
                            "payload": event["delta"]
                        }
                    })

        await asyncio.gather(twilio_to_openai(), openai_to_twilio())

Zvukový formát G.711

Telefónia využíva formát G.711 μ-law (8 kHz, jeden bajt na vzorku). Realtime API tento formát podporuje natívne pod názvom audio/pcmu, ktorý deklaruješ pre vstup aj výstup (audio.input.format a audio.output.format, ako je uvedené vo vyššie uvedenom kóde). Tým sa vyhneš akejkoľvek konverzii na strane servera. Názov g711_ulaw patril betaverzii API; ekvivalent A-law sa nazýva audio/pcma.

Alternatívy k Twilio

Platforma Silná stránka Integrácia s Realtime API
Twilio Kompletný ekosystém, čísla vo viac ako 100 krajinách Natívne WebSocket mediálne streamy
LiveKit Open source, nízka latencia, WebRTC Oficiálny plugin OpenAI
Daily Jednoduché, hostované, vhodné na prototypovanie Pipecat SDK s konektorom pre Realtime

Kľúčové poznatky

  • Twilio Media Streams ti umožňujú pripojiť telefónny hovor k obojsmernému WebSocketu
  • Tvoj server funguje ako most medzi Twilio Media Stream a OpenAI Realtime API
  • Formát G.711 μ-law je natívny pre telefóniu a priamo ho podporuje Realtime API
  • LiveKit (open source, WebRTC) a Daily (hostované) sú životaschopné alternatívy k Twilio
  • Architektúra je vždy rovnaká: telefónia → tvoj server → Realtime API