Integrácia telefónie (Twilio a ďalšie)
Na tejto strane
Aktualizované 3. novembra 2026 na základe dokumentácie Realtime API: formát G.711 μ-law sa nazýva
audio/pcmu(text predtým uvádzalg711_ulaw, čo bol názov z betaverzie). Zdroj: Realtime API.
Aktualizácia z 2. novembra 2026 — Zvukové modely. Niektoré modely v tomto kurze sú zastarané:
tts-1,tts-1-hdagpt-4o-mini-ttsprestanú fungovať 6. januára 2027 (uvedenou náhradou jegpt-realtime-2.1-mini, ktorý podľa sprievodcu OpenAI TTS nie je podporovaný cez/v1/audio/speech: migrácia syntézy reči musí prebehnúť cez Realtime API);gpt-realtime,gpt-4o-realtimea staršie zvukové modely 20. januára 2027 (gpt-realtime-2.1,gpt-realtime-2.1-mini,gpt-audio-1.5);whisper-1,gpt-4o-transcribea/v1/audio/translations26. februára 2027 (gpt-transcribe,gpt-live-transcribe,v1/realtime/translations). Pre plno duplexný hlas je GPT-Live 1 dostupný v API od 10. septembra 2026.
Integrácia telefónie (Twilio a ďalšie)
Hlasový agent sa stane skutočne užitočným, keď je dostupný telefonicky. Cloudové telefónne platformy ako Twilio, LiveKit a Daily ti umožňujú pripojiť Realtime API ku globálnej telefónnej sieti. Používateľ vytočí číslo a tvoj agent odpovie v reálnom čase.
Architektúra telefónie
Integrácia telefónie pridáva vrstvu medzi telefónnu sieť a Realtime API:
Prichádzajúci hovor → Twilio
Používateľ vytočí telefónne číslo. Twilio hovor prijme a odošle webhook na tvoj server.
Tvoj server → Mediálny stream
Tvoj server odpovie inštrukciami TwiML, ktoré otvoria obojsmerný WebSocket pre mediálny stream.
Mediálny stream ↔ Realtime API
Tvoj server prepája zvuk medzi Twilio Media Stream a OpenAI Realtime API.
Hlasová odpoveď → Používateľ
Zvuková odpoveď z Realtime API sa cez Twilio pošle späť na telefón používateľa.
Implementácia s Twilio
Webhook pre prichádzajúce hovory
Keď dorazí hovor, Twilio odošle na tvoj server HTTP požiadavku. Ty odpovieš pomocou TwiML, ktoré otvorí mediálny stream:
from fastapi import FastAPI, Request
from fastapi.responses import Response
app = FastAPI()
@app.post("/incoming-call")
async def incoming_call(request: Request):
"""Twilio webhook pre prichádzajúce hovory."""
twiml = """<?xml version="1.0" encoding="UTF-8"?>
<Response>
<Say language="en-US">
Welcome to Corsen AI. Connecting you to your voice assistant.
</Say>
<Connect>
<Stream url="wss://your-server.com/media-stream">
<Parameter name="caller" value="{caller_number}" />
</Stream>
</Connect>
</Response>"""
form_data = await request.form()
caller = form_data.get("From", "unknown")
twiml = twiml.replace("{caller_number}", caller)
return Response(content=twiml, media_type="application/xml")
Most medzi mediálnym streamom a Realtime API
WebSocket server prijíma zvuk od Twilia a prepája ho do Realtime API:
from fastapi import WebSocket
import websockets
import json
import base64
import audioop
import asyncio
OPENAI_API_KEY = "sk-..."
REALTIME_URL = "wss://api.openai.com/v1/realtime?model=gpt-realtime-2.1"
@app.websocket("/media-stream")
async def media_stream(twilio_ws: WebSocket):
"""Most medzi Twilio Media Stream a Realtime API."""
await twilio_ws.accept()
# Pripojenie k Realtime API
headers = {
"Authorization": f"Bearer {OPENAI_API_KEY}"
}
async with websockets.connect(REALTIME_URL, additional_headers=headers) as openai_ws:
await openai_ws.recv() # session.created
# Konfigurácia relácie
await openai_ws.send(json.dumps({
"type": "session.update",
"session": {
"type": "realtime",
"output_modalities": ["audio"],
"instructions": "You are a phone assistant. "
"Respond in English, concisely.",
"audio": {
"input": {
"format": {"type": "audio/pcmu"},
"turn_detection": {
"type": "server_vad",
"threshold": 0.5,
"silence_duration_ms": 600
}
},
"output": {
"format": {"type": "audio/pcmu"},
"voice": "marin"
}
}
}
}))
await openai_ws.recv()
stream_sid = None
async def twilio_to_openai():
nonlocal stream_sid
async for message in twilio_ws.iter_text():
data = json.loads(message)
if data["event"] == "media":
audio_b64 = data["media"]["payload"]
await openai_ws.send(json.dumps({
"type": "input_audio_buffer.append",
"audio": audio_b64
}))
elif data["event"] == "start":
stream_sid = data["start"]["streamSid"]
async def openai_to_twilio():
async for message in openai_ws:
event = json.loads(message)
if event["type"] == "response.output_audio.delta":
await twilio_ws.send_json({
"event": "media",
"streamSid": stream_sid,
"media": {
"payload": event["delta"]
}
})
await asyncio.gather(twilio_to_openai(), openai_to_twilio())
Zvukový formát G.711
Telefónia využíva formát G.711 μ-law (8 kHz, jeden bajt na vzorku). Realtime API tento formát podporuje natívne pod názvom audio/pcmu, ktorý deklaruješ pre vstup aj výstup (audio.input.format a audio.output.format, ako je uvedené vo vyššie uvedenom kóde). Tým sa vyhneš akejkoľvek konverzii na strane servera. Názov g711_ulaw patril betaverzii API; ekvivalent A-law sa nazýva audio/pcma.
Alternatívy k Twilio
| Platforma | Silná stránka | Integrácia s Realtime API |
|---|---|---|
| Twilio | Kompletný ekosystém, čísla vo viac ako 100 krajinách | Natívne WebSocket mediálne streamy |
| LiveKit | Open source, nízka latencia, WebRTC | Oficiálny plugin OpenAI |
| Daily | Jednoduché, hostované, vhodné na prototypovanie | Pipecat SDK s konektorom pre Realtime |
Kľúčové poznatky
- Twilio Media Streams ti umožňujú pripojiť telefónny hovor k obojsmernému WebSocketu
- Tvoj server funguje ako most medzi Twilio Media Stream a OpenAI Realtime API
- Formát G.711 μ-law je natívny pre telefóniu a priamo ho podporuje Realtime API
- LiveKit (open source, WebRTC) a Daily (hostované) sú životaschopné alternatívy k Twilio
- Architektúra je vždy rovnaká: telefónia → tvoj server → Realtime API