Integracija telefonije (Twilio i dr.)
Na ovoj stranici
Ažurirano 3. studenoga 2026. na temelju dokumentacije Realtime API-ja: format G.711 μ-law naziva se
audio/pcmu(tekst je prethodno navodiog711_ulaw, što je bilo beta ime). Izvor: Realtime API.
Ažuriranje 2. studenoga 2026. — Audio modeli. Nekoliko modela u ovom tečaju je zastarjelo:
tts-1,tts-1-hdigpt-4o-mini-ttsprestat će raditi 6. siječnja 2027. (navedena zamjena jegpt-realtime-2.1-mini, za koju OpenAI TTS vodič navodi da nije podržana putem/v1/audio/speech: migracija sinteze govora mora ići kroz Realtime API);gpt-realtime,gpt-4o-realtimei stariji audio modeli 20. siječnja 2027. (gpt-realtime-2.1,gpt-realtime-2.1-mini,gpt-audio-1.5);whisper-1,gpt-4o-transcribei/v1/audio/translations26. veljače 2027. (gpt-transcribe,gpt-live-transcribe,v1/realtime/translations). Za full-duplex glas, GPT-Live 1 dostupan je u API-ju od 10. rujna 2026.
Integracija telefonije (Twilio i dr.)
Glasovni agent postaje doista koristan kada je dostupan putem telefona. Platforme za telefoniju u oblaku poput Twilija, LiveKita i Dailyja omogućuju ti povezivanje Realtime API-ja s globalnom telefonskom mrežom. Korisnik bira broj, a tvoj agent odgovara u stvarnom vremenu.
Arhitektura telefonije
Integracija telefonije dodaje sloj između telefonske mreže i Realtime API-ja:
Dolazni poziv → Twilio
Korisnik bira telefonski broj. Twilio prima poziv i šalje webhook na tvoj poslužitelj.
Tvoj poslužitelj → Media Stream
Tvoj poslužitelj odgovara TwiML uputama koje otvaraju obostrani WebSocket za Media Stream.
Media Stream ↔ Realtime API
Tvoj poslužitelj prosljeđuje audio zapis između Twilio Media Streama i OpenAI Realtime API-ja.
Glasovni odgovor → Korisnik
Audio odgovor iz Realtime API-ja šalje se natrag putem Twilija na korisnikov telefon.
Implementacija s Twiliom
Webhook za dolazne pozive
Kada stigne poziv, Twilio šalje HTTP zahtjev tvom poslužitelju. Ti odgovaraš s TwiMLom koji otvara Media Stream:
from fastapi import FastAPI, Request
from fastapi.responses import Response
app = FastAPI()
@app.post("/incoming-call")
async def incoming_call(request: Request):
"""Twilio webhook za dolazne pozive."""
twiml = """<?xml version="1.0" encoding="UTF-8"?>
<Response>
<Say language="en-US">
Welcome to Corsen AI. Connecting you to your voice assistant.
</Say>
<Connect>
<Stream url="wss://your-server.com/media-stream">
<Parameter name="caller" value="{caller_number}" />
</Stream>
</Connect>
</Response>"""
form_data = await request.form()
caller = form_data.get("From", "unknown")
twiml = twiml.replace("{caller_number}", caller)
return Response(content=twiml, media_type="application/xml")
Most između Media Streama i Realtime API-ja
WebSocket poslužitelj prima audio zapis od Twilija i prosljeđuje ga Realtime API-ju:
from fastapi import WebSocket
import websockets
import json
import base64
import audioop
import asyncio
OPENAI_API_KEY = "sk-..."
REALTIME_URL = "wss://api.openai.com/v1/realtime?model=gpt-realtime-2.1"
@app.websocket("/media-stream")
async def media_stream(twilio_ws: WebSocket):
"""Most između Twilio Media Streama i Realtime API-ja."""
await twilio_ws.accept()
# Povezivanje s Realtime API-jem
headers = {
"Authorization": f"Bearer {OPENAI_API_KEY}"
}
async with websockets.connect(REALTIME_URL, additional_headers=headers) as openai_ws:
await openai_ws.recv() # session.created
# Konfiguracija sesije
await openai_ws.send(json.dumps({
"type": "session.update",
"session": {
"type": "realtime",
"output_modalities": ["audio"],
"instructions": "You are a phone assistant. "
"Respond in English, concisely.",
"audio": {
"input": {
"format": {"type": "audio/pcmu"},
"turn_detection": {
"type": "server_vad",
"threshold": 0.5,
"silence_duration_ms": 600
}
},
"output": {
"format": {"type": "audio/pcmu"},
"voice": "marin"
}
}
}
}))
await openai_ws.recv()
stream_sid = None
async def twilio_to_openai():
nonlocal stream_sid
async for message in twilio_ws.iter_text():
data = json.loads(message)
if data["event"] == "media":
audio_b64 = data["media"]["payload"]
await openai_ws.send(json.dumps({
"type": "input_audio_buffer.append",
"audio": audio_b64
}))
elif data["event"] == "start":
stream_sid = data["start"]["streamSid"]
async def openai_to_twilio():
async for message in openai_ws:
event = json.loads(message)
if event["type"] == "response.output_audio.delta":
await twilio_ws.send_json({
"event": "media",
"streamSid": stream_sid,
"media": {
"payload": event["delta"]
}
})
await asyncio.gather(twilio_to_openai(), openai_to_twilio())
Audio format G.711
Telefonija koristi G.711 μ-law format (8 kHz, jedan bajt po uzorku). Realtime API to izvorno podržava pod nazivom audio/pcmu, što deklariraš i za ulaz i za izlaz (audio.input.format i audio.output.format, kao u gornjem kodu). Time se izbjegava svaka konverzija na strani poslužitelja. Naziv g711_ulaw pripadao je beta verziji API-ja; ekvivalent A-law naziva se audio/pcma.
Alternative Twiliju
| Platforma | Prednost | Integracija s Realtime API-jem |
|---|---|---|
| Twilio | Cjelovit ekosustav, brojevi u 100+ zemalja | Izvorni WebSocket Media Streamovi |
| LiveKit | Otvorenog koda, mala latencija, WebRTC | Službeni OpenAI plugin |
| Daily | Jednostavan, hostiran, dobar za prototipove | Pipecat SDK s Realtime konektorom |
Ključne točke
- Twilio Media Streams omogućuje ti povezivanje telefonskog poziva s obostranim WebSocketom
- Tvoj poslužitelj djeluje kao most između Twilio Media Streama i OpenAI Realtime API-ja
- G.711 μ-law format je izvorni za telefoniju i izravno ga podržava Realtime API
- LiveKit (otvorenog koda, WebRTC) i Daily (hostiran) su održive alternative Twiliju
- Arhitektura je uvijek ista: telefonija → tvoj poslužitelj → Realtime API