Integracija telefonije (Twilio itd.)
Na tej strani
Posodobljeno 3. novembra 2026 na podlagi dokumentacije Realtime API: format G.711 μ-law se imenuje
audio/pcmu(besedilo je prej navajalog711_ulaw, kar je bilo beta ime). Vir: Realtime API.
Posodobitev z dne 2. novembra 2026 — Zvočni modeli. Nekateri modeli v tem tečaju so zastareli:
tts-1,tts-1-hdingpt-4o-mini-ttsbodo prenehali delovati 6. januarja 2027 (navedena zamenjava jegpt-realtime-2.1-mini, ki pa po navodilih OpenAI za TTS ni podprta z/v1/audio/speech: selitev sinteze govora mora potekati prek Realtime API);gpt-realtime,gpt-4o-realtimein stari zvočni modeli 20. januarja 2027 (gpt-realtime-2.1,gpt-realtime-2.1-mini,gpt-audio-1.5);whisper-1,gpt-4o-transcribein/v1/audio/translations26. februarja 2027 (gpt-transcribe,gpt-live-transcribe,v1/realtime/translations). Za polno duplexno komunikacijo je GPT-Live 1 na voljo v API-ju od 10. septembra 2026.
Integracija telefonije (Twilio itd.)
Glasovni agent postane res uporaben, ko je dostopen po telefonu. Oblačne telefonske platforme, kot so Twilio, LiveKit in Daily, ti omogočajo povezavo Realtime API z globalnim telefonskim omrežjem. Uporabnik pokliče številko in tvoj agent odgovori v realnem času.
Arhitektura telefonije
Integracija telefonije doda vmesno plast med telefonsko omrežje in Realtime API:
Dohodni klic → Twilio
Uporabnik pokliče telefonsko številko. Twilio prejme klic in pošlje spletni klic (webhook) na tvoj strežnik.
Tvoj strežnik → Medijski tok
Tvoj strežnik odgovori z navodili TwiML, ki odprejo dvosmerni WebSocket za medijski tok.
Medijski tok ↔ Realtime API
Tvoj strežnik posreduje zvok med medijskim tokom Twilio in OpenAI Realtime API.
Glasovni odgovor → Uporabnik
Zvočni odgovor iz Realtime API se pošlje nazaj prek Twilia na uporabnikov telefon.
Implementacija s Twiliom
Webhook za dohodne klice
Ko prispe klic, Twilio pošlje zahtevo HTTP na tvoj strežnik. Odgovoriš s TwiML, ki odpre medijski tok:
from fastapi import FastAPI, Request
from fastapi.responses import Response
app = FastAPI()
@app.post("/incoming-call")
async def incoming_call(request: Request):
"""Twilio webhook for incoming calls."""
twiml = """<?xml version="1.0" encoding="UTF-8"?>
<Response>
<Say language="en-US">
Welcome to Corsen AI. Connecting you to your voice assistant.
</Say>
<Connect>
<Stream url="wss://your-server.com/media-stream">
<Parameter name="caller" value="{caller_number}" />
</Stream>
</Connect>
</Response>"""
form_data = await request.form()
caller = form_data.get("From", "unknown")
twiml = twiml.replace("{caller_number}", caller)
return Response(content=twiml, media_type="application/xml")
Most med medijskim tokom in Realtime API
Strežnik WebSocket prejme zvok od Twilia in ga posreduje Realtime API:
from fastapi import WebSocket
import websockets
import json
import base64
import audioop
import asyncio
OPENAI_API_KEY = "sk-..."
REALTIME_URL = "wss://api.openai.com/v1/realtime?model=gpt-realtime-2.1"
@app.websocket("/media-stream")
async def media_stream(twilio_ws: WebSocket):
"""Bridge between Twilio Media Stream and the Realtime API."""
await twilio_ws.accept()
# Connect to the Realtime API
headers = {
"Authorization": f"Bearer {OPENAI_API_KEY}"
}
async with websockets.connect(REALTIME_URL, additional_headers=headers) as openai_ws:
await openai_ws.recv() # session.created
# Configure the session
await openai_ws.send(json.dumps({
"type": "session.update",
"session": {
"type": "realtime",
"output_modalities": ["audio"],
"instructions": "You are a phone assistant. "
"Respond in English, concisely.",
"audio": {
"input": {
"format": {"type": "audio/pcmu"},
"turn_detection": {
"type": "server_vad",
"threshold": 0.5,
"silence_duration_ms": 600
}
},
"output": {
"format": {"type": "audio/pcmu"},
"voice": "marin"
}
}
}
}))
await openai_ws.recv()
stream_sid = None
async def twilio_to_openai():
nonlocal stream_sid
async for message in twilio_ws.iter_text():
data = json.loads(message)
if data["event"] == "media":
audio_b64 = data["media"]["payload"]
await openai_ws.send(json.dumps({
"type": "input_audio_buffer.append",
"audio": audio_b64
}))
elif data["event"] == "start":
stream_sid = data["start"]["streamSid"]
async def openai_to_twilio():
async for message in openai_ws:
event = json.loads(message)
if event["type"] == "response.output_audio.delta":
await twilio_ws.send_json({
"event": "media",
"streamSid": stream_sid,
"media": {
"payload": event["delta"]
}
})
await asyncio.gather(twilio_to_openai(), openai_to_twilio())
Zvočni format G.711
Telefonija uporablja format G.711 μ-law (8 kHz, en bajt na vzorec). Realtime API to izvorno podpira pod imenom audio/pcmu, kar določiš tako za vhod kot za izhod (audio.input.format in audio.output.format, kot je prikazano v zgornji kodi). S tem se izogneš kakršni koli pretvorbi na strani strežnika. Ime g711_ulaw je pripadalo beta različici API-ja; ekvivalent A-law se imenuje audio/pcma.
Alternative Twiliu
| Platforma | Prednost | Integracija z Realtime API |
|---|---|---|
| Twilio | Celovit ekosistem, številke v več kot 100 državah | Izvorni medijski tokovi WebSocket |
| LiveKit | Odprtokodno, nizka zakasnitev, WebRTC | Uradni vtičnik OpenAI |
| Daily | Preprosto, gostovano, primerno za prototipiranje | Pipecat SDK s konektorjem Realtime |
Ključne ugotovitve
- Twilio Media Streams ti omogoča povezavo telefonskega klica z dvosmernim WebSocketom
- Tvoj strežnik deluje kot most med medijskim tokom Twilio in OpenAI Realtime API
- Format G.711 μ-law je izvoren za telefonijo in ga Realtime API neposredno podpira
- LiveKit (odprtokodno, WebRTC) in Daily (gostovano) sta izvedljivi alternativi Twiliu
- Arhitektura je vedno enaka: telefonija → tvoj strežnik → Realtime API