Telefonijos integracija („Twilio“ ir kt.)
Šiame puslapyje
Atnaujinta 2026 m. lapkričio 3 d. pagal „Realtime API“ dokumentaciją: G.711 μ-law formatas dabar vadinamas
audio/pcmu(anksčiau tekste buvo cituojamasg711_ulaw, kuris buvo beta versijos pavadinimas). Šaltinis: Realtime API.
2026 m. lapkričio 2 d. atnaujinimas — Garso modeliai. Keli šio kurso modeliai yra pasenę:
tts-1,tts-1-hdirgpt-4o-mini-ttsnustos veikti 2027 m. sausio 6 d. (nurodytas pakaitalas –gpt-realtime-2.1-mini, tačiau „OpenAI TTS“ gide teigiama, kad jis nepalaikomas per/v1/audio/speech: kalbos sintezės migracija turi vykti per „Realtime API“);gpt-realtime,gpt-4o-realtimeir senieji garso modeliai nustos veikti 2027 m. sausio 20 d. (gpt-realtime-2.1,gpt-realtime-2.1-mini,gpt-audio-1.5);whisper-1,gpt-4o-transcribeir/v1/audio/translationsnustos veikti 2027 m. vasario 26 d. (gpt-transcribe,gpt-live-transcribe,v1/realtime/translations). Pilno dublekso (full-duplex) balsui „GPT-Live 1“ API yra prieinamas nuo 2026 m. rugsėjo 10 d.
Telefonijos integracija („Twilio“ ir kt.)
Balso agentas tampa tikrai naudingas tada, kai juo galima pasinaudoti telefonu. Debesijos telefonijos platformos, tokios kaip „Twilio“, „LiveKit“ ir „Daily“, leidžia sujungti „Realtime API“ su pasauliniu telefono tinklu. Vartotojas surenka numerį, o tavo agentas atsako realiuoju laiku.
Telefonijos architektūra
Integruojant telefoniją, tarp telefono tinklo ir „Realtime API“ atsiranda papildomas sluoksnis:
Gaunamas skambutis → „Twilio“
Vartotojas surenka telefono numerį. „Twilio“ priima skambutį ir išsiunčia „webhook“ užklausą tavo serveriui.
Tavo serveris → Medienos srautas
Tavo serveris atsako „TwiML“ instrukcijomis, kurios atveria dvikryptį „Media Stream WebSocket“.
Medienos srautas ↔ „Realtime API“
Tavo serveris perduoda garso duomenis tarp „Twilio Media Stream“ ir „OpenAI Realtime API“.
Balso atsakas → Vartotojui
Garso atsakas iš „Realtime API“ per „Twilio“ siunčiamas atgal į vartotojo telefoną.
Įgyvendinimas naudojant „Twilio“
Gaunamo skambučio „Webhook“
Kai gaunamas skambutis, „Twilio“ siunčia HTTP užklausą tavo serveriui. Tu atsakai „TwiML“, kuris atveria medienos srautą:
from fastapi import FastAPI, Request
from fastapi.responses import Response
app = FastAPI()
@app.post("/incoming-call")
async def incoming_call(request: Request):
"""Twilio webhook for incoming calls."""
twiml = """<?xml version="1.0" encoding="UTF-8"?>
<Response>
<Say language="en-US">
Welcome to Corsen AI. Connecting you to your voice assistant.
</Say>
<Connect>
<Stream url="wss://your-server.com/media-stream">
<Parameter name="caller" value="{caller_number}" />
</Stream>
</Connect>
</Response>"""
form_data = await request.form()
caller = form_data.get("From", "unknown")
twiml = twiml.replace("{caller_number}", caller)
return Response(content=twiml, media_type="application/xml")
„Media Stream“ ir „Realtime API“ tiltas
„WebSocket“ serveris gauna garso duomenis iš „Twilio“ ir perduoda juos į „Realtime API“:
from fastapi import WebSocket
import websockets
import json
import base64
import audioop
import asyncio
OPENAI_API_KEY = "sk-..."
REALTIME_URL = "wss://api.openai.com/v1/realtime?model=gpt-realtime-2.1"
@app.websocket("/media-stream")
async def media_stream(twilio_ws: WebSocket):
"""Bridge between Twilio Media Stream and the Realtime API."""
await twilio_ws.accept()
# Connect to the Realtime API
headers = {
"Authorization": f"Bearer {OPENAI_API_KEY}"
}
async with websockets.connect(REALTIME_URL, additional_headers=headers) as openai_ws:
await openai_ws.recv() # session.created
# Configure the session
await openai_ws.send(json.dumps({
"type": "session.update",
"session": {
"type": "realtime",
"output_modalities": ["audio"],
"instructions": "You are a phone assistant. "
"Respond in English, concisely.",
"audio": {
"input": {
"format": {"type": "audio/pcmu"},
"turn_detection": {
"type": "server_vad",
"threshold": 0.5,
"silence_duration_ms": 600
}
},
"output": {
"format": {"type": "audio/pcmu"},
"voice": "marin"
}
}
}
}))
await openai_ws.recv()
stream_sid = None
async def twilio_to_openai():
nonlocal stream_sid
async for message in twilio_ws.iter_text():
data = json.loads(message)
if data["event"] == "media":
audio_b64 = data["media"]["payload"]
await openai_ws.send(json.dumps({
"type": "input_audio_buffer.append",
"audio": audio_b64
}))
elif data["event"] == "start":
stream_sid = data["start"]["streamSid"]
async def openai_to_twilio():
async for message in openai_ws:
event = json.loads(message)
if event["type"] == "response.output_audio.delta":
await twilio_ws.send_json({
"event": "media",
"streamSid": stream_sid,
"media": {
"payload": event["delta"]
}
})
await asyncio.gather(twilio_to_openai(), openai_to_twilio())
G.711 garso formatas
Telefonijoje naudojamas G.711 μ-law formatas (8 kHz, vienas baitas vienam ėminiui). „Realtime API“ šį formatą palaiko natūraliai pavadinimu audio/pcmu, kurį nurodai tiek įvestiai, tiek išvestiai (audio.input.format ir audio.output.format, kaip aukščiau esančiame kode). Tai leidžia išvengti bet kokio konvertavimo serveryje. Pavadinimas g711_ulaw priklausė API beta versijai; A-law ekvivalentas vadinamas audio/pcma.
„Twilio“ alternatyvos
| Platforma | Privalumas | Integracija su „Realtime API“ |
|---|---|---|
| Twilio | Išsami ekosistema, numeriai 100+ šalių | Natyvūs „WebSocket Media Streams“ |
| LiveKit | Atviro kodo, maža delsą, „WebRTC“ | Oficialus „OpenAI“ įskiepis |
| Daily | Paprasta, talpinama, tinka prototipams | „Pipecat SDK“ su „Realtime“ jungtimi |
Svarbiausi punktai
- „Twilio Media Streams“ leidžia prijungti telefono skambutį prie dvikrypčio „WebSocket“
- Tavo serveris veikia kaip tiltas tarp „Twilio Media Stream“ ir „OpenAI Realtime API“
- G.711 μ-law formatas yra natūralus telefonijai ir tiesiogiai palaikomas „Realtime API“
- „LiveKit“ (atviro kodo, „WebRTC“) ir „Daily“ (talpinama) yra tinkamos „Twilio“ alternatyvos
- Architektūra visada ta pati: telefonija → tavo serveris → „Realtime API“