Preskok na glavno vsebino
Slovenščina— Izberite jezik
Meni

Integracija telefonije (Twilio itd.)

Lekcija 15 od 18 Posodobljeno 3. november 2026 Razvijalec
Na tej strani
  1. Integracija telefonije (Twilio itd.)
  2. Arhitektura telefonije
  3. Implementacija s Twiliom
  4. Alternative Twiliu
  5. Ključne ugotovitve

Posodobljeno 3. novembra 2026 na podlagi dokumentacije Realtime API: format G.711 μ-law se imenuje audio/pcmu (besedilo je prej navajalo g711_ulaw, kar je bilo beta ime). Vir: Realtime API.

Posodobitev z dne 2. novembra 2026 — Zvočni modeli. Nekateri modeli v tem tečaju so zastareli: tts-1, tts-1-hd in gpt-4o-mini-tts bodo prenehali delovati 6. januarja 2027 (navedena zamenjava je gpt-realtime-2.1-mini, ki pa po navodilih OpenAI za TTS ni podprta z /v1/audio/speech: selitev sinteze govora mora potekati prek Realtime API); gpt-realtime, gpt-4o-realtime in stari zvočni modeli 20. januarja 2027 (gpt-realtime-2.1, gpt-realtime-2.1-mini, gpt-audio-1.5); whisper-1, gpt-4o-transcribe in /v1/audio/translations 26. februarja 2027 (gpt-transcribe, gpt-live-transcribe, v1/realtime/translations). Za polno duplexno komunikacijo je GPT-Live 1 na voljo v API-ju od 10. septembra 2026.

Integracija telefonije (Twilio itd.)

Glasovni agent postane res uporaben, ko je dostopen po telefonu. Oblačne telefonske platforme, kot so Twilio, LiveKit in Daily, ti omogočajo povezavo Realtime API z globalnim telefonskim omrežjem. Uporabnik pokliče številko in tvoj agent odgovori v realnem času.

Arhitektura telefonije

Integracija telefonije doda vmesno plast med telefonsko omrežje in Realtime API:

1

Dohodni klic → Twilio

Uporabnik pokliče telefonsko številko. Twilio prejme klic in pošlje spletni klic (webhook) na tvoj strežnik.

2

Tvoj strežnik → Medijski tok

Tvoj strežnik odgovori z navodili TwiML, ki odprejo dvosmerni WebSocket za medijski tok.

3

Medijski tok ↔ Realtime API

Tvoj strežnik posreduje zvok med medijskim tokom Twilio in OpenAI Realtime API.

4

Glasovni odgovor → Uporabnik

Zvočni odgovor iz Realtime API se pošlje nazaj prek Twilia na uporabnikov telefon.

Implementacija s Twiliom

Webhook za dohodne klice

Ko prispe klic, Twilio pošlje zahtevo HTTP na tvoj strežnik. Odgovoriš s TwiML, ki odpre medijski tok:

from fastapi import FastAPI, Request
from fastapi.responses import Response

app = FastAPI()

@app.post("/incoming-call")
async def incoming_call(request: Request):
    """Twilio webhook for incoming calls."""
    twiml = """<?xml version="1.0" encoding="UTF-8"?>
    <Response>
        <Say language="en-US">
            Welcome to Corsen AI. Connecting you to your voice assistant.
        </Say>
        <Connect>
            <Stream url="wss://your-server.com/media-stream">
                <Parameter name="caller" value="{caller_number}" />
            </Stream>
        </Connect>
    </Response>"""

    form_data = await request.form()
    caller = form_data.get("From", "unknown")
    twiml = twiml.replace("{caller_number}", caller)

    return Response(content=twiml, media_type="application/xml")

Most med medijskim tokom in Realtime API

Strežnik WebSocket prejme zvok od Twilia in ga posreduje Realtime API:

from fastapi import WebSocket
import websockets
import json
import base64
import audioop
import asyncio

OPENAI_API_KEY = "sk-..."
REALTIME_URL = "wss://api.openai.com/v1/realtime?model=gpt-realtime-2.1"

@app.websocket("/media-stream")
async def media_stream(twilio_ws: WebSocket):
    """Bridge between Twilio Media Stream and the Realtime API."""
    await twilio_ws.accept()

    # Connect to the Realtime API
    headers = {
        "Authorization": f"Bearer {OPENAI_API_KEY}"
    }

    async with websockets.connect(REALTIME_URL, additional_headers=headers) as openai_ws:
        await openai_ws.recv()  # session.created

        # Configure the session
        await openai_ws.send(json.dumps({
            "type": "session.update",
            "session": {
                "type": "realtime",
                "output_modalities": ["audio"],
                "instructions": "You are a phone assistant. "
                                "Respond in English, concisely.",
                "audio": {
                    "input": {
                        "format": {"type": "audio/pcmu"},
                        "turn_detection": {
                            "type": "server_vad",
                            "threshold": 0.5,
                            "silence_duration_ms": 600
                        }
                    },
                    "output": {
                        "format": {"type": "audio/pcmu"},
                        "voice": "marin"
                    }
                }
            }
        }))
        await openai_ws.recv()

        stream_sid = None

        async def twilio_to_openai():
            nonlocal stream_sid
            async for message in twilio_ws.iter_text():
                data = json.loads(message)

                if data["event"] == "media":
                    audio_b64 = data["media"]["payload"]
                    await openai_ws.send(json.dumps({
                        "type": "input_audio_buffer.append",
                        "audio": audio_b64
                    }))

                elif data["event"] == "start":
                    stream_sid = data["start"]["streamSid"]

        async def openai_to_twilio():
            async for message in openai_ws:
                event = json.loads(message)

                if event["type"] == "response.output_audio.delta":
                    await twilio_ws.send_json({
                        "event": "media",
                        "streamSid": stream_sid,
                        "media": {
                            "payload": event["delta"]
                        }
                    })

        await asyncio.gather(twilio_to_openai(), openai_to_twilio())

Zvočni format G.711

Telefonija uporablja format G.711 μ-law (8 kHz, en bajt na vzorec). Realtime API to izvorno podpira pod imenom audio/pcmu, kar določiš tako za vhod kot za izhod (audio.input.format in audio.output.format, kot je prikazano v zgornji kodi). S tem se izogneš kakršni koli pretvorbi na strani strežnika. Ime g711_ulaw je pripadalo beta različici API-ja; ekvivalent A-law se imenuje audio/pcma.

Alternative Twiliu

Platforma Prednost Integracija z Realtime API
Twilio Celovit ekosistem, številke v več kot 100 državah Izvorni medijski tokovi WebSocket
LiveKit Odprtokodno, nizka zakasnitev, WebRTC Uradni vtičnik OpenAI
Daily Preprosto, gostovano, primerno za prototipiranje Pipecat SDK s konektorjem Realtime

Ključne ugotovitve

  • Twilio Media Streams ti omogoča povezavo telefonskega klica z dvosmernim WebSocketom
  • Tvoj strežnik deluje kot most med medijskim tokom Twilio in OpenAI Realtime API
  • Format G.711 μ-law je izvoren za telefonijo in ga Realtime API neposredno podpira
  • LiveKit (odprtokodno, WebRTC) in Daily (gostovano) sta izvedljivi alternativi Twiliu
  • Arhitektura je vedno enaka: telefonija → tvoj strežnik → Realtime API