Preskoči na glavni sadržaj
Hrvatski— Odaberite jezik
Izbornik

Integracija telefonije (Twilio i dr.)

Lekcija 15 od 18 Ažurirano 3. studenoga 2026. Programer
Na ovoj stranici
  1. Integracija telefonije (Twilio i dr.)
  2. Arhitektura telefonije
  3. Implementacija s Twiliom
  4. Alternative Twiliju
  5. Ključne točke

Ažurirano 3. studenoga 2026. na temelju dokumentacije Realtime API-ja: format G.711 μ-law naziva se audio/pcmu (tekst je prethodno navodio g711_ulaw, što je bilo beta ime). Izvor: Realtime API.

Ažuriranje 2. studenoga 2026. — Audio modeli. Nekoliko modela u ovom tečaju je zastarjelo: tts-1, tts-1-hd i gpt-4o-mini-tts prestat će raditi 6. siječnja 2027. (navedena zamjena je gpt-realtime-2.1-mini, za koju OpenAI TTS vodič navodi da nije podržana putem /v1/audio/speech: migracija sinteze govora mora ići kroz Realtime API); gpt-realtime, gpt-4o-realtime i stariji audio modeli 20. siječnja 2027. (gpt-realtime-2.1, gpt-realtime-2.1-mini, gpt-audio-1.5); whisper-1, gpt-4o-transcribe i /v1/audio/translations 26. veljače 2027. (gpt-transcribe, gpt-live-transcribe, v1/realtime/translations). Za full-duplex glas, GPT-Live 1 dostupan je u API-ju od 10. rujna 2026.

Integracija telefonije (Twilio i dr.)

Glasovni agent postaje doista koristan kada je dostupan putem telefona. Platforme za telefoniju u oblaku poput Twilija, LiveKita i Dailyja omogućuju ti povezivanje Realtime API-ja s globalnom telefonskom mrežom. Korisnik bira broj, a tvoj agent odgovara u stvarnom vremenu.

Arhitektura telefonije

Integracija telefonije dodaje sloj između telefonske mreže i Realtime API-ja:

1

Dolazni poziv → Twilio

Korisnik bira telefonski broj. Twilio prima poziv i šalje webhook na tvoj poslužitelj.

2

Tvoj poslužitelj → Media Stream

Tvoj poslužitelj odgovara TwiML uputama koje otvaraju obostrani WebSocket za Media Stream.

3

Media Stream ↔ Realtime API

Tvoj poslužitelj prosljeđuje audio zapis između Twilio Media Streama i OpenAI Realtime API-ja.

4

Glasovni odgovor → Korisnik

Audio odgovor iz Realtime API-ja šalje se natrag putem Twilija na korisnikov telefon.

Implementacija s Twiliom

Webhook za dolazne pozive

Kada stigne poziv, Twilio šalje HTTP zahtjev tvom poslužitelju. Ti odgovaraš s TwiMLom koji otvara Media Stream:

from fastapi import FastAPI, Request
from fastapi.responses import Response

app = FastAPI()

@app.post("/incoming-call")
async def incoming_call(request: Request):
    """Twilio webhook za dolazne pozive."""
    twiml = """<?xml version="1.0" encoding="UTF-8"?>
    <Response>
        <Say language="en-US">
            Welcome to Corsen AI. Connecting you to your voice assistant.
        </Say>
        <Connect>
            <Stream url="wss://your-server.com/media-stream">
                <Parameter name="caller" value="{caller_number}" />
            </Stream>
        </Connect>
    </Response>"""

    form_data = await request.form()
    caller = form_data.get("From", "unknown")
    twiml = twiml.replace("{caller_number}", caller)

    return Response(content=twiml, media_type="application/xml")

Most između Media Streama i Realtime API-ja

WebSocket poslužitelj prima audio zapis od Twilija i prosljeđuje ga Realtime API-ju:

from fastapi import WebSocket
import websockets
import json
import base64
import audioop
import asyncio

OPENAI_API_KEY = "sk-..."
REALTIME_URL = "wss://api.openai.com/v1/realtime?model=gpt-realtime-2.1"

@app.websocket("/media-stream")
async def media_stream(twilio_ws: WebSocket):
    """Most između Twilio Media Streama i Realtime API-ja."""
    await twilio_ws.accept()

    # Povezivanje s Realtime API-jem
    headers = {
        "Authorization": f"Bearer {OPENAI_API_KEY}"
    }

    async with websockets.connect(REALTIME_URL, additional_headers=headers) as openai_ws:
        await openai_ws.recv()  # session.created

        # Konfiguracija sesije
        await openai_ws.send(json.dumps({
            "type": "session.update",
            "session": {
                "type": "realtime",
                "output_modalities": ["audio"],
                "instructions": "You are a phone assistant. "
                                "Respond in English, concisely.",
                "audio": {
                    "input": {
                        "format": {"type": "audio/pcmu"},
                        "turn_detection": {
                            "type": "server_vad",
                            "threshold": 0.5,
                            "silence_duration_ms": 600
                        }
                    },
                    "output": {
                        "format": {"type": "audio/pcmu"},
                        "voice": "marin"
                    }
                }
            }
        }))
        await openai_ws.recv()

        stream_sid = None

        async def twilio_to_openai():
            nonlocal stream_sid
            async for message in twilio_ws.iter_text():
                data = json.loads(message)

                if data["event"] == "media":
                    audio_b64 = data["media"]["payload"]
                    await openai_ws.send(json.dumps({
                        "type": "input_audio_buffer.append",
                        "audio": audio_b64
                    }))

                elif data["event"] == "start":
                    stream_sid = data["start"]["streamSid"]

        async def openai_to_twilio():
            async for message in openai_ws:
                event = json.loads(message)

                if event["type"] == "response.output_audio.delta":
                    await twilio_ws.send_json({
                        "event": "media",
                        "streamSid": stream_sid,
                        "media": {
                            "payload": event["delta"]
                        }
                    })

        await asyncio.gather(twilio_to_openai(), openai_to_twilio())

Audio format G.711

Telefonija koristi G.711 μ-law format (8 kHz, jedan bajt po uzorku). Realtime API to izvorno podržava pod nazivom audio/pcmu, što deklariraš i za ulaz i za izlaz (audio.input.format i audio.output.format, kao u gornjem kodu). Time se izbjegava svaka konverzija na strani poslužitelja. Naziv g711_ulaw pripadao je beta verziji API-ja; ekvivalent A-law naziva se audio/pcma.

Alternative Twiliju

Platforma Prednost Integracija s Realtime API-jem
Twilio Cjelovit ekosustav, brojevi u 100+ zemalja Izvorni WebSocket Media Streamovi
LiveKit Otvorenog koda, mala latencija, WebRTC Službeni OpenAI plugin
Daily Jednostavan, hostiran, dobar za prototipove Pipecat SDK s Realtime konektorom

Ključne točke

  • Twilio Media Streams omogućuje ti povezivanje telefonskog poziva s obostranim WebSocketom
  • Tvoj poslužitelj djeluje kao most između Twilio Media Streama i OpenAI Realtime API-ja
  • G.711 μ-law format je izvorni za telefoniju i izravno ga podržava Realtime API
  • LiveKit (otvorenog koda, WebRTC) i Daily (hostiran) su održive alternative Twiliju
  • Arhitektura je uvijek ista: telefonija → tvoj poslužitelj → Realtime API