Aqbeż għall-kontenut ewlieni
Malti— Agħżel lingwa
Menu

Integrazzjoni tat-Telefonija (Twilio, eċċ.)

Lezzjoni 15 / 18 Aġġornat 3 ta’ Novembru 2026 Zviluppatur
F'din il-paġna
  1. Integrazzjoni tat-Telefonija (Twilio, eċċ.)
  2. Arkitettura tat-Telefonija
  3. Implimentazzjoni ma’ Twilio
  4. Alternattivi għal Twilio
  5. Punti Ewlenin

Aġġornat fit-3 ta’ Novembru 2026 abbażi tad-dokumentazzjoni tal-API f’ħin reali: il-format G.711 μ-law huwa msejjaħ audio/pcmu (it-test preċedentem semma g711_ulaw, li kien l-isem tal-beta). Sors: API f’ħin reali.

Aġġornament tat-2 ta’ Novembru 2026 — Mudelli tal-awdjo. Diversi mudelli f’dan il-kors huma deprekati: tts-1, tts-1-hd, u gpt-4o-mini-tts se jieqfu jaħdmu fis-6 ta’ Jannar 2027 (is-sostitut indikat huwa gpt-realtime-2.1-mini, li l-gwida TTS ta’ OpenAI tiddikjara li mhux appoġġjata minn /v1/audio/speech: il-migrazzjoni tas-sinteżi tal-kliem trid tgħaddi mill-API f’ħin reali); gpt-realtime, gpt-4o-realtime, u mudelli tal-awdjo legacy fl-20 ta’ Jannar 2027 (gpt-realtime-2.1, gpt-realtime-2.1-mini, gpt-audio-1.5); whisper-1, gpt-4o-transcribe, u /v1/audio/translations fis-26 ta’ Frar 2027 (gpt-transcribe, gpt-live-transcribe, v1/realtime/translations). Għall-vuċi full-duplex, GPT-Live 1 kien disponibbli fl-API mill-10 ta’ Settembru 2026.

Integrazzjoni tat-Telefonija (Twilio, eċċ.)

Aġent tal-vuċi jsir verament utli meta jkun aċċessibbli bit-telefon. Pjattaformi tat-telefonija fil-cloud bħal Twilio, LiveKit, u Daily jħalluk tikkonnettja l-API f’ħin reali man-network telefoniku globali. Utent idur numru, u l-aġent tiegħek iwieġeb f’ħin reali.

Arkitettura tat-Telefonija

L-integrazzjoni tat-telefonija żżid saff bejn in-network telefoniku u l-API f’ħin reali:

1

Sejħa Li Tidħol → Twilio

L-utent idur numru tat-telefon. Twilio tirċievi s-sejħa u tibgħat webhook lis-server tiegħek.

2

Is-Server Tiegħek → Fluss tal-Midja

Is-server tiegħek iwieġeb b'istruzzjonijiet TwiML li jiftħu WebSocket ta' Fluss tal-Midja bidirezzjonali.

3

Fluss tal-Midja ↔ API f'ħin reali

Is-server tiegħek jgħaddi l-awdjo bejn il-Fluss tal-Midja ta' Twilio u l-API f'ħin reali ta' OpenAI.

4

Rispons tal-Vuċi → Utent

L-awdjo tar-rispons mill-API f'ħin reali jintbagħat lura permezz ta' Twilio lit-telefon tal-utent.

Implimentazzjoni ma’ Twilio

Webhook għal Sejħa Li Tidħol

Meta tasal sejħa, Twilio tibgħat talba HTTP lis-server tiegħek. Inti twieġeb b’TwiML li jiftaħ Fluss tal-Midja:

from fastapi import FastAPI, Request
from fastapi.responses import Response

app = FastAPI()

@app.post("/incoming-call")
async def incoming_call(request: Request):
    """Twilio webhook for incoming calls."""
    twiml = """<?xml version="1.0" encoding="UTF-8"?>
    <Response>
        <Say language="en-US">
            Welcome to Corsen AI. Connecting you to your voice assistant.
        </Say>
        <Connect>
            <Stream url="wss://your-server.com/media-stream">
                <Parameter name="caller" value="{caller_number}" />
            </Stream>
        </Connect>
    </Response>"""

    form_data = await request.form()
    caller = form_data.get("From", "unknown")
    twiml = twiml.replace("{caller_number}", caller)

    return Response(content=twiml, media_type="application/xml")

Il-Pont bejn il-Fluss tal-Midja u l-API f’ħin reali

Is-server WebSocket jirċievi l-awdjo mingħand Twilio u jgħaddih lill-API f’ħin reali:

from fastapi import WebSocket
import websockets
import json
import base64
import audioop
import asyncio

OPENAI_API_KEY = "sk-..."
REALTIME_URL = "wss://api.openai.com/v1/realtime?model=gpt-realtime-2.1"

@app.websocket("/media-stream")
async def media_stream(twilio_ws: WebSocket):
    """Bridge between Twilio Media Stream and the Realtime API."""
    await twilio_ws.accept()

    # Connect to the Realtime API
    headers = {
        "Authorization": f"Bearer {OPENAI_API_KEY}"
    }

    async with websockets.connect(REALTIME_URL, additional_headers=headers) as openai_ws:
        await openai_ws.recv()  # session.created

        # Configure the session
        await openai_ws.send(json.dumps({
            "type": "session.update",
            "session": {
                "type": "realtime",
                "output_modalities": ["audio"],
                "instructions": "You are a phone assistant. "
                                "Respond in English, concisely.",
                "audio": {
                    "input": {
                        "format": {"type": "audio/pcmu"},
                        "turn_detection": {
                            "type": "server_vad",
                            "threshold": 0.5,
                            "silence_duration_ms": 600
                        }
                    },
                    "output": {
                        "format": {"type": "audio/pcmu"},
                        "voice": "marin"
                    }
                }
            }
        }))
        await openai_ws.recv()

        stream_sid = None

        async def twilio_to_openai():
            nonlocal stream_sid
            async for message in twilio_ws.iter_text():
                data = json.loads(message)

                if data["event"] == "media":
                    audio_b64 = data["media"]["payload"]
                    await openai_ws.send(json.dumps({
                        "type": "input_audio_buffer.append",
                        "audio": audio_b64
                    }))

                elif data["event"] == "start":
                    stream_sid = data["start"]["streamSid"]

        async def openai_to_twilio():
            async for message in openai_ws:
                event = json.loads(message)

                if event["type"] == "response.output_audio.delta":
                    await twilio_ws.send_json({
                        "event": "media",
                        "streamSid": stream_sid,
                        "media": {
                            "payload": event["delta"]
                        }
                    })

        await asyncio.gather(twilio_to_openai(), openai_to_twilio())

Format tal-Awdjo G.711

It-telefonija tuża l-format G.711 μ-law (8 kHz, bajt wieħed għal kull kampjun). L-API f’ħin reali tappoġġja dan nativament taħt l-isem audio/pcmu, li tiddikjara kemm għall-input kif ukoll għall-output (audio.input.format u audio.output.format, bħall-kodiċi hawn fuq). Dan jevita kwalunkwe konverżjoni fuq is-server. L-isem g711_ulaw kien jappartjeni għall-beta tal-API; l-ekwivalenti A-law huwa msejjaħ audio/pcma.

Alternattivi għal Twilio

Pjattaforma Qawwa Integrazzjoni mal-API f'ħin reali
Twilio Ekosistema sħiħa, numri f'aktar minn 100 pajjiż Flussi tal-Midja WebSocket nattivi
LiveKit Sors miftuħ, latenza baxxa, WebRTC Plugin uffiċjali ta' OpenAI
Daily Sempliċi, ospitat, tajjeb għall-prototipar SDK Pipecat b'konnettur f'ħin reali

Punti Ewlenin

  • Il-Flussi tal-Midja ta’ Twilio jħalluk tikkonnettja sejħa telefonika ma’ WebSocket bidirezzjonali
  • Is-server tiegħek jaġixxi bħala pont bejn il-Fluss tal-Midja ta’ Twilio u l-API f’ħin reali ta’ OpenAI
  • Il-format G.711 μ-law huwa nattivi għat-telefonija u appoġġjat direttament mill-API f’ħin reali
  • LiveKit (sors miftuħ, WebRTC) u Daily (ospitat) huma alternattivi vijabbli għal Twilio
  • L-arkitettura hija dejjem l-istess: telefonija → is-server tiegħek → API f’ħin reali