Μετάβαση στο κύριο περιεχόμενο
Ελληνικά— Επιλέξτε γλώσσα
Μενού

Ολοκλήρωση με Τηλεφωνία (Twilio, κ.λπ.)

Μάθημα 15 / 18 Ενημερώθηκε 3 Νοεμβρίου 2026 Για developers
Σε αυτήν τη σελίδα
  1. Ολοκλήρωση με Τηλεφωνία (Twilio, κ.λπ.)
  2. Αρχιτεκτονική Τηλεφωνίας
  3. Υλοποίηση με Twilio
  4. Εναλλακτικές του Twilio
  5. Βασικά σημεία

Ενημερώθηκε στις 3 Νοεμβρίου 2026 με βάση την τεκμηρίωση του Realtime API: η μορφή G.711 μ-law ονομάζεται πλέον audio/pcmu (το κείμενο ανέφερε προηγουμένως g711_ulaw, που ήταν η ονομασία κατά τη διάρκεια της beta φάσης). Πηγή: Realtime API.

Ενημέρωση 2 Νοεμβρίου 2026 — Μοντέλα ήχου. Αρκετά μοντέλα αυτού του μαθήματος έχουν καταργηθεί: τα tts-1, tts-1-hd και gpt-4o-mini-tts θα παύσουν να λειτουργούν στις 6 Ιανουαρίου 2027 (η υποδεικνυόμενη αντικατάσταση είναι το gpt-realtime-2.1-mini, το οποίο όμως ο οδηγός TTS της OpenAI αναφέρει ότι δεν υποστηρίζεται από το /v1/audio/speech: η μετάβαση στη σύνθεση ομιλίας πρέπει να γίνει μέσω του Realtime API)· τα gpt-realtime, gpt-4o-realtime και τα παλαιότερα μοντέλα ήχου στις 20 Ιανουαρίου 2027 (gpt-realtime-2.1, gpt-realtime-2.1-mini, gpt-audio-1.5)· τα whisper-1, gpt-4o-transcribe και το /v1/audio/translations στις 26 Φεβρουαρίου 2027 (gpt-transcribe, gpt-live-transcribe, v1/realtime/translations). Για επικοινωνία φωνής πλήρους διπλής κατεύθυνσης (full-duplex), το GPT-Live 1 είναι διαθέσιμο στο API από τις 10 Σεπτεμβρίου 2026.

Ολοκλήρωση με Τηλεφωνία (Twilio, κ.λπ.)

Ένας πράκτορας φωνής αποκτά πραγματική χρησιμότητα όταν είναι προσβάσιμος μέσω τηλεφώνου. Πλατφόρμες τηλεφωνίας στο cloud, όπως το Twilio, το LiveKit και το Daily, σας επιτρέπουν να συνδέσετε το Realtime API με το παγκόσμιο τηλεφωνικό δίκτυο. Ο χρήστης καλεί έναν αριθμό και ο πράκτοράς σας απαντά σε πραγματικό χρόνο.

Αρχιτεκτονική Τηλεφωνίας

Η ολοκλήρωση με την τηλεφωνία προσθέτει ένα ενδιάμεσο στρώμα μεταξύ του τηλεφωνικού δικτύου και του Realtime API:

1

Εισερχόμενη Κλήση → Twilio

Ο χρήστης καλεί έναν τηλεφωνικό αριθμό. Το Twilio λαμβάνει την κλήση και στέλνει ένα webhook στον διακομιστή σας.

2

Ο Διακομιστής σας → Ροή Πολυμέσων (Media Stream)

Ο διακομιστής σας αποκρίνεται με οδηγίες TwiML που ανοίγουν ένα αμφίδρομο WebSocket Ροής Πολυμέσων (Media Stream).

3

Ροή Πολυμέσων ↔ Realtime API

Ο διακομιστής σας μεταφέρει τον ήχο μεταξύ της Ροής Πολυμέσων του Twilio και του Realtime API της OpenAI.

4

Φωνητική Απόκριση → Χρήστης

Ο ήχος απόκρισης από το Realtime API επιστρέφεται μέσω του Twilio στο τηλέφωνο του χρήστη.

Υλοποίηση με Twilio

Webhook Εισερχόμενης Κλήσης

Όταν φτάνει μια κλήση, το Twilio στέλνει ένα αίτημα HTTP στον διακομιστή σας. Εσείς αποκρίνεστε με TwiML που ανοίγει μια Ροή Πολυμέσων (Media Stream):

from fastapi import FastAPI, Request
from fastapi.responses import Response

app = FastAPI()

@app.post("/incoming-call")
async def incoming_call(request: Request):
    """Twilio webhook για εισερχόμενες κλήσεις."""
    twiml = """<?xml version="1.0" encoding="UTF-8"?>
    <Response>
        <Say language="en-US">
            Welcome to Corsen AI. Connecting you to your voice assistant.
        </Say>
        <Connect>
            <Stream url="wss://your-server.com/media-stream">
                <Parameter name="caller" value="{caller_number}" />
            </Stream>
        </Connect>
    </Response>"""

    form_data = await request.form()
    caller = form_data.get("From", "unknown")
    twiml = twiml.replace("{caller_number}", caller)

    return Response(content=twiml, media_type="application/xml")

Η Γέφυρα Ροής Πολυμέσων ↔ Realtime API

Ο διακομιστής WebSocket λαμβάνει ήχο από το Twilio και τον μεταφέρει στο Realtime API:

from fastapi import WebSocket
import websockets
import json
import base64
import audioop
import asyncio

OPENAI_API_KEY = "sk-..."
REALTIME_URL = "wss://api.openai.com/v1/realtime?model=gpt-realtime-2.1"

@app.websocket("/media-stream")
async def media_stream(twilio_ws: WebSocket):
    """Γέφυρα μεταξύ Twilio Media Stream και Realtime API."""
    await twilio_ws.accept()

    # Σύνδεση με το Realtime API
    headers = {
        "Authorization": f"Bearer {OPENAI_API_KEY}"
    }

    async with websockets.connect(REALTIME_URL, additional_headers=headers) as openai_ws:
        await openai_ws.recv()  # session.created

        # Διαμόρφωση της συνεδρίας
        await openai_ws.send(json.dumps({
            "type": "session.update",
            "session": {
                "type": "realtime",
                "output_modalities": ["audio"],
                "instructions": "You are a phone assistant. "
                                "Respond in English, concisely.",
                "audio": {
                    "input": {
                        "format": {"type": "audio/pcmu"},
                        "turn_detection": {
                            "type": "server_vad",
                            "threshold": 0.5,
                            "silence_duration_ms": 600
                        }
                    },
                    "output": {
                        "format": {"type": "audio/pcmu"},
                        "voice": "marin"
                    }
                }
            }
        }))
        await openai_ws.recv()

        stream_sid = None

        async def twilio_to_openai():
            nonlocal stream_sid
            async for message in twilio_ws.iter_text():
                data = json.loads(message)

                if data["event"] == "media":
                    audio_b64 = data["media"]["payload"]
                    await openai_ws.send(json.dumps({
                        "type": "input_audio_buffer.append",
                        "audio": audio_b64
                    }))

                elif data["event"] == "start":
                    stream_sid = data["start"]["streamSid"]

        async def openai_to_twilio():
            async for message in openai_ws:
                event = json.loads(message)

                if event["type"] == "response.output_audio.delta":
                    await twilio_ws.send_json({
                        "event": "media",
                        "streamSid": stream_sid,
                        "media": {
                            "payload": event["delta"]
                        }
                    })

        await asyncio.gather(twilio_to_openai(), openai_to_twilio())

Μορφή Ήχου G.711

Η τηλεφωνία χρησιμοποιεί τη μορφή G.711 μ-law (8 kHz, ένα byte ανά δείγμα). Το Realtime API υποστηρίζει εγγενώς αυτή τη μορφή με την ονομασία audio/pcmu, την οποία δηλώνετε τόσο για την είσοδο όσο και για την έξοδο (audio.input.format και audio.output.format, όπως στον παραπάνω κώδικα). Αυτό αποφεύγει οποιαδήποτε μετατροπή στην πλευρά του διακομιστή. Η ονομασία g711_ulaw ανήκε στη beta φάση του API· το ισοδύναμο A-law ονομάζεται audio/pcma.

Εναλλακτικές του Twilio

Πλατφόρμα Δυνατότητα Ολοκλήρωση με Realtime API
Twilio Πλήρες οικοσύστημα, αριθμοί σε 100+ χώρες Εγγενείς Ροές Πολυμέσων WebSocket
LiveKit Ανοικτού κώδικα, χαμηλή καθυστέρηση, WebRTC Επίσημο πρόσθετο (plugin) της OpenAI
Daily Απλό, φιλοξενούμενο, κατάλληλο για πρωτότυπα Pipecat SDK με συνδέσμο Realtime

Βασικά σημεία

  • Οι Ροές Πολυμέσων (Media Streams) του Twilio σας επιτρέπουν να συνδέσετε μια τηλεφωνική κλήση με ένα αμφίδρομο WebSocket
  • Ο διακομιστής σας λειτουργεί ως γέφυρα μεταξύ της Ροής Πολυμέσων του Twilio και του Realtime API της OpenAI
  • Η μορφή G.711 μ-law είναι εγγενής στην τηλεφωνία και υποστηρίζεται άμεσα από το Realtime API
  • Το LiveKit (ανοικτού κώδικα, WebRTC) και το Daily (φιλοξενούμενο) αποτελούν βιώσιμες εναλλακτικές του Twilio
  • Η αρχιτεκτονική είναι πάντα η ίδια: τηλεφωνία → ο διακομιστής σας → Realtime API