Ολοκλήρωση με Τηλεφωνία (Twilio, κ.λπ.)
Σε αυτήν τη σελίδα
Ενημερώθηκε στις 3 Νοεμβρίου 2026 με βάση την τεκμηρίωση του Realtime API: η μορφή G.711 μ-law ονομάζεται πλέον
audio/pcmu(το κείμενο ανέφερε προηγουμένωςg711_ulaw, που ήταν η ονομασία κατά τη διάρκεια της beta φάσης). Πηγή: Realtime API.
Ενημέρωση 2 Νοεμβρίου 2026 — Μοντέλα ήχου. Αρκετά μοντέλα αυτού του μαθήματος έχουν καταργηθεί: τα
tts-1,tts-1-hdκαιgpt-4o-mini-ttsθα παύσουν να λειτουργούν στις 6 Ιανουαρίου 2027 (η υποδεικνυόμενη αντικατάσταση είναι τοgpt-realtime-2.1-mini, το οποίο όμως ο οδηγός TTS της OpenAI αναφέρει ότι δεν υποστηρίζεται από το/v1/audio/speech: η μετάβαση στη σύνθεση ομιλίας πρέπει να γίνει μέσω του Realtime API)· ταgpt-realtime,gpt-4o-realtimeκαι τα παλαιότερα μοντέλα ήχου στις 20 Ιανουαρίου 2027 (gpt-realtime-2.1,gpt-realtime-2.1-mini,gpt-audio-1.5)· ταwhisper-1,gpt-4o-transcribeκαι το/v1/audio/translationsστις 26 Φεβρουαρίου 2027 (gpt-transcribe,gpt-live-transcribe,v1/realtime/translations). Για επικοινωνία φωνής πλήρους διπλής κατεύθυνσης (full-duplex), το GPT-Live 1 είναι διαθέσιμο στο API από τις 10 Σεπτεμβρίου 2026.
Ολοκλήρωση με Τηλεφωνία (Twilio, κ.λπ.)
Ένας πράκτορας φωνής αποκτά πραγματική χρησιμότητα όταν είναι προσβάσιμος μέσω τηλεφώνου. Πλατφόρμες τηλεφωνίας στο cloud, όπως το Twilio, το LiveKit και το Daily, σας επιτρέπουν να συνδέσετε το Realtime API με το παγκόσμιο τηλεφωνικό δίκτυο. Ο χρήστης καλεί έναν αριθμό και ο πράκτοράς σας απαντά σε πραγματικό χρόνο.
Αρχιτεκτονική Τηλεφωνίας
Η ολοκλήρωση με την τηλεφωνία προσθέτει ένα ενδιάμεσο στρώμα μεταξύ του τηλεφωνικού δικτύου και του Realtime API:
Εισερχόμενη Κλήση → Twilio
Ο χρήστης καλεί έναν τηλεφωνικό αριθμό. Το Twilio λαμβάνει την κλήση και στέλνει ένα webhook στον διακομιστή σας.
Ο Διακομιστής σας → Ροή Πολυμέσων (Media Stream)
Ο διακομιστής σας αποκρίνεται με οδηγίες TwiML που ανοίγουν ένα αμφίδρομο WebSocket Ροής Πολυμέσων (Media Stream).
Ροή Πολυμέσων ↔ Realtime API
Ο διακομιστής σας μεταφέρει τον ήχο μεταξύ της Ροής Πολυμέσων του Twilio και του Realtime API της OpenAI.
Φωνητική Απόκριση → Χρήστης
Ο ήχος απόκρισης από το Realtime API επιστρέφεται μέσω του Twilio στο τηλέφωνο του χρήστη.
Υλοποίηση με Twilio
Webhook Εισερχόμενης Κλήσης
Όταν φτάνει μια κλήση, το Twilio στέλνει ένα αίτημα HTTP στον διακομιστή σας. Εσείς αποκρίνεστε με TwiML που ανοίγει μια Ροή Πολυμέσων (Media Stream):
from fastapi import FastAPI, Request
from fastapi.responses import Response
app = FastAPI()
@app.post("/incoming-call")
async def incoming_call(request: Request):
"""Twilio webhook για εισερχόμενες κλήσεις."""
twiml = """<?xml version="1.0" encoding="UTF-8"?>
<Response>
<Say language="en-US">
Welcome to Corsen AI. Connecting you to your voice assistant.
</Say>
<Connect>
<Stream url="wss://your-server.com/media-stream">
<Parameter name="caller" value="{caller_number}" />
</Stream>
</Connect>
</Response>"""
form_data = await request.form()
caller = form_data.get("From", "unknown")
twiml = twiml.replace("{caller_number}", caller)
return Response(content=twiml, media_type="application/xml")
Η Γέφυρα Ροής Πολυμέσων ↔ Realtime API
Ο διακομιστής WebSocket λαμβάνει ήχο από το Twilio και τον μεταφέρει στο Realtime API:
from fastapi import WebSocket
import websockets
import json
import base64
import audioop
import asyncio
OPENAI_API_KEY = "sk-..."
REALTIME_URL = "wss://api.openai.com/v1/realtime?model=gpt-realtime-2.1"
@app.websocket("/media-stream")
async def media_stream(twilio_ws: WebSocket):
"""Γέφυρα μεταξύ Twilio Media Stream και Realtime API."""
await twilio_ws.accept()
# Σύνδεση με το Realtime API
headers = {
"Authorization": f"Bearer {OPENAI_API_KEY}"
}
async with websockets.connect(REALTIME_URL, additional_headers=headers) as openai_ws:
await openai_ws.recv() # session.created
# Διαμόρφωση της συνεδρίας
await openai_ws.send(json.dumps({
"type": "session.update",
"session": {
"type": "realtime",
"output_modalities": ["audio"],
"instructions": "You are a phone assistant. "
"Respond in English, concisely.",
"audio": {
"input": {
"format": {"type": "audio/pcmu"},
"turn_detection": {
"type": "server_vad",
"threshold": 0.5,
"silence_duration_ms": 600
}
},
"output": {
"format": {"type": "audio/pcmu"},
"voice": "marin"
}
}
}
}))
await openai_ws.recv()
stream_sid = None
async def twilio_to_openai():
nonlocal stream_sid
async for message in twilio_ws.iter_text():
data = json.loads(message)
if data["event"] == "media":
audio_b64 = data["media"]["payload"]
await openai_ws.send(json.dumps({
"type": "input_audio_buffer.append",
"audio": audio_b64
}))
elif data["event"] == "start":
stream_sid = data["start"]["streamSid"]
async def openai_to_twilio():
async for message in openai_ws:
event = json.loads(message)
if event["type"] == "response.output_audio.delta":
await twilio_ws.send_json({
"event": "media",
"streamSid": stream_sid,
"media": {
"payload": event["delta"]
}
})
await asyncio.gather(twilio_to_openai(), openai_to_twilio())
Μορφή Ήχου G.711
Η τηλεφωνία χρησιμοποιεί τη μορφή G.711 μ-law (8 kHz, ένα byte ανά δείγμα). Το Realtime API υποστηρίζει εγγενώς αυτή τη μορφή με την ονομασία audio/pcmu, την οποία δηλώνετε τόσο για την είσοδο όσο και για την έξοδο (audio.input.format και audio.output.format, όπως στον παραπάνω κώδικα). Αυτό αποφεύγει οποιαδήποτε μετατροπή στην πλευρά του διακομιστή. Η ονομασία g711_ulaw ανήκε στη beta φάση του API· το ισοδύναμο A-law ονομάζεται audio/pcma.
Εναλλακτικές του Twilio
| Πλατφόρμα | Δυνατότητα | Ολοκλήρωση με Realtime API |
|---|---|---|
| Twilio | Πλήρες οικοσύστημα, αριθμοί σε 100+ χώρες | Εγγενείς Ροές Πολυμέσων WebSocket |
| LiveKit | Ανοικτού κώδικα, χαμηλή καθυστέρηση, WebRTC | Επίσημο πρόσθετο (plugin) της OpenAI |
| Daily | Απλό, φιλοξενούμενο, κατάλληλο για πρωτότυπα | Pipecat SDK με συνδέσμο Realtime |
Βασικά σημεία
- Οι Ροές Πολυμέσων (Media Streams) του Twilio σας επιτρέπουν να συνδέσετε μια τηλεφωνική κλήση με ένα αμφίδρομο WebSocket
- Ο διακομιστής σας λειτουργεί ως γέφυρα μεταξύ της Ροής Πολυμέσων του Twilio και του Realtime API της OpenAI
- Η μορφή G.711 μ-law είναι εγγενής στην τηλεφωνία και υποστηρίζεται άμεσα από το Realtime API
- Το LiveKit (ανοικτού κώδικα, WebRTC) και το Daily (φιλοξενούμενο) αποτελούν βιώσιμες εναλλακτικές του Twilio
- Η αρχιτεκτονική είναι πάντα η ίδια: τηλεφωνία → ο διακομιστής σας → Realtime API