Διακοπές και Διαχείριση Σειράς Ομιλίας
Σε αυτήν τη σελίδα
Ενημερώθηκε στις 2 Νοεμβρίου 2026 — Μοντέλα ήχου. Αρκετά μοντέλα σε αυτό το μάθημα έχουν καταργηθεί: τα
tts-1,tts-1-hdκαιgpt-4o-mini-ttsθα παύσουν να λειτουργούν στις 6 Ιανουαρίου 2027 (αντικατάσταση:gpt-realtime-2.1-mini, το οποίο ο οδηγός OpenAI TTS αναφέρει ότι δεν υποστηρίζεται από το/v1/audio/speech: η μετάβαση στη σύνθεση ομιλίας μεταφέρεται στο Realtime API)· ταgpt-realtime,gpt-4o-realtimeκαι τα παλαιότερα μοντέλα ήχου στις 20 Ιανουαρίου 2027 (gpt-realtime-2.1,gpt-realtime-2.1-mini,gpt-audio-1.5)· ταwhisper-1,gpt-4o-transcribeκαι το/v1/audio/translationsστις 26 Φεβρουαρίου 2027 (gpt-transcribe,gpt-live-transcribe,v1/realtime/translations). Για αμφίδρομη φωνητική επικοινωνία πλήρους διπλέξ, το GPT-Live 1 είναι διαθέσιμο στο API από τις 10 Σεπτεμβρίου 2026.
Διορθώθηκε στις 3 Νοεμβρίου 2026. Τα γεγονότα
session.updateτοποθετούσαν νωρίτερα τοturn_detectionστη ρίζα της συνεδρίας, μια μορφή από την παλιά beta: με το τρέχον Realtime API, η ρύθμιση βρίσκεται στοsession.audio.input.turn_detectionκαι η συνεδρία φέρει"type": "realtime". Η διαχείριση διακοπών έστελνε νωρίτεραresponse.cancel, αλλά με το VAD ο διακομιστής ακυρώνει μόνος του την απάντηση και ο κώδικας χρησιμοποιούσε μια μη ορισμένη μεταβλητή. Αυτό το μάθημα καλύπτει πλέον ταsemantic_vad,create_responseκαιinterrupt_response, και διακρίνει μεταξύ WebSocket και WebRTC. Οι μορφές γεγονότων επαληθεύτηκαν έναντι των τύπων SDKopenaiέκδοσης 3.42.1. Πηγές: Ανίχνευση φωνητικής δραστηριότητας · Συνομιλίες σε πραγματικό χρόνο.
Διακοπές και Διαχείριση Σειράς Ομιλίας
Στη φυσική συνομιλία, οι άνθρωποι διακόπτουν ο ένας τον άλλον, μιλούν ταυτόχρονα και κόβουν τον λόγο του συνομιλητή τους. Ένας φωνητικός πράκτορας που δεν μπορεί να διαχειριστεί αυτές τις καταστάσεις θα φαίνεται ρομποτικός και απογοητευτικός. Το Realtime API παρέχει δύο μηχανισμούς για τη διαχείριση της εναλλαγής των ομιλητών: την αυτόματη Ανίχνευση Φωνητικής Δραστηριότητας (VAD) και τον χειροκίνητο έλεγχο.
Ανίχνευση Φωνητικής Δραστηριότητας (VAD)
Το VAD είναι ενεργοποιημένο από προεπιλογή σε μια συνεδρία φωνητικής συνομιλίας, λειτουργώντας σε λειτουργία server_vad: ο διακομιστής αναλύει συνεχώς τον εισερχόμενο ήχο, τον τμηματοποιεί με βάση τη σιωπή και σηματοδοτεί την αρχή και το τέλος της ομιλίας του χρήστη. Το ρυθμίζετε στο session.audio.input.turn_detection:
await ws.send(json.dumps({
"type": "session.update",
"session": {
"type": "realtime",
"audio": {
"input": {
"turn_detection": {
"type": "server_vad",
"threshold": 0.5,
"prefix_padding_ms": 300,
"silence_duration_ms": 500,
"create_response": True, # απάντηση αμέσως μόλις τελειώσει η σειρά
"interrupt_response": True, # διακοπή του πράκτορα αν μιλήσει ο χρήστης
}
}
},
},
}))
Παράμετροι VAD
| Παράμετρος | Περιγραφή | Επίπτωση |
|---|---|---|
| threshold | Κατώφλι ανίχνευσης (0.0 έως 1.0) | Υψηλό = λιγότερο ευαίσθητο, Χαμηλό = πιο ευαίσθητο |
| prefix_padding_ms | Ήχος που διατηρείται πριν την ανίχνευση | Αποτρέπει την αποκοπή της αρχής των λέξεων |
| silence_duration_ms | Διάρκεια σιωπής required για το τέλος της σειράς | Μικρή = ανταποκριτικό, Μεγάλη = υπομονετικό |
Ένα silence_duration_ms που είναι πολύ μικρό θα πυροδοτήσει απάντηση κατά τη διάρκεια φυσικών παύσεων στην ομιλία του χρήστη· αν είναι πολύ μεγάλο, ο πράκτορας θα φαίνεται μη ανταποκριτικός. Η OpenAI δεν δημοσιεύει προεπιλογές συγκεκριμένες για κάθε γλώσσα: ξεκινήστε με το παράδειγμα της τεκμηρίωσης (500 ms) και προσαρμόστε το με βάση ηχογραφήσεις των χρηστών σας. Ένα υψηλότερο threshold απαιτεί πιο δυνατό ήχο για να ενεργοποιηθεί, κάτι που βοηθά σε θορυβώδη περιβάλλοντα.
Σημασιολογικό VAD
Η δεύτερη λειτουργία, semantic_vad, δεν βασίζεται στη σιωπή αλλά στις λέξεις: ένας ταξινομητής εκτιμά εάν ο χρήστης έχει ολοκληρώσει την πρότασή του. Μια ημιτελής πρόταση κερδίζει περισσότερο χρόνο από μια ξεκάθαρη δήλωση και το μοντέλο διακόπτει λιγότερο συχνά. Η ρύθμισή του eagerness μπορεί να είναι low (αφήστε τον χρήστη να πάρει τον χρόνο του), medium, high (απαντήστε το συντομότερο δυνατό) ή auto, η προεπιλεγμένη τιμή, η οποία ισοδυναμεί με το medium:
await ws.send(json.dumps({
"type": "session.update",
"session": {
"type": "realtime",
"audio": {"input": {"turn_detection": {"type": "semantic_vad", "eagerness": "low"}}},
},
}))
Διαχείριση Διακοπών
Όταν ο χρήστης μιλά ενώ ο πράκτορας απαντά, ο διακομιστής εκπέμπει το input_audio_buffer.speech_started. Με ενεργοποιημένο το VAD και το interrupt_response, ο διακομιστής ακυρώνει την τρέχουσα απάντηση: στη συνέχεια στέλνει το response.done με κατάσταση cancelled. Εσείς όμως πρέπει να κάνετε δύο πράγματα από την πλευρά σας, σε μια σύνδεση WebSocket όπου αναπαράγετε τον ήχο:
- Διακοπή αναπαραγωγής αμέσως και απόρριψη οποιουδήποτε ήχου στην ουρά, σημειώνοντας πόσα χιλιοστά του δευτερολέπτου άκουσε πραγματικά ο χρήστης
- Περικοπή του στοιχείου του πράκτορα σε αυτή τη διάρκεια χρησιμοποιώντας το
conversation.item.truncate
Μην περιμένετε το response.done για να κάνετε οτιδήποτε από τα δύο.
async def handle_interruption(ws, event: dict, player, item_id: str | None, ms_played: int) -> None:
"""Διαχειρίζεται την ομιλία του χρήστη ενώ ο πράκτορας μιλά (WebSocket)."""
if event["type"] != "input_audio_buffer.speech_started":
return
# 1. Διακοπή αναπαραγωγής και εκκαθάριση του buffer ήχου στην ουρά
player.stop_stream()
# 2. Αφαίρεση του μέρους που δεν άκουσε ο χρήστης από το ιστορικό
if item_id:
await ws.send(json.dumps({
"type": "conversation.item.truncate",
"item_id": item_id,
"content_index": 0,
"audio_end_ms": ms_played,
}))
# 3. Επανέναρξη αναπαραγωγής για την επόμενη απάντηση
player.start_stream()
Υπολογίστε το ms_played με βάση ό,τι στείλατε πραγματικά στο ηχείο: σε 16-bit mono PCM στα 24 kHz, 48.000 bytes ισούνται με ένα δευτερόλεπτο. Σε WebRTC ή SIP, ο διακομιστής διαχειρίζεται μόνος του το buffer εξόδου, γνωρίζει τι έχει αναπαραχθεί και κάνει την περικοπή αυτόματα: εσείς δεν χρειάζεται να στείλετε τίποτα.
Γιατί να περικόψετε την απάντηση;
Χωρίς περικοπή, το ιστορικό της συνομιλίας θα περιείχε την πλήρη απάντηση του μοντέλου, παρόλο που ο χρήστης άκουσε μόνο ένα μέρος της. Αν ο χρήστης ρωτήσει «Τι ήταν το τελευταίο πράγμα που είπατε;», το μοντέλο θα νόμιζε ότι τα είχε πει όλα. Η περικοπή ευθυγραμμίζει το ιστορικό με ό,τι άκουσε πραγματικά ο χρήστης. Η τεκμηρίωση σημειώνει έναν περιορισμό: η περικοπή κόβει τον ήχο και αφαιρεί τη μεταγραφή του μη αναπαραχθέντος μέρους, αλλά δεν παρέχει μια μεταγραφή λέξη προς λέξη του περικομμένου τμήματος.
Λειτουργία Χειροκίνητου Ελέγχου
Για ορισμένες περιπτώσεις χρήσης (μενού IVR, υπαγόρευση, κουίζ), το αυτόματο VAD δεν είναι κατάλληλο. Η χειροκίνητη λειτουργία σας δίνει πλήρη έλεγχο:
# Απενεργοποίηση VAD
await ws.send(json.dumps({
"type": "session.update",
"session": {"type": "realtime", "audio": {"input": {"turn_detection": None}}},
}))
# Πάτημα κουμπιού: αν ο πράκτορας μιλά ακόμα, ακύρωση της απάντησής του και περικοπή του μη αναπαραχθέντος ήχου
await ws.send(json.dumps({"type": "response.cancel"}))
# Άφημα κουμπιού: ο ήχος στάλθηκε μέσω input_audio_buffer.append, οριστικοποίηση της σειράς...
await ws.send(json.dumps({"type": "input_audio_buffer.commit"}))
# ...και στη συνέχεια ενεργοποίηση της απάντησης
await ws.send(json.dumps({"type": "response.create"}))
Χωρίς VAD, τίποτα δεν είναι αυτόματο: εδώ είναι που χρησιμοποιείται το response.cancel, όταν μια απάντηση είναι σε εξέλιξη καθώς ο χρήστης αναλαμβάνει ξανά τον έλεγχο. Μεταξύ των σειρών ομιλίας, το input_audio_buffer.clear αδειάζει το buffer εισόδου.
Υπάρχει μια μέση λύση: κρατήστε το VAD ενεργοποιημένο ώστε να συνεχίσει να τμηματοποιεί τις σειρές ομιλίας και να εκπέμπει γεγονότα, αλλά ορίστε τα create_response και interrupt_response σε False. Καμία απάντηση δεν στέλνεται χωρίς τη ρητή εντολή response.create από εσάς, δίνοντάς σας χρόνο να επαληθεύσετε ή να εμπλουτίσετε την είσοδο (δια moderation, ανάκτηση εγγράφων), με κόστος κάποιας καθυστέρησης.
Περιπτώσεις Χρήσης Χειροκίνητης Λειτουργίας
- Μενού IVR: Αναμονή για τόνο DTMF ή συγκεκριμένη λέξη-κλειδί πριν την απάντηση
- Υπαγόρευση: Συσσώρευση μεγάλων τμημάτων ήχου χωρίς διακοπή
- Επιβεβαίωση: Αναμονή για ρητό «ναι» ή «όχι»
- Πάτημα για ομιλία (Push-to-talk): Ο χρήστης πατά ένα κουμπί για να μιλήσει
Αρχιτεκτονική Διαχείρισης Κατάστασης
Για robust διαχείριση της σειράς ομιλίας, διατηρήστε μια μηχανή κατάστασης:
from enum import Enum
class ConversationState(Enum):
IDLE = "idle" # Αναμονή
USER_SPEAKING = "user_speaking" # Ο χρήστης μιλά
PROCESSING = "processing" # Το μοντέλο επεξεργάζεται
AGENT_SPEAKING = "agent_speaking" # Ο πράκτορας απαντά
INTERRUPTED = "interrupted" # Διακοπή σε εξέλιξη
class TurnManager:
def __init__(self):
self.state = ConversationState.IDLE
self.current_response_item_id = None
self.played_audio_ms = 0
def on_event(self, event_type: str):
if event_type == "input_audio_buffer.speech_started":
if self.state == ConversationState.AGENT_SPEAKING:
self.state = ConversationState.INTERRUPTED
else:
self.state = ConversationState.USER_SPEAKING
elif event_type == "input_audio_buffer.speech_stopped":
self.state = ConversationState.PROCESSING
elif event_type == "response.output_audio.delta":
self.state = ConversationState.AGENT_SPEAKING
elif event_type == "response.done":
self.state = ConversationState.IDLE
Βασικά σημεία
- Το VAD (
server_vadαπό προεπιλογή) ρυθμίζεται στοsession.audio.input.turn_detection - Το
semantic_vadτμηματοποιεί με βάση το νόημα· τοeagernessελέγχει την υπομονή του - Με το VAD, ο διακομιστής ακυρώνει την διακοπείσα απάντηση· σε WebSocket, διακόψτε την αναπαραγωγή και κάντε περικοπή με το
conversation.item.truncate(αυτόματο σε WebRTC και SIP) - Η χειροκίνητη λειτουργία (
turn_detectionορισμένο σεNone) ταιριάζει σε push-to-talk, μενού IVR και υπαγόρευση - Μια ρητή μηχανή κατάστασης αποτρέπει ασυνεπή συμπεριφορά σε οριακές περιπτώσεις