Μετάβαση στο κύριο περιεχόμενο
Ελληνικά— Επιλέξτε γλώσσα
Μενού

Διακοπές και Διαχείριση Σειράς Ομιλίας

Μάθημα 5 / 18 Ενημερώθηκε 3 Νοεμβρίου 2026 Για developers
Σε αυτήν τη σελίδα
  1. Διακοπές και Διαχείριση Σειράς Ομιλίας
  2. Ανίχνευση Φωνητικής Δραστηριότητας (VAD)
  3. Διαχείριση Διακοπών
  4. Λειτουργία Χειροκίνητου Ελέγχου
  5. Αρχιτεκτονική Διαχείρισης Κατάστασης
  6. Βασικά σημεία

Ενημερώθηκε στις 2 Νοεμβρίου 2026 — Μοντέλα ήχου. Αρκετά μοντέλα σε αυτό το μάθημα έχουν καταργηθεί: τα tts-1, tts-1-hd και gpt-4o-mini-tts θα παύσουν να λειτουργούν στις 6 Ιανουαρίου 2027 (αντικατάσταση: gpt-realtime-2.1-mini, το οποίο ο οδηγός OpenAI TTS αναφέρει ότι δεν υποστηρίζεται από το /v1/audio/speech: η μετάβαση στη σύνθεση ομιλίας μεταφέρεται στο Realtime API)· τα gpt-realtime, gpt-4o-realtime και τα παλαιότερα μοντέλα ήχου στις 20 Ιανουαρίου 2027 (gpt-realtime-2.1, gpt-realtime-2.1-mini, gpt-audio-1.5)· τα whisper-1, gpt-4o-transcribe και το /v1/audio/translations στις 26 Φεβρουαρίου 2027 (gpt-transcribe, gpt-live-transcribe, v1/realtime/translations). Για αμφίδρομη φωνητική επικοινωνία πλήρους διπλέξ, το GPT-Live 1 είναι διαθέσιμο στο API από τις 10 Σεπτεμβρίου 2026.

Διορθώθηκε στις 3 Νοεμβρίου 2026. Τα γεγονότα session.update τοποθετούσαν νωρίτερα το turn_detection στη ρίζα της συνεδρίας, μια μορφή από την παλιά beta: με το τρέχον Realtime API, η ρύθμιση βρίσκεται στο session.audio.input.turn_detection και η συνεδρία φέρει "type": "realtime". Η διαχείριση διακοπών έστελνε νωρίτερα response.cancel, αλλά με το VAD ο διακομιστής ακυρώνει μόνος του την απάντηση και ο κώδικας χρησιμοποιούσε μια μη ορισμένη μεταβλητή. Αυτό το μάθημα καλύπτει πλέον τα semantic_vad, create_response και interrupt_response, και διακρίνει μεταξύ WebSocket και WebRTC. Οι μορφές γεγονότων επαληθεύτηκαν έναντι των τύπων SDK openai έκδοσης 3.42.1. Πηγές: Ανίχνευση φωνητικής δραστηριότητας · Συνομιλίες σε πραγματικό χρόνο.

Διακοπές και Διαχείριση Σειράς Ομιλίας

Στη φυσική συνομιλία, οι άνθρωποι διακόπτουν ο ένας τον άλλον, μιλούν ταυτόχρονα και κόβουν τον λόγο του συνομιλητή τους. Ένας φωνητικός πράκτορας που δεν μπορεί να διαχειριστεί αυτές τις καταστάσεις θα φαίνεται ρομποτικός και απογοητευτικός. Το Realtime API παρέχει δύο μηχανισμούς για τη διαχείριση της εναλλαγής των ομιλητών: την αυτόματη Ανίχνευση Φωνητικής Δραστηριότητας (VAD) και τον χειροκίνητο έλεγχο.

Ανίχνευση Φωνητικής Δραστηριότητας (VAD)

Το VAD είναι ενεργοποιημένο από προεπιλογή σε μια συνεδρία φωνητικής συνομιλίας, λειτουργώντας σε λειτουργία server_vad: ο διακομιστής αναλύει συνεχώς τον εισερχόμενο ήχο, τον τμηματοποιεί με βάση τη σιωπή και σηματοδοτεί την αρχή και το τέλος της ομιλίας του χρήστη. Το ρυθμίζετε στο session.audio.input.turn_detection:

await ws.send(json.dumps({
    "type": "session.update",
    "session": {
        "type": "realtime",
        "audio": {
            "input": {
                "turn_detection": {
                    "type": "server_vad",
                    "threshold": 0.5,
                    "prefix_padding_ms": 300,
                    "silence_duration_ms": 500,
                    "create_response": True,      # απάντηση αμέσως μόλις τελειώσει η σειρά
                    "interrupt_response": True,   # διακοπή του πράκτορα αν μιλήσει ο χρήστης
                }
            }
        },
    },
}))

Παράμετροι VAD

Παράμετρος Περιγραφή Επίπτωση
threshold Κατώφλι ανίχνευσης (0.0 έως 1.0) Υψηλό = λιγότερο ευαίσθητο, Χαμηλό = πιο ευαίσθητο
prefix_padding_ms Ήχος που διατηρείται πριν την ανίχνευση Αποτρέπει την αποκοπή της αρχής των λέξεων
silence_duration_ms Διάρκεια σιωπής required για το τέλος της σειράς Μικρή = ανταποκριτικό, Μεγάλη = υπομονετικό

Ένα silence_duration_ms που είναι πολύ μικρό θα πυροδοτήσει απάντηση κατά τη διάρκεια φυσικών παύσεων στην ομιλία του χρήστη· αν είναι πολύ μεγάλο, ο πράκτορας θα φαίνεται μη ανταποκριτικός. Η OpenAI δεν δημοσιεύει προεπιλογές συγκεκριμένες για κάθε γλώσσα: ξεκινήστε με το παράδειγμα της τεκμηρίωσης (500 ms) και προσαρμόστε το με βάση ηχογραφήσεις των χρηστών σας. Ένα υψηλότερο threshold απαιτεί πιο δυνατό ήχο για να ενεργοποιηθεί, κάτι που βοηθά σε θορυβώδη περιβάλλοντα.

Σημασιολογικό VAD

Η δεύτερη λειτουργία, semantic_vad, δεν βασίζεται στη σιωπή αλλά στις λέξεις: ένας ταξινομητής εκτιμά εάν ο χρήστης έχει ολοκληρώσει την πρότασή του. Μια ημιτελής πρόταση κερδίζει περισσότερο χρόνο από μια ξεκάθαρη δήλωση και το μοντέλο διακόπτει λιγότερο συχνά. Η ρύθμισή του eagerness μπορεί να είναι low (αφήστε τον χρήστη να πάρει τον χρόνο του), medium, high (απαντήστε το συντομότερο δυνατό) ή auto, η προεπιλεγμένη τιμή, η οποία ισοδυναμεί με το medium:

await ws.send(json.dumps({
    "type": "session.update",
    "session": {
        "type": "realtime",
        "audio": {"input": {"turn_detection": {"type": "semantic_vad", "eagerness": "low"}}},
    },
}))

Διαχείριση Διακοπών

Όταν ο χρήστης μιλά ενώ ο πράκτορας απαντά, ο διακομιστής εκπέμπει το input_audio_buffer.speech_started. Με ενεργοποιημένο το VAD και το interrupt_response, ο διακομιστής ακυρώνει την τρέχουσα απάντηση: στη συνέχεια στέλνει το response.done με κατάσταση cancelled. Εσείς όμως πρέπει να κάνετε δύο πράγματα από την πλευρά σας, σε μια σύνδεση WebSocket όπου αναπαράγετε τον ήχο:

  1. Διακοπή αναπαραγωγής αμέσως και απόρριψη οποιουδήποτε ήχου στην ουρά, σημειώνοντας πόσα χιλιοστά του δευτερολέπτου άκουσε πραγματικά ο χρήστης
  2. Περικοπή του στοιχείου του πράκτορα σε αυτή τη διάρκεια χρησιμοποιώντας το conversation.item.truncate

Μην περιμένετε το response.done για να κάνετε οτιδήποτε από τα δύο.

async def handle_interruption(ws, event: dict, player, item_id: str | None, ms_played: int) -> None:
    """Διαχειρίζεται την ομιλία του χρήστη ενώ ο πράκτορας μιλά (WebSocket)."""
    if event["type"] != "input_audio_buffer.speech_started":
        return

    # 1. Διακοπή αναπαραγωγής και εκκαθάριση του buffer ήχου στην ουρά
    player.stop_stream()

    # 2. Αφαίρεση του μέρους που δεν άκουσε ο χρήστης από το ιστορικό
    if item_id:
        await ws.send(json.dumps({
            "type": "conversation.item.truncate",
            "item_id": item_id,
            "content_index": 0,
            "audio_end_ms": ms_played,
        }))

    # 3. Επανέναρξη αναπαραγωγής για την επόμενη απάντηση
    player.start_stream()

Υπολογίστε το ms_played με βάση ό,τι στείλατε πραγματικά στο ηχείο: σε 16-bit mono PCM στα 24 kHz, 48.000 bytes ισούνται με ένα δευτερόλεπτο. Σε WebRTC ή SIP, ο διακομιστής διαχειρίζεται μόνος του το buffer εξόδου, γνωρίζει τι έχει αναπαραχθεί και κάνει την περικοπή αυτόματα: εσείς δεν χρειάζεται να στείλετε τίποτα.

Γιατί να περικόψετε την απάντηση;

Χωρίς περικοπή, το ιστορικό της συνομιλίας θα περιείχε την πλήρη απάντηση του μοντέλου, παρόλο που ο χρήστης άκουσε μόνο ένα μέρος της. Αν ο χρήστης ρωτήσει «Τι ήταν το τελευταίο πράγμα που είπατε;», το μοντέλο θα νόμιζε ότι τα είχε πει όλα. Η περικοπή ευθυγραμμίζει το ιστορικό με ό,τι άκουσε πραγματικά ο χρήστης. Η τεκμηρίωση σημειώνει έναν περιορισμό: η περικοπή κόβει τον ήχο και αφαιρεί τη μεταγραφή του μη αναπαραχθέντος μέρους, αλλά δεν παρέχει μια μεταγραφή λέξη προς λέξη του περικομμένου τμήματος.

Λειτουργία Χειροκίνητου Ελέγχου

Για ορισμένες περιπτώσεις χρήσης (μενού IVR, υπαγόρευση, κουίζ), το αυτόματο VAD δεν είναι κατάλληλο. Η χειροκίνητη λειτουργία σας δίνει πλήρη έλεγχο:

# Απενεργοποίηση VAD
await ws.send(json.dumps({
    "type": "session.update",
    "session": {"type": "realtime", "audio": {"input": {"turn_detection": None}}},
}))

# Πάτημα κουμπιού: αν ο πράκτορας μιλά ακόμα, ακύρωση της απάντησής του και περικοπή του μη αναπαραχθέντος ήχου
await ws.send(json.dumps({"type": "response.cancel"}))

# Άφημα κουμπιού: ο ήχος στάλθηκε μέσω input_audio_buffer.append, οριστικοποίηση της σειράς...
await ws.send(json.dumps({"type": "input_audio_buffer.commit"}))

# ...και στη συνέχεια ενεργοποίηση της απάντησης
await ws.send(json.dumps({"type": "response.create"}))

Χωρίς VAD, τίποτα δεν είναι αυτόματο: εδώ είναι που χρησιμοποιείται το response.cancel, όταν μια απάντηση είναι σε εξέλιξη καθώς ο χρήστης αναλαμβάνει ξανά τον έλεγχο. Μεταξύ των σειρών ομιλίας, το input_audio_buffer.clear αδειάζει το buffer εισόδου.

Υπάρχει μια μέση λύση: κρατήστε το VAD ενεργοποιημένο ώστε να συνεχίσει να τμηματοποιεί τις σειρές ομιλίας και να εκπέμπει γεγονότα, αλλά ορίστε τα create_response και interrupt_response σε False. Καμία απάντηση δεν στέλνεται χωρίς τη ρητή εντολή response.create από εσάς, δίνοντάς σας χρόνο να επαληθεύσετε ή να εμπλουτίσετε την είσοδο (δια moderation, ανάκτηση εγγράφων), με κόστος κάποιας καθυστέρησης.

Περιπτώσεις Χρήσης Χειροκίνητης Λειτουργίας

  • Μενού IVR: Αναμονή για τόνο DTMF ή συγκεκριμένη λέξη-κλειδί πριν την απάντηση
  • Υπαγόρευση: Συσσώρευση μεγάλων τμημάτων ήχου χωρίς διακοπή
  • Επιβεβαίωση: Αναμονή για ρητό «ναι» ή «όχι»
  • Πάτημα για ομιλία (Push-to-talk): Ο χρήστης πατά ένα κουμπί για να μιλήσει

Αρχιτεκτονική Διαχείρισης Κατάστασης

Για robust διαχείριση της σειράς ομιλίας, διατηρήστε μια μηχανή κατάστασης:

from enum import Enum

class ConversationState(Enum):
    IDLE = "idle"                    # Αναμονή
    USER_SPEAKING = "user_speaking"  # Ο χρήστης μιλά
    PROCESSING = "processing"        # Το μοντέλο επεξεργάζεται
    AGENT_SPEAKING = "agent_speaking" # Ο πράκτορας απαντά
    INTERRUPTED = "interrupted"       # Διακοπή σε εξέλιξη

class TurnManager:
    def __init__(self):
        self.state = ConversationState.IDLE
        self.current_response_item_id = None
        self.played_audio_ms = 0

    def on_event(self, event_type: str):
        if event_type == "input_audio_buffer.speech_started":
            if self.state == ConversationState.AGENT_SPEAKING:
                self.state = ConversationState.INTERRUPTED
            else:
                self.state = ConversationState.USER_SPEAKING

        elif event_type == "input_audio_buffer.speech_stopped":
            self.state = ConversationState.PROCESSING

        elif event_type == "response.output_audio.delta":
            self.state = ConversationState.AGENT_SPEAKING

        elif event_type == "response.done":
            self.state = ConversationState.IDLE

Βασικά σημεία

  • Το VAD (server_vad από προεπιλογή) ρυθμίζεται στο session.audio.input.turn_detection
  • Το semantic_vad τμηματοποιεί με βάση το νόημα· το eagerness ελέγχει την υπομονή του
  • Με το VAD, ο διακομιστής ακυρώνει την διακοπείσα απάντηση· σε WebSocket, διακόψτε την αναπαραγωγή και κάντε περικοπή με το conversation.item.truncate (αυτόματο σε WebRTC και SIP)
  • Η χειροκίνητη λειτουργία (turn_detection ορισμένο σε None) ταιριάζει σε push-to-talk, μενού IVR και υπαγόρευση
  • Μια ρητή μηχανή κατάστασης αποτρέπει ασυνεπή συμπεριφορά σε οριακές περιπτώσεις