Μετάβαση στο κύριο περιεχόμενο
Ελληνικά— Επιλέξτε γλώσσα
Μενού

Ροή Ήχου Αμφίδρομης Κατεύθυνσης

Μάθημα 3 / 18 Ενημερώθηκε 2 Νοεμβρίου 2026 Για developers
Σε αυτήν τη σελίδα
  1. Ροή Ήχου Αμφίδρομης Κατεύθυνσης
  2. Μορφή Ήχου PCM16
  3. Αποστολή Ήχου: Λήψη από Μικρόφωνο
  4. Λήψη Ήχου Απόκρισης
  5. Πλήρης Εφαρμογή: Φωνητική Συνομιλία
  6. Βασικά σημεία

Ενημερώθηκε στις 2 Νοεμβρίου 2026 — Μοντέλα ήχου. Αρκετά μοντέλα σε αυτό το μάθημα έχουν καταργηθεί: τα tts-1, tts-1-hd και gpt-4o-mini-tts θα παύσουν να λειτουργούν στις 6 Ιανουαρίου 2027 (η υποδεικνυόμενη αντικατάσταση είναι το gpt-realtime-2.1-mini, το οποίο ο οδηγός TTS της OpenAI αναφέρει ότι δεν υποστηρίζεται από το /v1/audio/speech: η μετάβαση στη σύνθεση ομιλίας μεταφέρεται στο Realtime API)· τα gpt-realtime, gpt-4o-realtime και τα παλαιότερα μοντέλα ήχου στις 20 Ιανουαρίου 2027 (gpt-realtime-2.1, gpt-realtime-2.1-mini, gpt-audio-1.5)· τα whisper-1, gpt-4o-transcribe και το /v1/audio/translations στις 26 Φεβρουαρίου 2027 (gpt-transcribe, gpt-live-transcribe, v1/realtime/translations). Για φωνητική επικοινωνία πλήρους διπλής κατεύθυνσης (full-duplex), το GPT-Live 1 είναι διαθέσιμο στο API από τις 10 Σεπτεμβρίου 2026.

Ροή Ήχου Αμφίδρομης Κατεύθυνσης

Η ροή ήχου αμφίδρομης κατεύθυνσης αποτελεί τον πυρήνα του Realtime API. Στέλνετε συνεχώς τμήματα ήχου από το μικρόφωνο και το μοντέλο επιστρέφει συνεχώς τμήματα ήχου απόκρισης. Αυτές οι δύο ροές είναι ανεξάρτητες και μπορούν να λειτουργούν ταυτόχρονα — γεγονός που προσδίδει φυσικότητα στη συνομιλία.

Μορφή Ήχου PCM16

Το Realtime API χρησιμοποιεί τη μορφή 24 kHz mono 16-bit PCM. Πρόκειται για μια raw, ασυμπίεστη μορφή: κάθε δείγμα είναι ένας προσημασμένος ακέραιος 16 bit. Η επιλογή αυτή δίνει προτεραιότητα στον χαμηλό λανθάνοντα χρόνο έναντι της αποδοτικότητας του εύρους ζώνης.

24 kHz
Ρυθμός δειγματοληψίας
16 bit
Βάθος δείγματος
Mono
Μονό κανάλι
48 KB/s
Ρυθμός bit raw ήχου

Τα τμήματα ήχου αποστέλλονται κωδικοποιημένα σε Base64 εντός γεγονότων JSON. Κάθε τμήμα αντιπροσωπεύει συνήθως 20 έως 100 ms ήχου.

Αποστολή Ήχου: Λήψη από Μικρόφωνο

Ακολουθεί ο τρόπος λήψης του μικροφώνου και ροής του ήχου:

import asyncio
import sounddevice as sd
import numpy as np
import base64
import json

SAMPLE_RATE = 24000
CHUNK_DURATION_MS = 100
CHUNK_SIZE = int(SAMPLE_RATE * CHUNK_DURATION_MS / 1000)

async def stream_microphone(ws):
    """Λήψη του μικροφώνου και αποστολή τμημάτων στο Realtime API."""
    loop = asyncio.get_event_loop()
    audio_queue = asyncio.Queue()

    def audio_callback(indata, frames, time_info, status):
        if status:
            print(f"Προειδοποίηση ήχου: {status}")
        # Μετατροπή σε int16 και προσθήκη στην ουρά
        pcm_data = (indata[:, 0] * 32767).astype(np.int16)
        loop.call_soon_threadsafe(audio_queue.put_nowait, pcm_data)

    # Έναρξη λήψης
    stream = sd.InputStream(
        samplerate=SAMPLE_RATE,
        channels=1,
        dtype="float32",
        blocksize=CHUNK_SIZE,
        callback=audio_callback
    )

    with stream:
        print("Το μικρόφωνο είναι ενεργό — μιλήστε τώρα...")
        while True:
            pcm_data = await audio_queue.get()
            audio_b64 = base64.b64encode(pcm_data.tobytes()).decode("utf-8")

            await ws.send(json.dumps({
                "type": "input_audio_buffer.append",
                "audio": audio_b64
            }))

Το Buffer Ήχου στην Πλευρά του Διακομιστή

Τα τμήματα που αποστέλλονται μέσω του input_audio_buffer.append συσσωρεύονται σε ένα buffer στον διακομιστή. Αυτό το buffer επεξεργάζεται με δύο τρόπους:

  • Λειτουργία Αυτόματου VAD (server_vad): Ο διακομιστής ανιχνεύει πότε σταματάτε να μιλάτε και δεσμεύει αυτόματα το buffer.
  • Χειροκίνητη λειτουργία: Στέλνετε ρητά το input_audio_buffer.commit για να ενεργοποιήσετε την επεξεργασία.
# Χειροκίνητη δέσμευση του buffer ήχου
await ws.send(json.dumps({
    "type": "input_audio_buffer.commit"
}))

# Ή εκκαθάριση του buffer χωρίς επεξεργασία
await ws.send(json.dumps({
    "type": "input_audio_buffer.clear"
}))

Λήψη Ήχου Απόκρισης

Οι αποκρίσεις ήχου φτάνουν σε τμήματα μέσω των γεγονότων response.output_audio.delta. Πρέπει να τα αποκωδικοποιείτε και να τα αναπαράγετε συνεχώς:

import pyaudio

async def play_response_audio(ws):
    """Λήψη και αναπαραγωγή του ήχου απόκρισης."""
    pa = pyaudio.PyAudio()
    player = pa.open(
        format=pyaudio.paInt16,
        channels=1,
        rate=SAMPLE_RATE,
        output=True,
        frames_per_buffer=CHUNK_SIZE
    )

    try:
        async for raw_message in ws:
            event = json.loads(raw_message)

            if event["type"] == "response.output_audio.delta":
                # Αποκωδικοποίηση του τμήματος ήχου Base64
                audio_bytes = base64.b64decode(event["delta"])
                player.write(audio_bytes)

            elif event["type"] == "response.output_audio.done":
                print("Η απόκριση ήχου ολοκληρώθηκε")

            elif event["type"] == "response.output_audio_transcript.delta":
                # Μεταγραφή κειμένου της απόκρισης
                print(event["delta"], end="", flush=True)

    finally:
        player.stop_stream()
        player.close()
        pa.terminate()

Πλήρης Εφαρμογή: Φωνητική Συνομιλία

Ακολουθεί ο τρόπος συναρμολόγησης της λήψης και της αναπαραγωγής για μια πλήρη συνομιλία:

async def conversation_vocale():
    headers = {
        "Authorization": f"Bearer {OPENAI_API_KEY}"
    }

    async with websockets.connect(URL, additional_headers=headers) as ws:
        # Αναμονή για session.created
        await ws.recv()

        # Διαμόρφωση της συνεδρίας
        await ws.send(json.dumps({
            "type": "session.update",
            "session": {
                "type": "realtime",
                "output_modalities": ["audio"],
                "instructions": "You are a voice assistant. Respond in English.",
                "audio": {
                    "input": {
                        "format": {"type": "audio/pcm", "rate": 24000},
                        "turn_detection": {
                            "type": "server_vad",
                            "threshold": 0.5,
                            "silence_duration_ms": 700
                        }
                    },
                    "output": {
                        "format": {"type": "audio/pcm", "rate": 24000},
                        "voice": "marin"
                    }
                }
            }
        }))
        await ws.recv()  # session.updated

        # Εκκίνηση λήψης και αναπαραγωγής παράλληλα
        await asyncio.gather(
            stream_microphone(ws),
            play_response_audio(ws)
        )

asyncio.run(conversation_vocale())

Διαχείριση Ταυτόχρονων Ροών

Η πρόκληση με τη ροή αμφίδρομης κατεύθυνσης είναι ότι στέλνετε και λαμβάνετε ταυτόχρονα στο ίδιο WebSocket. Το asyncio.gather εκκινεί και τις δύο συρoutines παράλληλα, αλλά μοιράζονται το ίδιο αντικείμενο WebSocket. Η βιβλιοθήκη websockets διαχειρίζεται σωστά αυτήν τη συγχρονικότητα.

Βασικά σημεία

  • Ο ήχος μεταδίδεται ως 24 kHz mono 16-bit PCM, κωδικοποιημένος σε Base64 εντός γεγονότων JSON
  • Τα τμήματα είναι συνήθως 20 έως 100 ms ήχου για μια καλή ισορροπία μεταξύ λανθάνοντος χρόνου και γενικών εξόδων
  • Το buffer ήχου στην πλευρά του διακομιστή συσσωρεύει τμήματα μέχρι τη δέσμευση (αυτόματα στη λειτουργία VAD)
  • Η αναπαραγωγή της απόκρισης γίνεται τμήμα προς τμήμα μέσω του response.output_audio.delta
  • Το asyncio.gather επιτρέπει την ταυτόχρονη λήψη και αναπαραγωγή στο ίδιο WebSocket