Μετάβαση στο κύριο περιεχόμενο
Ελληνικά— Επιλέξτε γλώσσα
Μενού

Βοηθός Φωνής Πολυτροπικός

Μάθημα 16 / 18 Ενημερώθηκε 3 Νοεμβρίου 2026 Για developers
Σε αυτήν τη σελίδα
  1. Βοηθός Φωνής Πολυτροπικός
  2. Κείμενο και Ήχος Παράλληλα
  3. Εμφάνιση Εικόνας στον Πράκτορα Φωνής
  4. Πολυτροπική Διεπαφή Ιστού
  5. Περιπτώσεις Χρήσης Πολυτροπικών Συστημάτων
  6. Βασικά σημεία

Ενημερώθηκε στις 2 Νοεμβρίου 2026 — Μοντέλα ήχου. Αρκετά μοντέλα σε αυτό το μάθημα έχουν καταργηθεί: τα tts-1, tts-1-hd και gpt-4o-mini-tts θα παύσουν να λειτουργούν στις 6 Ιανουαρίου 2027 (η υποδεικνυόμενη αντικατάσταση είναι το gpt-realtime-2.1-mini, το οποίο ο οδηγός TTS της OpenAI αναφέρει ότι δεν υποστηρίζεται από το /v1/audio/speech: η μετάβαση στη σύνθεση ομιλίας πρέπει να γίνει μέσω του Realtime API)· τα gpt-realtime, gpt-4o-realtime και τα παλαιότερα μοντέλα ήχου στις 20 Ιανουαρίου 2027 (gpt-realtime-2.1, gpt-realtime-2.1-mini, gpt-audio-1.5)· τα whisper-1, gpt-4o-transcribe και το /v1/audio/translations στις 26 Φεβρουαρίου 2027 (gpt-transcribe, gpt-live-transcribe, v1/realtime/translations). Για επικοινωνία πλήρους αμφίδρομης ροής (full-duplex), το GPT-Live 1 είναι διαθέσιμο στο API από τις 10 Σεπτεμβρίου 2026.

Διορθώθηκε στις 3 Νοεμβρίου 2026. Για την ανάλυση μιας εικόνας, το προηγούμενο μάθημα πραγματοποιούσε ξεχωριστή κλήση στο Responses API και στη συνέχεια injected την περιγραφή ως μήνυμα βοηθού με περιεχόμενο input_text, έναν τύπο που προορίζεται για μηνύματα χρήστη ή συστήματος. Ωστόσο, τα gpt-realtime-2.1 και gpt-realtime-2 δέχονται εικόνες ως είσοδο: η εικόνα επισυνάπτεται απευθείας, ως input_image, σε ένα μήνυμα χρήστη. Το συμβάν response.text.delta από την παλιά beta έκδοση μετονομάστηκε πλέον σε response.output_text.delta. Οι δομές των συμβάντων επαληθεύτηκαν έναντι των τύπων SDK openai έκδοσης 3.42.1. Πηγές: Συνομιλίες Realtime, Είσοδοι εικόνων · gpt-realtime-2.1.

Βοηθός Φωνής Πολυτροπικός

Ένας πολυτροπικός βοηθός φωνής συνδυάζει την ομιλία με άλλες λειτουργίες: κείμενο, εικόνες, βίντεο και δομημένα δεδομένα. Ο χρήστης μιλά, αλλά ο πράκτορας μπορεί επίσης να εμφανίζει οπτικές πληροφορίες, να αναλύει εικόνες που αποστέλλονται από τον χρήστη ή να συνδυάζει πολλαπλές πηγές δεδομένων. Αυτό είναι το μέλλον της αλληλεπίδρασης ανθρώπου-υπολογιστή.

Κείμενο και Ήχος Παράλληλα

Το Realtime API υποστηρίζει εγγενώς ταυτόχρονα τις λειτουργίες κειμένου και ήχου. Μπορείτε να εισάγετε κείμενο στη συνομιλία διατηρώντας παράλληλα την ανταλλαγή φωνής:

async def inject_text_context(ws, context: str):
    """Προσθέτει πλαίσιο κειμένου στη συνομιλία φωνής."""
    await ws.send(json.dumps({
        "type": "conversation.item.create",
        "item": {
            "type": "message",
            "role": "user",
            "content": [
                {
                    "type": "input_text",
                    "text": context
                }
            ]
        }
    }))

    # Ενεργοποίηση φωνητικής απόκρισης βάσει αυτού του πλαισίου
    await ws.send(json.dumps({"type": "response.create"}))

# Ο χρήστης ζητά προφορικά «Διάβασέ μου το τελευταίο μου email»
# Εσείς εισάγετε το περιεχόμενο του email ως κείμενο
await inject_text_context(ws, """
Ορίστε το τελευταίο email που λάβατε:
Από: [email protected]
Θέμα: Αίτημα Προσφοράς
Περιεχόμενο: Γεια σας, θα ήθελα να ζητήσω μια προσφορά για
την ενσωμάτωση ενός πράκτορα φωνής στο κέντρο κλήσεών μας.
""")

Εμφάνιση Εικόνας στον Πράκτορα Φωνής

Τα gpt-realtime-2.1 και gpt-realtime-2 δέχονται κείμενο, ήχο και εικόνες ως είσοδο. Μια εικόνα επισυνάπτεται ως τμήμα input_image ενός μηνύματος χρήστη, χρησιμοποιώντας ένα Base64 Data URI, τόσο μέσω WebSocket όσο και μέσω του καναλιού δεδομένων WebRTC. Το μοντέλο λαμβάνει υπόψη του αυτό στην φωνητική του απόκριση, χωρίς να καλεί άλλο API:

import base64
import json


async def montrer_image(ws, chemin_image: str, question: str) -> None:
    """Επισυνάπτει μια εικόνα και μια ερώτηση στη συνομιλία και στη συνέχεια ζητά φωνητική απόκριση."""
    with open(chemin_image, "rb") as f:
        image_b64 = base64.b64encode(f.read()).decode()

    await ws.send(json.dumps({
        "type": "conversation.item.create",
        "item": {
            "type": "message",
            "role": "user",
            "content": [
                {"type": "input_image", "image_url": f"data:image/jpeg;base64,{image_b64}"},
                {"type": "input_text", "text": question},
            ],
        },
    }))
    await ws.send(json.dumps({"type": "response.create"}))


await montrer_image(ws, "facture.jpg", "Τι πρέπει να πληρώσω και μέχρι πότε;")

Οι εικόνες χρεώνονται ως tokens εικόνας, με συγκεκριμένο επιτόκιο που αναγράφεται στην κάρτα του μοντέλου. Για βαριά ανάλυση ή για ένα πιο ικανό μοντέλο όρασης, μπορείτε ακόμα να κάνετε ερώτημα στο Responses API ξεχωριστά και στη συνέχεια να περάσετε το αποτέλεσμά του στη συνεδρία: κάντε το μέσω ενός μηνύματος system ή user (με περιεχόμενο input_text), ποτέ μέσω ενός ψεύτικου μηνύματος βοηθού, το οποίο το μοντέλο θα ερμήνευε ως δικά του λόγια.

Πολυτροπική Διεπαφή Ιστού

Για μια web εφαρμογή, συνδυάστε το Realtime WebSocket με μια οπτική διεπαφή:

from fastapi import FastAPI, WebSocket
from fastapi.staticfiles import StaticFiles

app = FastAPI()

@app.websocket("/ws/agent")
async def multimodal_agent(client_ws: WebSocket):
    """Πολυτροπικός πράκτορας με διεπαφή ιστού."""
    await client_ws.accept()

    headers = {
        "Authorization": f"Bearer {OPENAI_API_KEY}"
    }

    async with websockets.connect(REALTIME_URL, additional_headers=headers) as openai_ws:
        await openai_ws.recv()  # session.created

        await openai_ws.send(json.dumps({
            "type": "session.update",
            "session": {
                "type": "realtime",
                "output_modalities": ["audio"],
                "instructions": "Πολυτροπικός βοηθός. Απάντα στα Αγγλικά.",
                "audio": {"output": {"voice": "marin"}}
            }
        }))
        await openai_ws.recv()

        async def client_to_openai():
            async for message in client_ws.iter_text():
                data = json.loads(message)

                if data["type"] == "audio":
                    # Αναμετάδοση ήχου
                    await openai_ws.send(json.dumps({
                        "type": "input_audio_buffer.append",
                        "audio": data["audio"]
                    }))

                elif data["type"] == "text":
                    # Μήνυμα κειμένου (chat)
                    await openai_ws.send(json.dumps({
                        "type": "conversation.item.create",
                        "item": {
                            "type": "message",
                            "role": "user",
                            "content": [{
                                "type": "input_text",
                                "text": data["text"]
                            }]
                        }
                    }))
                    await openai_ws.send(json.dumps({
                        "type": "response.create"
                    }))

        async def openai_to_client():
            async for message in openai_ws:
                event = json.loads(message)
                t = event["type"]

                if t == "response.output_audio.delta":
                    await client_ws.send_json({
                        "type": "audio",
                        "delta": event["delta"]
                    })

                elif t == "response.output_audio_transcript.delta":
                    await client_ws.send_json({
                        "type": "transcript",
                        "delta": event["delta"]
                    })

                elif t == "response.output_text.delta":
                    await client_ws.send_json({
                        "type": "text",
                        "delta": event["delta"]
                    })

        await asyncio.gather(client_to_openai(), openai_to_client())

Περιπτώσεις Χρήσης Πολυτροπικών Συστημάτων

Ακολουθεί ο τρόπος με τον οποίο ένας πολυτροπικός πράκτορας διαχειρίζεται διαφορετικά σενάρια σε ένα εργαλείο κλήσης συνάρτησης:

tools = [
    {
        "type": "function",
        "name": "show_chart",
        "description": "Εμφανίζει ένα διάγραμμα δεδομένων στον χρήστη",
        "parameters": {
            "type": "object",
            "properties": {
                "chart_type": {"type": "string", "enum": ["bar", "line", "pie"]},
                "title": {"type": "string"},
                "data": {"type": "object"}
            },
            "required": ["chart_type", "title", "data"]
        }
    },
    {
        "type": "function",
        "name": "send_document",
        "description": "Αποστέλλει ένα έγγραφο στον πελάτη μέσω email",
        "parameters": {
            "type": "object",
            "properties": {
                "document_type": {"type": "string"},
                "recipient": {"type": "string"}
            },
            "required": ["document_type", "recipient"]
        }
    }
]

Ο χρήστης λέει προφορικά: «Εμφάνισέ μου τις πωλήσεις του τελευταίου τριμήνου ως διάγραμμα». Ο πράκτορας καλεί το show_chart, το frontend σας εμφανίζει το διάγραμμα και ο πράκτορας σχολιάζει προφορικά τα αποτελέσματα.

Βασικά σημεία

  • Το Realtime API υποστηρίζει ταυτόχρονα τις λειτουργίες κειμένου και ήχου στην ίδια συνεδρία
  • Η εισαγωγή κειμένου μέσω του conversation.item.create σας επιτρέπει να εμπλουτίσετε το φωνητικό πλαίσιο
  • Τα μοντέλα Realtime δέχονται εικόνες: επισυνάψτε τες ως input_image σε ένα μήνυμα χρήστη
  • Τα εργαλεία (κλήση συνάρτησης) σας επιτρέπουν να εμφανίζετε οπτικά στοιχεία ενώ απαντάτε προφορικά
  • Η αρχιτεκτονική WebSocket στην πλευρά του πελάτη σας επιτρέπει να αναμειγνύετε ήχο, κείμενο και δομημένα δεδομένα