Μετάβαση στο κύριο περιεχόμενο
Ελληνικά— Επιλέξτε γλώσσα
Μενού

Δημιουργία διαδραστικού φωνητικού βοηθού

Μάθημα 10 / 14 Ενημερώθηκε 29 Ιουλίου 2026 Μέσου επιπέδου
Σε αυτήν τη σελίδα
  1. Από το πρωτότυπο στον φωνητικό βοηθό παραγωγής
  2. Ο βοηθός web στον browser
  3. Ο βοηθός για κινητά
  4. Ο διαδραστικός κiosk
  5. Μοτίβα κοινά και στις τρεις αρχιτεκτονικές
  6. Βασικά σημεία

Από το πρωτότυπο στον φωνητικό βοηθό παραγωγής

Γνωρίζετε πώς να διαμορφώνετε μια συνεδρία Voice Agent και να παράγετε ήχο με TTS. Αυτό που απομένει είναι η συναρμολόγηση αυτών των δομικών στοιχείων σε ένα προϊόν που αντέχει μπροστά σε πραγματικούς χρήστες. Τρεις αρχιτεκτονικές εμφανίζονται ξανά και ξανά (ο browser, οι κινητές συσκευές και ο διαδραστικός κiosk), και η καθεμία επιβάλλει τεχνικούς περιορισμούς πολύ πριν τεθεί σε παιχνίδι η ποιότητα του μοντέλου.

Ο βοηθός web στον browser

Αυτό είναι το πιο κοινό σημείο εκκίνησης: ένα κουμπί μικροφώνου σε μια υπάρχουσα εφαρμογή, ο χρήστης μιλάει και ο βοηθός απαντάει δυνατά. Ο τεχνικός κύκλος λειτουργεί ως εξής:

  1. Ο χρήστης πατάει το κουμπί: ξεκινάτε τη λήψη ήχου με MediaRecorder ή AudioWorklet
  2. Ο ηχογραφημένος ήχος μετατρέπεται σε base64 PCM και στέλνεται στο Voice Agent μέσω WebSocket
  3. Το VAD στην πλευρά του διακομιστή ανιχνεύει το τέλος της ομιλίας και δημιουργεί μια απάντηση
  4. Τα τμήματα του ήχου της απάντησης φτάνουν μέσω response.output_audio.delta
  5. Τα αποκωδικοποιείτε και τα αναπαράγετε με AudioContext

Το πρόβλημα σπάνια προέρχεται από αυτόν τον βρόχο· προέρχεται από τον ίδιο τον browser. Το Safari απαιτεί το AudioContext να δημιουργείται μέσα σε έναν χειριστή συμβάντος χρήστη. Δημιουργήστε το στο πρώτο κλικ του κουμπιού του μικροφώνου, όχι κατά τη φόρτωση της σελίδας, διαφορετικά θα λάβετε ένα ανασταλμένο context και απόλυτη σιωπή. Η πολιτική αυτόματης αναπαραγωγής (autoplay policy) δείχνει προς την ίδια κατεύθυνση: καμία αναπαραγωγή ήχου δεν ξεκινά χωρίς προηγούμενη αλληλεπίδραση του χρήστη, κάτι που αποκλείει έναν χαιρετισμό που παίζει αυτόματα όταν κάποιος επισκέπτεται τη σελίδα. Για τις μορφές εξόδου, επιμείνετε σε PCM ή MP3, καθώς οι browsers δεν μπορούν να αναπαράγουν native τα mulaw και alaw. Και το κλειδί API δεν μπαίνει ποτέ στον κώδικα του client: παραμένει στον διακομιστή σας και ο browser χρησιμοποιεί αντίθετα ένα εφήμερο token (μάθημα 13).

Η λήψη χρειάζεται επίσης ρύθμιση:

const stream = await navigator.mediaDevices.getUserMedia({
  audio: {
    sampleRate: 24000,
    channelCount: 1,
    echoCancellation: true,
    noiseSuppression: true
  }
});

Η ακύρωση ηχούς και η καταστολή θορύβου δεν είναι επιπλέον χαρακτηριστικά. Χωρίς αυτά, το μικρόφωνο πιάνει την απάντηση του βοηθού που βγαίνει από τα ηχεία, το VAD το εκλαμβάνει ως ομιλία του χρήστη και ο πράκτορας συνεχίζει να διακόπτει τον εαυτό του. Δοκιμάζετε πάντα χωρίς ακουστικά: αυτή είναι η ρύθμιση όπου εμφανίζεται η ανατροφοδότηση.

Ο βοηθός για κινητά

Με το React Native ή το Flutter, η αρχή παραμένει η ίδια, αλλά το περιβάλλον γίνεται πιο δύσκολο. Χρησιμοποιήστε τα εγγενή API λήψης (AVAudioEngine στο iOS, AudioRecord στο Android) αντί για μια γενική αφαίρεση: η ποιότητα του σήματος εισόδου επηρεάζει άμεσα την αναγνώριση. Ενσωματώστε αυτόματη επανασύνδεση, επειδή το WebSocket διακόπτεται μόλις η εφαρμογή περάσει στο παρασκήνιο, κάτι που συμβαίνει τη στιγμή που φτάνει μια ειδοποίηση κατά τη διάρκεια μιας συνομιλίας.

Δύο πράγματα συχνά διαφεύγουν από τις εσωτερικές δοκιμές. Το πρώτο είναι η δρομολόγηση ήχου: ηχείο ή ακουστικό, η αναμενόμενη συμπεριφορά διαφέρει ανάλογα με το αν ο χρήστης κρατάει το τηλέφωνο στο αυτί του ή το αφήνει σε ένα τραπέζι. Το δεύτερο είναι το Bluetooth, του οποίου η δική του καθυστέρηση προστίθεται σε αυτήν του δικτύου και του μοντέλου· μια συνομιλία που ρέει ομαλά με το ενσωματωμένο μικρόφωνο μερικές φορές γίνεται ασταθής με ασύρματα ακουστικά.

Ο διαδραστικός κiosk

Για έναν κiosk σε ένα κατάστημα, μια ρεσεψιόν ξενοδοχείου ή μια αίθουσα μουσείου, ο κυρίαρχος περιορισμός γίνεται το ηχητικό περιβάλλον. Ένα καρδιοειδές, κατευθυντικό μικρόφωνο περιορίζει τη λήψη στο άτομο που στέκεται μπροστά από τον κiosk. Μην βασίζεστε σε μια ρύθμιση ευαισθησίας για να φιλτράρετε το πλήθος: η ανίχνευση σειράς ομιλίας του Voice Agent εκθέτει μόνο το type και το idle_timeout_ms του, χωρίς κανένα κατώφλι να αυξηθεί. Όταν ο χώρος είναι πραγματικά θορυβώδης, όπως μια αίθουσα αναμονής σιδηροδρομικού σταθμού ή μια εμπορική έκθεση, η λειτουργία push-to-talk με ένα φυσικό κουμπί είναι πιο αξιόπιστη από οποιαδήποτε αυτόματη ανίχνευση.

Τέλος, θυμηθείτε να κλείνετε τις συνεδρίες μετά από δύο έως τρία λεπτά αδράνειας. Διαφορετικά, ένας επισκέπτης που αποχωρεί στη μέση μιας συνομιλίας αφήνει μια συνεδρία ανοιχτή που καταναλώνει τους πόρους σας και δεσμεύει μία από τις ταυτόχρονες υποδοχές σας.

Μοτίβα κοινά και στις τρεις αρχιτεκτονικές

Το Voice Agent διατηρεί το ιστορικό συνομιλίας για όλη τη διάρκεια της συνεδρίας. Μπορείτε να το προετοιμάσετε πριν από την πρώτη λέξη injecting χρήσιμο context, όπως η ταυτότητα του συνδεδεμένου πελάτη ή μια παραγγελία σε εξέλιξη, με conversation.item.create:

{
  "type": "conversation.item.create",
  "item": {
    "type": "message",
    "role": "system",
    "content": [
      {
        "type": "text",
        "text": "The signed-in customer is Sarah Miller, customer number C-4521. She has an order in progress, CMD-8834."
      }
    ]
  }
}

Ο πράκτορας τότε σταματά να ζητά από τους χρήστες πληροφορίες που η εφαρμογή σας έχει ήδη, κάτι που εξοικονομεί περίπου δέκα δευτερόλεπτα σε κάθε συνομιλία.

Για να κάνετε τον βοηθό να μιλήσει πρώτος, εισάγετε ένα αρχικό μήνυμα και στη συνέχεια ενεργοποιήστε την απάντηση:

{
  "type": "conversation.item.create",
  "item": {
    "type": "message",
    "role": "user",
    "content": [{ "type": "text", "text": "Hello" }]
  }
}

Ένα { "type": "response.create" } που στέλνεται αμέσως μετά ενεργοποιεί τον χαιρετισμό.

Απομένει η οπτική ανατροφοδότηση, η οποία συνήθως αντιμετωπίζεται τελευταία παρόλο που ζυγίζει heavily στο πώς γίνεται αισθητό το προϊόν. Εμφανίστε μια ένδειξη ενώ ο πράκτορας μιλάει (ένα ηχητικό κύμα, ένα animated avatar) και μια άλλη ενώ καταγράφετε ήχο. Χωρίς αυτό το σήμα, οι χρήστες δεν μπορούν να καταλάβουν αν πρέπει να μιλήσουν, αν τους ακούει κάποιος ή αν η εφαρμογή έχει καταρρεύσει, και καταλήγουν να μιλούν ταυτόχρονα με τον πράκτορα.

Βασικά σημεία

  • Τρεις κύριες αρχιτεκτονικές: web, κινητά και κiosk, η καθεμία με τους δικούς της περιορισμούς
  • Ο ήχος στον browser χρειάζεται προσοχή (AudioContext του Safari, πολιτική autoplay)
  • Προσυμπληρώστε το context της συνομιλίας με conversation.item.create για να προσωποποιήσετε την εμπειρία
  • Ένας χαιρετισμός και η οπτική ανατροφοδότηση βελτιώνουν σημαντικά την εμπειρία του χρήστη