Μετάβαση στο κύριο περιεχόμενο
Ελληνικά— Επιλέξτε γλώσσα
Μενού

Περιπτώσεις χρήσης απομαγνητοφώνησης σε πραγματικό χρόνο

Μάθημα 13 / 16 Ενημερώθηκε 3 Νοεμβρίου 2026 Για developers
Σε αυτήν τη σελίδα
  1. Τέσσερις συγκεκριμένες εφαρμογές ροής δεδομένων
  2. Υποτιτλισμός σε ζωντανή μετάδοση
  3. Διαδραστικός φωνητικός βοηθός
  4. Φωνητική υπαγόρευση με αυτόματη αποθήκευση
  5. Απομαγνητοφώνηση συνεδρίου με μεταδεδομένα
  6. Βασικά σημεία

Το μάθημα ενημερώθηκε στις 3 Νοεμβρίου 2026 για το Voxtral 3, βάσει του οδηγού Migrate from Voxtral 2 της Mistral: τα μοντέλα Voxtral 2 (voxtral-mini-2602, voxtral-mini-transcribe-realtime-2602, voxtral-mini-tts-2603), που απεσύρθησαν στις 31 Οκτωβρίου 2026 και θα καταργηθούν οριστικά στις 30 Απριλίου 2027, αντικαθίστανται στα παραδείγματα από τα voxtral-mini-transcribe-3, voxtral-mini-transcribe-realtime-3 και voxtral-mini-tts-3-0. Βασικές αλλαγές: οι χρονοσημάνσεις αφορούν μόνο τμήματα (το word επιστρέφει σφάλμα 400), υποστηρίζεται η διάκριση ομιλητών σε πραγματικό χρόνο, οι ρυθμίσεις συνεδρίας πραγματικού χρόνου κλειδώνουν μετά το πρώτο κομμάτι ήχου και οι είσοδοι context_bias είναι ελεύθερης μορφής (φράσεις με κενά). Πηγές: Migrate from Voxtral 2 · Speech to Text.

Τέσσερις συγκεκριμένες εφαρμογές ροής δεδομένων

Διαθέτετε πλέον όλα τα απαραίτητα δομικά στοιχεία: τη ροή δεδομένων, το μικρόφωνο και τη βελτιστοποίηση της καθυστέρησης. Αυτό το μάθημα συνδυάζει τα παραπάνω σε τέσσερις ολοκληρωμένες εφαρμογές—υποτιτλισμό σε ζωντανή μετάδοση, φωνητικό βοηθό, υπαγόρευση και απομαγνητοφώνηση συνεδρίου—τις οποίες μπορείτε να χρησιμοποιήσετε ως έχουν ως σημείο εκκίνησης. Κάθε μία απεικονίζει ένα πρόβλημα που η λειτουργία εκτός σύνδεσης (offline) δεν μπορεί να λύσει και χρησιμοποιεί διαφορετική ρύθμιση καθυστέρησης, προσφέροντάς σας μια απτή αίσθηση της βελτιστοποίησης που συζητήθηκε προηγουμένως.

Υποτιτλισμός σε ζωντανή μετάδοση

Ο υποτιτλισμός αποτελεί την πιο εμφανή περίπτωση χρήσης σε πραγματικό χρόνο, αλλά και την πιο απαιτητική όσον αφορά την παρουσίαση. Η απλή απομαγνητοφώνηση δεν αρκεί: πρέπει να χωρίζετε το κείμενο σε σύντομες γραμμές, να εμφανίζετε μόνο δύο τη φορά και να κάνετε κύλιση σε όλο το κείμενο χωρίς ποτέ να κόβετε μια λέξη στη μέση. Αυτό ακριβώς κάνει η παρακάτω κλάση. Όταν η τρέχουσα γραμμή φτάσει στο μέγιστο μήκος, εντοπίζει τον τελευταίο χώρο πριν από αυτό το όριο και κάνει αλλαγή γραμμής εκεί· αν δεν βρεθεί χώρος—π.χ. σε μια πολύ μεγάλη λέξη ή ένα υπαγορευμένο URL—κόβει στο μέγιστο μήκος αντί να επιτρέψει υπερχείλιση της γραμμής. Η ρύθμιση των 800 χιλιοστολέπτων αντανακλά την προτεραιότητα αυτής της περίπτωσης χρήσης: ένα ευανάγνωστο κείμενο είναι προτιμότερο από ένα στιγμιαίο αλλά σπασμένο κείμενο, και το κοινό δεν θα αντιληφθεί αυτή τη μικρή καθυστέρηση.

import asyncio
import os
from mistralai.client import Mistral
from mistralai.client.models import (
    AudioFormat,
    TranscriptionStreamTextDelta,
    TranscriptionStreamDone
)

class LiveCaptioning:
    """Σύστημα υποτιτλισμού σε πραγματικό χρόνο με διαχείριση γραμμών."""

    def __init__(self, max_chars_per_line=50, max_lines=2):
        self.max_chars = max_chars_per_line
        self.max_lines = max_lines
        self.current_line = ""
        self.lines = []

    async def run(self, audio_source):
        client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
        audio_format = AudioFormat(encoding="pcm_s16le", sample_rate=16000)

        async for event in client.audio.realtime.transcribe_stream(
            audio_stream=audio_source,
            model="voxtral-mini-transcribe-realtime-3",
            audio_format=audio_format,
            target_streaming_delay_ms=800,
        ):
            if isinstance(event, TranscriptionStreamTextDelta):
                self._add_text(event.text)
            elif isinstance(event, TranscriptionStreamDone):
                self._afficher_final()

    def _add_text(self, texte):
        self.current_line += texte

        if len(self.current_line) >= self.max_chars:
            pos = self.current_line.rfind(" ", 0, self.max_chars)
            if pos > 0:
                self.lines.append(self.current_line[:pos])
                self.current_line = self.current_line[pos + 1:]
            else:
                self.lines.append(self.current_line[:self.max_chars])
                self.current_line = self.current_line[self.max_chars:]

            if len(self.lines) > self.max_lines:
                self.lines = self.lines[-self.max_lines:]

        self._afficher()

    def _afficher(self):
        for ligne in self.lines:
            print(f"  {ligne}")
        print(f"  {self.current_line}", end="", flush=True)

    def _afficher_final(self):
        print("\n\n[Captioning finished]")

Διαδραστικός φωνητικός βοηθός

Ένας φωνητικός βοηθός δεν αντέχει τη σιωπή. Πρέπει να κατανοεί τον χρήστη ενώ μιλά, διαφορετικά θα αφήνει ένα κενό μετά από κάθε ερώτηση που θα προδίδει αμέσως τη μηχανική φύση του συστήματος. Η απομαγνητοφώνηση σε πραγματικό χρόνο είναι ο πρώτος κρίκος σε μια αλυσίδα τριών βημάτων: Μετατροπή Ομιλίας σε Κείμενο (Speech-to-Text), στη συνέχεια LLM και τέλος Μετατροπή Κειμένου σε Ομιλία (Text-to-Speech). Εδώ, η καθυστέρηση μειώνεται στα 300 χιλιοστόλεπτα, την πιο επιθετική τιμή σε όλο το μάθημα, και το κείμενο εμφανίζεται αντικαθιστώντας την τρέχουσα γραμμή χρησιμοποιώντας επιστροφή carriage return, δημιουργώντας την εντύπωση ότι η πρόταση ολοκληρώνεται μπροστά στα μάτια σας.

Το δεύτερο μισό της συνάρτησης μεταβαίνει στο LLM. Η απάντηση ζητείται επίσης ως ροή δεδομένων, ώστε οι πρώτες λέξεις να φτάνουν πριν το μοντέλο ολοκληρώσει την πρότασή του: η ανταπόκριση που κερδίζεται στο στάδιο της απομαγνητοφώνησης δεν σπαταλιέται στο επόμενο βήμα. Το prompt συστήματος επιβάλλει τη συντομία, μια καθοριστική λεπτομέρεια στη λεκτική αλληλεπίδραση όπου μια απάντηση δέκα γραμμών καθίσταται απαρακολούθητη.

async def assistant_vocal(audio_source):
    """Απομαγνητοφωνεί και στη συνέχεια απαντά μέσω ενός LLM."""
    client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
    audio_format = AudioFormat(encoding="pcm_s16le", sample_rate=16000)

    # Βήμα 1: Απομαγνητοφώνηση της ερώτησης
    question_parts = []

    async for event in client.audio.realtime.transcribe_stream(
        audio_stream=audio_source,
        model="voxtral-mini-transcribe-realtime-3",
        audio_format=audio_format,
        target_streaming_delay_ms=300,
    ):
        if isinstance(event, TranscriptionStreamTextDelta):
            question_parts.append(event.text)
            texte_en_cours = "".join(question_parts)
            print(f"\rYou: {texte_en_cours}", end="", flush=True)
        elif isinstance(event, TranscriptionStreamDone):
            break

    question = "".join(question_parts).strip()
    print()

    if not question:
        print("Δεν εντοπίστηκε ερώτηση.")
        return

    # Βήμα 2: Αποστολή στο LLM για λήψη απάντησης
    print("Assistant: ", end="", flush=True)

    reponse_stream = client.chat.stream(
        model="mistral-large-latest",
        messages=[
            {
                "role": "system",
                "content": "You are a concise voice assistant. "
                           "Respond in 2-3 sentences maximum."
            },
            {"role": "user", "content": question}
        ]
    )

    for chunk in reponse_stream:
        texte = chunk.data.choices[0].delta.content
        if texte:
            print(texte, end="", flush=True)

    print("\n")

Φωνητική υπαγόρευση με αυτόματη αποθήκευση

Η υπαγόρευση θέτει ένα πρόβλημα που οι δύο προηγούμενες περιπτώσεις αγνοούν: τη διάρκεια. Μια συνεδρία μπορεί να διαρκέσει πάνω από μία ώρα και η απώλεια του κειμένου λόγω κατάρρευσης συστήματος ή διακοπής σύνδεσης θα ήταν απαράδεκτη. Εξ ου και η αυτόματη αποθήκευση, η οποία ενεργοποιείται περίπου κάθε εκατό λέξεις, ξαναγράφοντας το αρχείο εξόδου εν κινήσει. Ο μετρητής nb_mots λειτουργεί επίσης ως ανατροφοδότηση για τον χρήστη: σας ενημερώνει πόσο κείμενο έχετε παράγει, πληροφορία που αναμένει ο καθένας που υπαγορεύει μια αναφορά. Η καθυστέρηση των 600 χιλιοστολέπτων τοποθετεί τον δρομέα στην πλευρά της ακρίβειας, καθώς κάποιος που υπαγορεύει διαβάζει εκ νέου το κείμενό του και προτιμά μια ακριβή λέξη από μια στιγμιαία.

class DicteeVocale:
    """Φωνητική υπαγόρευση με αυτόματη αποθήκευση."""

    def __init__(self, fichier_sortie="dictee.txt"):
        self.fichier_sortie = fichier_sortie
        self.texte = []
        self.nb_mots = 0

    async def run(self, audio_source):
        client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
        audio_format = AudioFormat(encoding="pcm_s16le", sample_rate=16000)

        print("Υπαγόρευση... (Ctrl+C για διακοπή)\n")

        async for event in client.audio.realtime.transcribe_stream(
            audio_stream=audio_source,
            model="voxtral-mini-transcribe-realtime-3",
            audio_format=audio_format,
            target_streaming_delay_ms=600,
        ):
            if isinstance(event, TranscriptionStreamTextDelta):
                self.texte.append(event.text)
                self.nb_mots += len(event.text.split())
                print(event.text, end="", flush=True)

                # Αυτόματη αποθήκευση κάθε 100 λέξεις
                if self.nb_mots % 100 < 5:
                    self._sauvegarder()

            elif isinstance(event, TranscriptionStreamDone):
                break

        self._sauvegarder()
        print(f"\n\nΗ υπαγόρευση ολοκληρώθηκε: {self.nb_mots} λέξεις")
        print(f"Αρχείο: {self.fichier_sortie}")

    def _sauvegarder(self):
        contenu = "".join(self.texte)
        with open(self.fichier_sortie, "w", encoding="utf-8") as f:
            f.write(contenu)

Απομαγνητοφώνηση συνεδρίου με μεταδεδομένα

Για ένα μεγάλο συνέδριο, το ακατέργαστο κείμενο δεν έχει μεγάλη αξία αν δεν είναι αναγνωρίσιμο. Έξι μήνες αργότερα, κανείς δεν θα γνωρίζει από ποια συνεδρία ή ομιλητή προέρχεται ένα αρχείο με όνομα transcription.txt. Η παρακάτω συνάρτηση therefore περιβάλλει την απομαγνητοφώνηση σε μια δομημένη μορφή με τεκμηρίωση—όνομα συνεδρίου, ομιλητής, χρονοσημάνσεις έναρξης και λήξης, αριθμός λέξεων—και την εξάγει ως JSON με όνομα που περιλαμβάνει χρονοσήμανση, άμεσα usable από μια εσωτερική μηχανή αναζήτησης ή μια διαδικασία αρχειοθέτησης. Η καθυστέρηση των 1.200 χιλιοστολέπτων είναι απολύτως αποδεκτή εδώ: το κοινό ακούει τον ομιλητή, η οθόνη αποτελεί απλώς συμπλήρωμα και η ακρίβεια έχει προτεραιότητα.

import json
from datetime import datetime

async def transcribe_conference(
    audio_source,
    conference_name: str,
    speaker: str = "Inconnu"
):
    """Απομαγνητοφωνεί μια συνεδρία συνεδρίου με μεταδεδομένα."""
    client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
    audio_format = AudioFormat(encoding="pcm_s16le", sample_rate=16000)

    session = {
        "conference": conference_name,
        "speaker": speaker,
        "debut": datetime.now().isoformat(),
        "texte": [],
    }

    print(f"Απομαγνητοφώνηση: {conference_name}")
    print(f"Ομιλητής: {speaker}")
    print("-" * 50)

    async for event in client.audio.realtime.transcribe_stream(
        audio_stream=audio_source,
        model="voxtral-mini-transcribe-realtime-3",
        audio_format=audio_format,
        target_streaming_delay_ms=1200,
    ):
        if isinstance(event, TranscriptionStreamTextDelta):
            session["texte"].append(event.text)
            print(event.text, end="", flush=True)
        elif isinstance(event, TranscriptionStreamDone):
            break

    session["fin"] = datetime.now().isoformat()
    session["texte"] = "".join(session["texte"])
    session["nb_mots"] = len(session["texte"].split())

    filename = f"session_{datetime.now().strftime('%Y%m%d_%H%M%S')}.json"
    with open(filename, "w", encoding="utf-8") as f:
        json.dump(session, f, ensure_ascii=False, indent=2)

    print(f"\n\nΗ συνεδρία αποθηκεύτηκε: {filename}")
    return session

Εξετάστε τις τέσσερις καθυστερήσεις με τη σειρά—300, 600, 800 και στη συνέχεια 1.200 χιλιοστόλεπτα—και σημειώστε ότι ακολουθούν μια ενιαία λογική: όσο περισσότερο ο χρήστης αναμένει αντίδραση από τη μηχανή, τόσο μικρότερη πρέπει να είναι η καθυστέρηση· όσο περισσότερο αναμένει ένα usable έγγραφο, τόσο μεγαλύτερη μπορεί να είναι. Πάρτε μία από αυτές τις εφαρμογές και συνδέστε τη με τη γεννήτρια μικροφώνου από το προηγούμενο μάθημα: θα έχετε ένα πραγματικά usable εργαλείο σε λίγα μόνο λεπτά.

Βασικά σημεία

  • Ο υποτιτλισμός σε ζωντανή μετάδοση χρησιμοποιεί καθυστέρηση 800 ms και διαχειρίζεται την εμφάνιση γραμμή προς γραμμή
  • Ο φωνητικός βοηθός συνδυάζει την απομαγνητοφώνηση σε πραγματικό χρόνο και ένα LLM για την απάντηση σε ερωτήσεις
  • Η φωνητική υπαγόρευση αποθηκεύει αυτόματα το κείμενο εν κινήσει
  • Η απομαγνητοφώνηση συνεδρίου προσθέτει μεταδεδομένα και εξάγει σε JSON
  • Κάθε περίπτωση χρήσης έχει τη βέλτιστη καθυστέρησή της: από 300 ms (βοηθός) έως 1.200 ms (συνέδριο), εντός του αποδεκτού εύρους των 80 έως 1.200 ms ή 2.400 ms