Εισαγωγή στη Μεταγραφή Πραγματικού Χρόνου
Σε αυτήν τη σελίδα
Το μάθημα ενημερώθηκε στις 3 Νοεμβρίου 2026 για το Voxtral 3, βάσει του οδηγού Migrate from Voxtral 2 της Mistral: Τα μοντέλα Voxtral 2 (
voxtral-mini-2602,voxtral-mini-transcribe-realtime-2602,voxtral-mini-tts-2603), που αποσύρθηκαν στις 31 Οκτωβρίου 2026 και θα απενεργοποιηθούν οριστικά στις 30 Απριλίου 2027, αντικαθίστανται στα παραδείγματα από ταvoxtral-mini-transcribe-3,voxtral-mini-transcribe-realtime-3καιvoxtral-mini-tts-3-0. Βασικές αλλαγές: οι χρονοσημάνσεις αφορούν μόνο τμήματα (τοwordεπιστρέφει σφάλμα 400), η διάκριση ομιλητών (diarization) είναι διαθέσιμη σε πραγματικό χρόνο, οι ρυθμίσεις συνεδρίας πραγματικού χρόνου κλειδώνουν μετά το πρώτο κομμάτι ήχου και οι είσοδοιcontext_biasείναι ελεύθερης μορφής (φράσεις με κενά). Πηγές: Migrate from Voxtral 2 · Speech to Text.
Ένα Νέο Πρότυπο: Ροή Ήχου (Audio Streaming)
Μέχρι στιγμής, έχετε εργαστεί σε λειτουργία offline: στέλνετε ένα ολοκληρωμένο αρχείο ήχου, περιμένετε το μοντέλο να το επεξεργαστεί και στη συνέχεια χρησιμοποιείτε το αποτέλεσμα. Αυτή η ροή εργασίας ταιριάζει σε υπάρχουσες ηχογραφήσεις, όπως αρχειοθετημένες συναντήσεις, podcasts ή συνεντεύξεις. Ωστόσο, αποτυγχάνει όταν ο ήχος φτάνει συνεχώς: κανείς δεν θα περιμένει μέχρι το τέλος μιας δίωρης διάσκεψης για να δει τους πρώτους υπότιτλους, και ένας φωνητικός βοηθός που κατανοεί μια ερώτηση μόνο μετά από μακρά σιωπή φαίνεται ελαττωματικός.
Το Voxtral Realtime καλύπτει αυτή την ανάγκη με μια αρχιτεκτονική streaming. Ο ήχος μεταγράφεται επιτόπου, λέξη προς λέξη, και η καθυστέρηση μεταξύ ήχου και κειμένου γίνεται μια ρύθμιση που ελέγχετε εσείς, πέφτοντας έως και στα 200 χιλιοστά του δευτερολέπτου. Η αλλαγή είναι τόσο νοητική όσο και τεχνική: δεν σκέφτεστε πλέον με μεμονωμένα αιτήματα αλλά με ροές (streams), και το πρόγραμμά σας πρέπει να είναι έτοιμο να λαμβάνει κείμενο ανά πάσα στιγμή.
Τι Προσφέρει το Μοντέλο Realtime
Το μοντέλο καλείται υπό το αναγνωριστικό voxtral-mini-transcribe-realtime-3 και διαφέρει θεμελιωδώς από τον αντίστοιχό του offline. Λαμβάνει κομμάτια ήχου και εκπέμπει συνεχώς θραύσματα κειμένου, χωρίς ποτέ να περιμένει το τέλος της ηχογράφησης. Η καθυστέρησή του ελέγχεται από την παράμετρο target_streaming_delay_ms, την οποία θα εξερευνήσετε λεπτομερώς αργότερα σε αυτό το μάθημα. Καλύπτει 45 γλώσσες και διαλέκτους, ενώ η γλώσσα μπορεί να οριστεί σταθερά ή να ανιχνευθεί αυτόματα. Ο προκάτοχός του Generation 2, voxtral-mini-transcribe-realtime-2602 (4 δισεκατομμύρια παράμετροι), δημοσιεύεται ως open weights υπό την άδεια Apache 2.0 στο Hugging Face Hub για πλήρως κυρίαρχη εγκατάσταση στους δικούς σας διακομιστές.
Με το Voxtral 3, η απόδοση σε πραγματικό χρόνο έχει γεφυρώσει σε μεγάλο βαθμό το χάσμα με τη λειτουργία offline. Η διάκριση ομιλητών (diarization) είναι διαθέσιμη—αν και όχι στην ίδια συνεδρία με την ανίχνευση τέλους σειράς ομιλίας (turn-end detection)—όπως και η προσαρμογή συμφραζομένων (context biasing) και η ανίχνευση τέλους σειράς ομιλίας. Δύο διαφορές παραμένουν: τα τμήματα φέρουν την ετικέτα του ομιλητή αλλά όχι χρόνο έναρξης ή λήξης, και όλες οι ρυθμίσεις συνεδρίας (γλώσσα, λεξιλόγιο, diarization, καθυστέρηση) πρέπει να αποστέλλονται πριν από το πρώτο κομμάτι ήχου, μετά το οποίο κλειδώνουν. Εάν η περίπτωση χρήσης σας απαιτεί ακριβείς χρονοσημάνσεις, χρειάζεστε τη λειτουργία offline, πιθανώς ως συμπλήρωμα του πραγματικού χρόνου.
Εγκατάσταση
Το Mistral SDK δεν φορτώνει εξ ορισμού τις εξαρτήσεις streaming. Πρέπει να ζητήσετε ρητά το πρόσθετο realtime, το οποίο προσθέτει υποστήριξη για συνδέσεις WebSocket και ασύγχρονη επεξεργασία ήχου:
pip install "mistralai[realtime]"
Η Απαιτούμενη Μορφή Ήχου
Σε αντίθεση με τη λειτουργία offline, που δέχεται ένα ευρύ φάσμα container, το Voxtral Realtime αναμένει μια raw ροή σε μία και μοναδική, αδιαπραγμάτευτη μορφή:
- Κωδικοποίηση: 16-bit signed little-endian PCM (
pcm_s16le) - Ρυθμός δειγματοληψίας: 16.000 Hz (16 kHz)
- Κανάλια: Mono (1 κανάλι)
Αυτός ο περιορισμός δεν αποτελεί εμπόδιο: αυτή η μορφή είναι η πιο τυποποιημένη διαθέσιμη και όλα τα εργαλεία σύλληψης την παράγουν εγγενώς, είτε πρόκειται για PyAudio, FFmpeg ή PulseAudio. Την δηλώνετε μία φορά στον πελάτη (client), ο οποίος τη χρησιμοποιεί για να ερμηνεύσει τα bytes που μεταδίδετε.
from mistralai.client.models import AudioFormat
# Ορισμός της μορφής ήχου
audio_format = AudioFormat(
encoding="pcm_s16le",
sample_rate=16000
)
Τα Δύο Συμβάντα Ροής
Όταν κάνετε επανάληψη στη μεταγραφή, το SDK επιστρέφει δύο τύπους αντικειμένων. Το TranscriptionStreamTextDelta εκπέμπεται για κάθε νέο μεταγραφόμενο θραύσμα και μεταφέρει το μερικό κείμενο που μπορείτε να εμφανίσετε αμέσως· αυτό είναι που τροφοδοτεί την οθόνη του χρήστη. Το TranscriptionStreamDone φτάνει ακριβώς μία φορά, όταν η ροή ήχου τελειώνει, είτε στο τέλος ενός αρχείου είτε όταν κλείσει το μικρόφωνο· σηματοδοτεί ότι δεν έρχεται τίποτα άλλο και ότι μπορείτε να ενοποιήσετε το αποτέλεσμα. Επομένως, ολόκληρη η λογική σας χωράει σε έναν ασύγχρονο βρόχο που διακρίνει αυτές τις δύο περιπτώσεις:
from mistralai.client.models import (
TranscriptionStreamTextDelta,
TranscriptionStreamDone
)
async for event in flux_transcription:
if isinstance(event, TranscriptionStreamTextDelta):
# Νέο κείμενο διαθέσιμο
print(event.text, end="", flush=True)
elif isinstance(event, TranscriptionStreamDone):
# Η μεταγραφή ολοκληρώθηκε
print("\n[Finished]")
Πρώτο Πλήρες Παράδειγμα
Για να εξοικειωθείτε με τον μηχανισμό χωρίς να βασίζεστε σε μικρόφωνο, η απλούστερη προσέγγιση είναι να προσομοιώσετε μια ροή από ένα αρχείο ήδη μετατραμμένο σε PCM. Η συνάρτηση lire_fichier_pcm είναι ένας ασύγχρονος γεννήτορας: διαβάζει το αρχείο σε μπλοκ και τα αποδίδει ένα προς ένα, ακριβώς όπως θα έκανε μια κάρτα ήχου. Το υπόλοιπο πρόγραμμα είναι αυτό που θα επαναχρησιμοποιήσετε αργότερα χωρίς τροποποιήσεις.
import asyncio
import os
from mistralai.client import Mistral
from mistralai.client.models import (
AudioFormat,
TranscriptionStreamTextDelta,
TranscriptionStreamDone
)
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
audio_format = AudioFormat(encoding="pcm_s16le", sample_rate=16000)
async def lire_fichier_pcm(chemin: str, taille_chunk: int = 32000):
"""Διαβάζει ένα αρχείο PCM σε κομμάτια για να προσομοιώσει μια ροή."""
with open(chemin, "rb") as f:
while True:
chunk = f.read(taille_chunk)
if not chunk:
break
yield chunk
async def main():
flux_audio = lire_fichier_pcm("audio.pcm")
async for event in client.audio.realtime.transcribe_stream(
audio_stream=flux_audio,
model="voxtral-mini-transcribe-realtime-3",
audio_format=audio_format,
):
if isinstance(event, TranscriptionStreamTextDelta):
print(event.text, end="", flush=True)
elif isinstance(event, TranscriptionStreamDone):
print("\n\nTranscription finished.")
asyncio.run(main())
Εάν το αρχείο προέλευσής σας είναι MP3, δεν μπορεί να σταλθεί ως έχει: μετατρέψτε το πρώτα με το FFmpeg, επιβάλλοντας τα τρία χαρακτηριστικά που απαιτούνται από το μοντέλο.
ffmpeg -i audio.mp3 -f s16le -acodec pcm_s16le -ar 16000 -ac 1 audio.pcm
Πότε να Μεταβείτε σε Πραγματικό Χρόνο
Το κριτήριο επιλογής είναι απλό: ο πραγματικός χρόνος δικαιολογείται όταν κάποιος περιμένει το κείμενο ενώ ο ήχος παράγεται. Αυτό ισχύει για την υποτιτλισμό σε ζωντανή μετάδοση για συνέδρια, webinars ή διαδικτυακά μαθήματα, όπου το κοινό διαβάζει καθώς ακούει· για έναν φωνητικό βοηθό, ο οποίος πρέπει να κατανοήσει τον χρήστη ενώ μιλά για να απαντήσει χωρίς άσκοπες παύσεις· για υπαγόρευση, όπου η ομιλία γίνεται κείμενο μπροστά στα μάτια του ομιλητή· και τελικά για μεταγραφή συνεδρίων, όταν το κείμενο πρέπει να εμφανίζεται καθώς εκφωνείται. Σε κάθε άλλη περίπτωση, η λειτουργία offline παραμένει πλουσιότερη και απλούστερη στην υλοποίηση.
Τα επόμενα μαθήματα θα σας δείξουν πώς να συλλάβετε το μικρόφωνο, να ρυθμίσετε την καθυστέρηση και να χτίσετε αυτές τις περιπτώσεις χρήσης από άκρη σε άκρη.
Βασικά σημεία
- Το Voxtral Mini Transcribe Realtime 3 μεταγράφει ήχο σε λειτουργία streaming με ρυθμιζόμενη καθυστέρηση από 80 ms έως 1,2 s (ή 2,4 s)
- Απαιτούμενη μορφή ήχου: 16-bit PCM, 16 kHz, mono
- Δύο τύποι συμβάντων:
TextDelta(μερικό κείμενο) καιDone(τέλος) - Εγκατάσταση με
pip install "mistralai[realtime]" - Απαιτείται ασύγχρονος προγραμματισμός (
async/await) - Διάκριση ομιλητών (εξαιρουμένης της ανίχνευσης τέλους σειράς ομιλίας) και προσαρμογή συμφραζομένων διαθέσιμα σε πραγματικό χρόνο, χωρίς χρονοσημάνσεις τμημάτων· οι ρυθμίσεις κλειδώνουν μετά το πρώτο κομμάτι ήχου
- Η Generation 2 του μοντέλου realtime είναι open weights Apache 2.0, για κυρίαρχη ανάπτυξη