Μετάβαση στο κύριο περιεχόμενο
Ελληνικά— Επιλέξτε γλώσσα
Μενού

Επόμενα βήματα: Πέρα από τη μεταγραφή

Μάθημα 16 / 16 Ενημερώθηκε 3 Νοεμβρίου 2026 Για developers
Σε αυτήν τη σελίδα
  1. Τι μάθατε
  2. Voxtral TTS: Δίνοντας φωνή στο κείμενο
  3. Ο πλήρης σωλήνας επεξεργασίας: STT, LLM, TTS
  4. Τι καθιστά δυνατό αυτός ο σωλήνας επεξεργασίας
  5. Ένας πλήρως κυρίαρχος φωνητικός σωλήνας επεξεργασίας
  6. Πού να προχωρήσετε στη συνέχεια
  7. Ανακεφαλαίωση μαθήματος
  8. Βασικά σημεία
  9. Δοκιμάστε τις γνώσεις σας

Το μάθημα ενημερώθηκε στις 3 Νοεμβρίου 2026 για το Voxtral 3, βάσει του οδηγού Migrate from Voxtral 2 της Mistral: Τα μοντέλα Voxtral 2 (voxtral-mini-2602, voxtral-mini-transcribe-realtime-2602, voxtral-mini-tts-2603), που αποσύρθηκαν στις 31 Οκτωβρίου 2026 και θα απενεργοποιηθούν οριστικά στις 30 Απριλίου 2027, αντικαθίστανται στα παραδείγματα από τα voxtral-mini-transcribe-3, voxtral-mini-transcribe-realtime-3 και voxtral-mini-tts-3-0. Βασικές αλλαγές: οι χρονοσημάνσεις υπάρχουν μόνο σε επίπεδο τμήματος (το word επιστρέφει σφάλμα 400), υποστηρίζεται η διάκριση ομιλητών σε πραγματικό χρόνο, οι ρυθμίσεις συνεδρίας πραγματικού χρόνου κλειδώνουν μετά το πρώτο κομμάτι ήχου και οι είσοδοι context_bias είναι ελεύθερης μορφής (φράσεις με κενά). Πηγές: Migrate from Voxtral 2 · Speech to Text.

Τι μάθατε

Ολοκληρώσατε την πορεία σας μέσω και των δύο λειτουργιών μεταγραφής του Voxtral. Στη λειτουργία offline, μεταγράφετε αρχεία ήχου με διάκριση ομιλητών, χρονοσημάνσεις και προκατάληψη συμφραζομένων (context biasing) χρησιμοποιώντας το Voxtral Mini Transcribe 3. Στη λειτουργία πραγματικού χρόνου, μεταγράφετε συνεχείς ροές με ρυθμιζόμενη καθυστέρηση μέσω του Voxtral Realtime, καταγράφετε είσοδο μικροφώνου και αξιοποιείτε το μοτίβο διπλής καθυστέρησης (dual delay pattern). Για κάθε δυνατότητα, διαθέτετε πλέον πλήρη κώδικα Python και τη διαίσθηση που χρειάζεστε για να προχωρήσετε στην παραγωγή.

Ωστόσο, η μεταγραφή αποτελεί μόνο τη μισή ιστορία. Το οικοσύστημα ήχου της Mistral AI διαχειρίζεται επίσης την αντίστροφη διαδρομή, και ο συνδυασμός και των δύο κατευθύνσεων είναι αυτός που καθιστά δυνατές τις πραγματικά συνομιλητικές εφαρμογές.

Voxtral TTS: Δίνοντας φωνή στο κείμενο

Το Voxtral TTS είναι το ακριβές αντίστοιχο της μεταγραφής: μετατρέπει το κείμενο σε φυσική ομιλία. Υποστηρίζει κλωνοποίηση φωνής μηδενικού shot (zero-shot), που σημαίνει ότι μπορεί να αναπαράγει μια φωνή με βάση μόλις δύο έως τρία δευτερόλεπτα ήχου, χωρίς προηγούμενη εκπαίδευση. Βασίζεται επίσης στην αρχή της «φωνής ως οδηγίας»: το μοντέλο ακολουθεί τον τονισμό, τον ρυθμό και το συναίσθημα της ηχητικής προτροπής που παρέχετε, οπότε δεν χρειάζεται να εισάγετε ετικέτες προσωδίας στο κείμενο—δείχνετε τον επιθυμητό τόνο αντί να τον περιγράφετε. Η γλωσσική κάλυψη περιλαμβάνει Αγγλικά, Γαλλικά, Ισπανικά, Πορτογαλικά, Ιταλικά, Ολλανδικά, Γερμανικά, Χίντι και Αραβικά. Λειτουργεί επίσης σε λειτουργία ροής (streaming), με καθυστέρηση μοντέλου περίπου 90 χιλιοστών του δευτερολέπτου και χρόνο έως τον πρώτο ήχο (time-to-first-audio) περίπου 0,8 δευτερόλεπτα σε PCM, καθιστώντας το κατάλληλο για ζωντανή συνομιλία.

Πρακτικά, το Voxtral TTS δίνει φωνή στις εφαρμογές σας: εικονικοί βοηθοί, αυτοματοποιημένη αφήγηση, εργαλεία προσβασιμότητας και μεταγλώττιση.

Ο πλήρης σωλήνας επεξεργασίας: STT, LLM, TTS

Συνδυάζοντας αυτά τα τρία στοιχεία, διαμορφώνεται ένας πλήρης βρόχος. Ο ήχος του χρήστη γίνεται κείμενο, το κείμενο γίνεται αντιληπτό και επεξεργάζεται από ένα γλωσσικό μοντέλο, και η απάντηση μετατρέπεται ξανά σε ήχο.

User Audio → Voxtral STT → Text
                             ↓
                      Mistral LLM (reasoning)
                             ↓
                   Text Response → Voxtral TTS → Audio Response

Ο παρακάτω κώδικας υλοποιεί αυτόν τον σωλήνα επεξεργασίας. Τα δύο πρώτα βήματα είναι οικεία: μεταγραφή ροής στα 300 χιλιοστά του δευτερολέπτου για τη σύλληψη της ερώτησης και στη συνέχεια κλήση του LLM με μια προτροπή συστήματος που επιβάλλει έναν προφορικό χαρακτήρα. Το τρίτο βήμα παραμένει σχολιασμένο, καθώς το API σύνθεσης καλύπτεται σε ένα αφιερωμένο μάθημα· το μοτίβο κλήσης περιλαμβάνεται εδώ για να δείξει πού εντάσσεται.

import asyncio
import os
from mistralai.client import Mistral
from mistralai.client.models import (
    AudioFormat,
    TranscriptionStreamTextDelta,
    TranscriptionStreamDone
)

async def pipeline_vocal_complet(source_audio_utilisateur):
    """Complete pipeline: listen, understand, respond."""
    client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

    # Step 1: Transcribe user speech (STT)
    audio_format = AudioFormat(encoding="pcm_s16le", sample_rate=16000)
    question_parts = []

    print("Listening...", flush=True)

    async for event in client.audio.realtime.transcribe_stream(
        audio_stream=source_audio_utilisateur,
        model="voxtral-mini-transcribe-realtime-3",
        audio_format=audio_format,
        target_streaming_delay_ms=300,
    ):
        if isinstance(event, TranscriptionStreamTextDelta):
            question_parts.append(event.text)
        elif isinstance(event, TranscriptionStreamDone):
            break

    question = "".join(question_parts).strip()
    print(f"Question: {question}")

    # Step 2: Generate an intelligent response (LLM)
    reponse_llm = client.chat.complete(
        model="mistral-large-latest",
        messages=[
            {
                "role": "system",
                "content": "You are a voice assistant. "
                           "Respond concisely and naturally, "
                           "as in a spoken conversation."
            },
            {"role": "user", "content": question}
        ]
    )

    reponse_texte = reponse_llm.choices[0].message.content
    print(f"Response: {reponse_texte}")

    # Step 3: Synthesize the response into audio (TTS)
    # Note: The TTS API will be covered in a dedicated course
    # Here is the call pattern:
    #
    # audio_response = client.audio.speech.complete(
    #     model="voxtral-mini-tts-3-0",
    #     input=reponse_texte,
    #     voice_id="gb_jane_neutral",
    #     response_format="wav",
    # )
    # Audio arrives base64-encoded in audio_response.audio_data
    #
    # Play audio via a player (PyAudio, sounddevice, etc.)

    return {
        "question": question,
        "reponse": reponse_texte
    }

Τι καθιστά δυνατό αυτός ο σωλήνας επεξεργασίας

Ο εταιρικός φωνητικός βοηθός είναι η πιο άμεση εφαρμογή: κατανοεί τις ερωτήσεις των εργαζομένων και απαντά χρησιμοποιώντας την εσωτερική βάση γνώσεων. Η μεταγραφή σε πραγματικό χρόνο καταγράφει την ερώτηση, το LLM αναζητά σε μια διανυσματική βάση δεδομένων μέσω RAG και το TTS εκφωνεί την απάντηση.

Ο πράκτορας κέντρου κλήσεων προχωρά τη λογική ακόμη περισσότερο, χρησιμοποιώντας και τις δύο λειτουργίες μεταγραφής ταυτόχρονα. Κατά τη διάρκεια της κλήσης, το Voxtral Realtime μεταγράφει τη συνομιλία ζωντανά· το Mistral LLM αναλύει την πρόθεση του πελάτη· το Voxtral TTS διαμορφώνει την ηχητική απάντηση. Μόλις ολοκληρωθεί η κλήση, μια offline διέλευση με διάκριση ομιλητών παράγει μια δομημένη σύνοψη που υποδεικνύει ποιος είπε τι—ακριβώς αυτό που ο πραγματικός χρόνος δεν μπορεί να παρέχει.

Το εργαλείο φωνητικής μετάφρασης αλυσοδένει τρία μοντέλα σε μια ενιαία ροή: το Voxtral STT μεταγράφει την πηγαία ομιλία μεταξύ των 50 γλωσσών του, το Mistral LLM μεταφράζει και το Voxtral TTS αποδίδει το αποτέλεσμα σε μία από τις 9 γλώσσες προορισμού του. Τέλος, η αυτοματοποιημένη αφήγηση μετατρέπει άρθρα, εκθέσεις ή emails σε ήχο για ακρόαση σε κινητά, με το LLM να προσαρμόζει το κείμενο για προφορική απόδοση πριν από τη σύνθεση.

Ένας πλήρως κυρίαρχος φωνητικός σωλήνας επεξεργασίας

Το καθοριστικό πλεονέκτημα αυτού του οικοσυστήματος είναι η δυνατότητα φιλοξενίας των πάντων στις δικές σας υποδομές. Το Voxtral Realtime κυκλοφορεί ως ανοιχτά βάρη (open weights) υπό την άδεια Apache 2.0 και αναπτύσσεται στους δικούς σας διακομιστές. Το Mistral Large 3 είναι προσβάσιμο μέσω Ευρωπαίων παρόχων cloud ή on-premise. Το Voxtral TTS υποστηρίζει επίσης ιδιωτική ανάπτυξη. Με άλλα λόγια, ολόκληρη η αλυσίδα—άκουσμα, κατανόηση, απάντηση—μπορεί να λειτουργήσει χωρίς κανένα δεδομένο να εξέρχεται από την υποδομή σας. Για τον τομέα της υγείας, την άμυνα, τα χρηματοοικονομικά ή τη δημόσια διοίκηση, αυτό δεν είναι απλώς μια ευκολία· καθορίζει εάν το έργο είναι εφικτό καθόλου.

Πού να προχωρήσετε στη συνέχεια

Η επίσημη τεκμηρίωση της Mistral αφιερώνει σελίδες στον ήχο και παραμένει η αναφορά για την παρακολούθηση ενημερώσεων μοντέλων και API. Το Hugging Face Hub φιλοξενεί τα μοντέλα Voxtral ως ανοιχτά βάρη, μαζί με τεκμηρίωση και παραδείγματα. Το φόρουμ της Mistral συγκεντρώνει αναφορές από το πεδίο που συχνά είναι πιο κοντά στους πραγματικούς σας περιορισμούς από τις επίσημες επιδείξεις, ενώ άλλα μαθήματα της Corsen Academy καλύπτουν το υπόλοιπο οικοσύστημα της Mistral AI.

Ανακεφαλαίωση μαθήματος

Γνωρίζετε πλέον τα μοντέλα Voxtral και τους αντίστοιχους ρόλους τους: Mini Transcribe V2 για offline, Realtime για ροή και Small για ηχητική συνομιλία. Έχετε κατακτήσει τη μεταγραφή offline σε όλες τις διαστάσεις της—κλήσεις API, χρονοσημάνσεις, διάκριση ομιλητών, προκατάληψη συμφραζομένων—καθώς και τη μεταγραφή σε πραγματικό χρόνο με τη ροή της, την καταγραφή μικροφώνου μέσω PyAudio, τον έλεγχο καθυστέρησης και το μοτίβο διπλής καθυστέρησης. Έχετε δημιουργήσει πλήρεις περιπτώσεις χρήσης, από υπότιτλους και πρακτικά συνεδριάσεων έως υπαγόρευση, φωνητικούς βοηθούς και συνέδρια, και γνωρίζετε πώς να τρέξετε όλα αυτά σε παραγωγή. Το μόνο που λείπει είναι η επιστροφή της φωνής για να κλείσει ο βρόχος της συνομιλίας.

Βασικά σημεία

  • Το Voxtral TTS κλείνει τον βρόχο: STT (μεταγραφή) έπειτα LLM (συλλογισμός) και τέλος TTS (σύνθεση)
  • Ο πλήρης φωνητικός σωλήνας επεξεργασίας καθιστά δυνατούς τους φωνητικούς βοηθούς, τους πράκτορες κέντρου κλήσεων και τους μεταφραστές
  • Η κυρίαρχη ανάπτυξη είναι εφικτή χάρη στα μοντέλα ανοιχτών βαρών (Apache 2.0)
  • Η μεταγραφή είναι το θεμελιώδες δομικό στοιχείο για τις φωνητικές εφαρμογές
  • Συνεχίστε τη μάθησή σας με μαθήματα αφιερωμένα στο TTS και σε προηγμένους φωνητικούς σωλήνες επεξεργασίας

Δοκιμάστε τις γνώσεις σας

Offline, πραγματικός χρόνος, παραγωγή: μεταγραφή από κάθε οπτική γωνία.

1. Offline ή πραγματικός χρόνος: πώς να επιλέξετε;

Απάντηση: Offline για υπάρχοντα αρχεία (καταγεγραμμένες συναντήσεις, αρχεία) όπου η μέγιστη ακρίβεια έχει σημασία· πραγματικός χρόνος για ζωντανά σενάρια (υπότιτλοι, φωνητικοί βοηθοί) όπου η καθυστέρηση είναι κρίσιμη.

2. Τι προσφέρουν οι χρονοσημάνσεις και η διάκριση ομιλητών;

Απάντηση: Οι χρονοσημάνσεις εντοπίζουν κάθε τμήμα στον χρόνο (υπότιτλοι, πλοήγηση)· η διάκριση ομιλητών αναγνωρίζει ποιος μιλά—μαζί, μετατρέπουν τον ήχο σε μια actionable σύνοψη.

3. Σε τι χρησιμεύει η προκατάληψη συμφραζομένων (context biasing);

Απάντηση: Για να υποδείξετε στο μοντέλο το αναμενόμενο λεξιλόγιο (κύρια ονόματα, κλαδικοί όροι) ώστε να βελτιωθεί η ακρίβεια εκεί που αποτυγχάνει η γενική μεταγραφή.

4. Ποια είναι τα συστατικά για τον πραγματικό χρόνο στην Python;

Απάντηση: Καταγραφή μικροφώνου (PyAudio), ροή προς το API και διαχείριση της ισορροπίας καθυστέρησης/ακρίβειας—οι παράμετροι καθυστέρησης ρυθμίζονται με βάση την περίπτωση χρήσης.

5. Τι παρακολουθείτε για την παραγωγή;

Απάντηση: Ποιότητα ήχου εισόδου, κόστος ανά ώρα μεταγραφής, καθυστέρηση από άκρο σε άκρο και σφάλματα σε κρίσιμο λεξιλόγιο—με την προκατάληψη και τις δοκιμές ως μοχλούς.

Η επιλογή offline/πραγματικού χρόνου δομεί τα πάντα· ο οδηγός του μαθήματος σας δίνει το πλαίσιο, οι περιπτώσεις χρήσης σας καθοδηγούν την απόφαση.