Πλήρης Αγωγός Φωνής
Σε αυτήν τη σελίδα
Το μάθημα ενημερώθηκε στις 3 Νοεμβρίου 2026 για το Voxtral TTS 3, βάσει του οδηγού Migrate from Voxtral 2 και των σελίδων Text to Speech της Mistral: το
voxtral-mini-tts-2603, που αποσύρθηκε στις 31 Οκτωβρίου 2026 και θα απενεργοποιηθεί οριστικά στις 30 Απριλίου 2027, αντικαθίσταται στα παραδείγματα από τοvoxtral-mini-tts-3-0. Οι προκαθορισμένες φωνές του Voxtral 2 (gb_jane_neutral…) παραμένουν υποστηριζόμενες· το Voxtral 3 προσθέτει ετικέτες[emotion=…]και[pace=…]στο κείμενο, τη ρύθμισηexpressiveness, προσαρμοσμένη προφορά (phoneme_hints) και 35 γλώσσες. Η Mistral συνιστά επαναμέτρηση του λανθάνοντος χρόνου μετά τη μετάβαση. Πηγές: Migrate from Voxtral 2 · Speech generation.
Το μάθημα διορθώθηκε στις 2 Νοεμβρίου 2026 βάσει της τεκμηρίωσης ήχου της Mistral: η μέθοδος μεταγραφής είναι
client.audio.transcriptions.complete(όχιcreate), με το αρχείο να περνιέται ως{"file_name": ..., "content": ...}, και το τρέχον μοντέλο είναι τοvoxtral-mini-transcribe-3. Πηγή: Transcribe a file.
Από Φωνή σε Φωνή: Ο Αγωγός STT → LLM → TTS
Γνωρίζετε πώς να δημιουργείτε φωνές, να παράγετε ομιλία και να διαχειρίζεστε τον λανθάνοντα χρόνο. Αυτό το τελικό μάθημα συναρμολογεί αυτά τα δομικά στοιχεία σε ένα πλήρες σύστημα: ο χρήστης μιλά, το μηχάνημα ακούει, κατανοεί, συλλογίζεται και απαντά με φυσική φωνή.
Η αρχιτεκτονική αποτελείται από τρεις κρίκους. Πρώτον, η αναγνώριση ομιλίας μετατρέπει την ομιλία σε κείμενο· η Mistral προσφέρει το δικό της μοντέλο, αλλά το Whisper της OpenAI ή άλλη λύση λειτουργούν εξίσου καλά. Αυτό το κείμενο προωθείται στη συνέχεια σε ένα μεγάλο γλωσσικό μοντέλο, το οποίο ερμηνεύει το αίτημα και συντάσσει μια απάντηση—Mistral Large 3, Claude, GPT-5.6 ή Llama· ο αγωγός δεν κάνει υποθέσεις σχετικά με τον πάροχο. Τέλος, η απάντηση επιστρέφει στο Voxtral TTS, το οποίο την αποδίδει ως ομιλία και την αποστέλλει μέσω ροής (streaming).
Ένας Λειτουργικός Αγωγός
Ο παρακάτω κώδικας συνδέει τα τρία βήματα μεταξύ τους. Κάθε ένα είναι απομονωμένο στη δική του συνάρτηση, επιτρέποντάς σας να αλλάξετε το μοντέλο STT ή LLM χωρίς να αγγίξετε τα υπόλοιπα. Σημειώστε ότι το ιστορικό συνομιλίας περνιέται και εμπλουτίζεται από τη generer_reponse(): αυτό είναι που προσδίδει συνοχή στις διαδοχικές ανταλλαγές.
import base64
from pathlib import Path
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
# Configuration
VOICE_ID = "your-voice-id"
LLM_MODEL = "mistral-large-latest"
TTS_MODEL = "voxtral-mini-tts-3-0"
def transcribe_audio(audio_path: str) -> str:
"""Step 1: Convert audio to text (STT)."""
path = Path(audio_path)
with path.open("rb") as audio:
response = client.audio.transcriptions.complete(
model="voxtral-mini-transcribe-3",
file={"file_name": path.name, "content": audio},
)
return response.text
def generate_response(question: str, history: list) -> str:
"""Step 2: Generate a response with the LLM."""
history.append({"role": "user", "content": question})
response = client.chat.complete(
model=LLM_MODEL,
messages=history,
)
answer = response.choices[0].message.content
history.append({"role": "assistant", "content": answer})
return answer
def synthesize_speech(output_file: str, fichier_sortie: str):
"""Step 3: Convert text to speech (TTS)."""
audio_chunks = []
with client.audio.speech.complete(
model=TTS_MODEL,
input=output_file,
voice_id=VOICE_ID,
response_format="pcm",
stream=True,
) as stream:
for event in stream:
if event.event == "speech.audio.delta":
audio_chunks.append(
base64.b64decode(event.data.audio_data)
)
Path(fichier_sortie).write_bytes(b"".join(audio_chunks))
def pipeline_vocal(audio_path: str):
"""Complete pipeline: STT → LLM → TTS."""
history = [
{
"role": "system",
"content": (
"You are a professional voice assistant. "
"Respond concisely and naturally, "
"as in an oral conversation."
),
}
]
# Step 1: Transcribe
print("Transcribing...")
question = transcribe_audio(audio_path)
print(f"Question: {question}")
# Step 2: Reason
print("Generating response...")
answer = generate_response(question, history)
print(f"Response: {answer}")
# Step 3: Synthesize
print("Synthesizing speech...")
synthesize_speech(answer, "answer.pcm")
print("Pipeline complete — file answer.pcm generated")
# Run the pipeline
pipeline_vocal("question_utilisateur.wav")
Η προτροπή συστήματος (system prompt) αξίζει μια αναφορά: η ρητή αίτηση για συνοπτικές, προφορικές απαντήσεις δεν είναι απλώς ευγένεια. Ένα LLM χωρίς περιορισμούς παράγει εύκολα δομημένες παραγράφους με επικεφαλίδες, οι οποίες είναι καταστροφικές όταν διαβάζονται φωναχτά—και χρειάζονται ακόμη περισσότερο χρόνο για να συντεθούν.
Σταματήστε να Περιμένετε την Ολοκλήρωση του Συλλογισμού
Ο προηγούμενος αγωγός είναι σειριακός: η σύνθεση δεν ξεκινά έως ότου το LLM έχει γράψει πλήρως την απάντηση. Για μια απάντηση τριάντα λέξεων, αυτό προσθέτει αρκετά δευτερόλεπτα σιωπής που ο χρήστης δεν μπορεί να εξηγήσει. Η λύση είναι η επικάλυψη των βημάτων 2 και 3: το LLM παράγει σε ροή (streaming) και μόλις είναι διαθέσιμη μια ολοκληρωμένη πρόταση—δηλαδή, μόλις ένα token τελειώνει με τελεία, θαυμαστικό ή ερωτηματικό—προωθείται στη σύνθεση ενώ το μοντέλο συνεχίζει να συντάσσει τα υπόλοιπα.
def streaming_pipeline(question_text: str):
"""Optimized pipeline: TTS starts as soon as the first
LLM tokens arrive."""
# LLM generates in streaming
partial_response = ""
phrases_to_synthesize = []
llm_stream = client.chat.stream(
model=LLM_MODEL,
messages=[
{"role": "system", "content": "Respond briefly."},
{"role": "user", "content": question_text},
],
)
for chunk in llm_stream:
token = chunk.data.choices[0].delta.content or ""
partial_response += token
# As soon as a complete sentence is available
if token.endswith((".", "!", "?")):
phrases_to_synthesize.append(partial_response)
partial_response = ""
# Synthesize each sentence in streaming
for phrase in phrases_to_synthesize:
with client.audio.speech.complete(
model=TTS_MODEL,
input=phrase,
voice_id=VOICE_ID,
response_format="pcm",
stream=True,
) as stream:
for event in stream:
if event.event == "speech.audio.delta":
yield base64.b64decode(event.data.audio_data)
Ο Συνομιλιακός Βρόχος
Ένας πραγματικός βοηθός δεν διαχειρίζεται μια μεμονωμένη ερώτηση: αλυσιδώνει τους γύρους ομιλίας διατηρώντας παράλληλα το νήμα. Ο παρακάτω βρόχος καταγράφει, μεταγράφει, ελέγχει αν ο χρήστης θέλει να σταματήσει και στη συνέχεια απαντά—επανεισάγοντας το ίδιο historique σε κάθε γύρο, το οποίο μεγαλώνει καθ’ όλη τη διάρκεια της ανταλλαγής.
def voice_assistant():
"""Complete conversational loop."""
history = [
{
"role": "system",
"content": "You are a concise voice assistant.",
}
]
print("Voice assistant ready. Speak!")
while True:
# Record the question (via microphone)
audio_question = record_microphone(duration=10)
# STT → LLM → TTS pipeline
question = transcribe_audio(audio_question)
if question.lower() in ("stop", "arrête", "au revoir"):
synthesize_speech("Goodbye!", "sortie.pcm")
break
answer = generate_response(question, history)
synthesize_speech(answer, "sortie.pcm")
play_audio("sortie.pcm")
Τι Χωρίζει Αυτό το Πρωτότυπο από την Παραγωγή
Το duree=10 στην εγγραφή απεικονίζει τον δρόμο που απομένει: μια σταθερή καθυστέρηση αναγκάζει έναν ομιλητικό χρήστη να διακόψει τον εαυτό του και κάνει κάποιον που απαντά «ναι» να περιμένει δέκα δευτερόλεπτα. Ένας ανιχνευτής φωνητικής δραστηριότητας (VAD) λύνει αυτό το πρόβλημα εντοπίζοντας πραγματικά το τέλος της ομιλίας. Στη συνέχεια, πρέπει να διαχειριστείτε τις διακοπές, καθώς ένας χρήστης θα διακόψει εύκολα έναν βοηθό που μιλάει υπερβολικά: ο κώδικάς σας πρέπει να μπορεί να σταματήσει τη σύνθεση εν εξελίξει, κάτι που καθιστά δυνατό το streaming, αλλά αυτό το πρωτότυπο δεν το κάνει.
Τρία ακόμη σημεία καθορίζουν την ανάπτυξη. Το ιστορικό συνομιλίας, ήδη παρόν εδώ, πρέπει να έχει όρια και να επιμένει (persist) εάν οι συνεδρίες διαρκούν. Ένα εφεδρικό σχέδιο (fallback) είναι απαραίτητο—εάν το STT ή το TTS αποτύχει, εμφανίστε το κείμενο αντί να αφήσετε ανεξήγητη σιωπή. Τέλος, instrumenteach βήμα στην παραγωγή: είναι ο μόνος τρόπος για να γνωρίζετε αν αυτό το επιπλέον δευτερόλεπτο προέρχεται από τη μεταγραφή, το LLM ή τη σύνθεση.
Επόμενα Βήματα
Έχετε πλέον όλα όσα χρειάζεστε για να αξιοποιήσετε το Voxtral TTS στα έργα σας. Ανοίγονται αρκετές κατευθύνσεις ανάλογα με τους περιορισμούς σας: φιλοξενήστε το Voxtral τοπικά εάν ο λανθάνων χρόνος ή ο έλεγχος δεδομένων είναι υψίστης σημασίας, ενσωματώστε το σε ένα υπάρχον πλαίσιο όπως το LangChain, το LlamaIndex ή το Haystack, ή δημιουργήστε μια πλήρη διαδικτυακή εφαρμογή με WebRTC για αμφίδρομο ήχο. Μπορείτε επίσης να εξερευνήσετε τα πολυτροπικά μοντέλα της Mistral, τα οποία συνδυάζουν κείμενο, εικόνα και ήχο, και να joins στην κοινότητα της Mistral στο Discord για να συγκρίνετε τις κατασκευές σας με άλλους.
Βασικά σημεία
- Ένας πλήρης φωνητικός βοηθός αλυσιδώνει τρία βήματα: STT → LLM → TTS
- Η παραλληλοποίηση των βημάτων (παραγωγή TTS ενώ το LLM συνεχίζει) μειώνει δραστικά τον λανθάνοντα χρόνο
- Η μορφή PCM σε ροή (streaming) παρέχει την ανταπόκριση που απαιτείται για φυσική συνομιλία
- Στην παραγωγή, διαχειριστείτε την ανίχνευση τέλους ομιλίας, τις διακοπές και την εφεδρική λύση κειμένου
- Το Voxtral TTS ενσωματώνεται σε οποιονδήποτε φωνητικό αγωγό χάρη στο Mistral Python SDK
Δοκιμάστε τις Γνώσεις Σας
Σύνθεση, φωνή, λανθάνων χρόνος: τελικός έλεγχος πριν τον πλήρη αγωγό.
1. Τι επιτρέπει το Voices API;
Απάντηση: Διαχείριση διαθέσιμων φωνών και δημιουργία προσαρμοσμένων—η φωνή γίνεται ένα διαμορφωμένο περιουσιακό στοιχείο, επαναχρησιμοποιήσιμο σε όλες τις παραγωγές σας.
2. Ποιοι ηθικοί κανόνες διέπουν την κλωνοποίηση φωνής;
Απάντηση: Ρητή συγκατάθεση από το άτομο του οποίου κλωνοποιείται η φωνή και διαφανής, νόμιμη χρήση—η κλωνοποίηση φωνής χωρίς εξουσιοδότηση αποκλείεται· το τεχνικά εφικτό δεν σημαίνει επιτρεπτό.
3. Πώς ελέγχετε την προφορά του κειμένου;
Απάντηση: Προετοιμάζοντας το κείμενο: γράφετε φωνητικά διφορούμενους όρους, διαχειρίζεστε ακρωνύμια και αριθμούς, χρησιμοποιείτε στίξη για ρυθμό—το TTS διαβάζει αυτό που γράφετε.
4. Ποιοι μοχλοί μειώνουν τον λανθάνοντα χρόνο;
Απάντηση: Ροή σε πραγματικό χρόνο (ο ήχος παράγεται καθώς φτάνει το κείμενο), προσαρμοσμένες μορφές ήχου και τμηματοποιημένο κείμενο—η φωνή ξεκινά πριν τελειώσει η παραγωγή.
5. Πώς φαίνεται ένας πλήρης φωνητικός αγωγός;
Απάντηση: Μεταγραφή χρήστη (Voxtral) → επεξεργασία μοντέλου → σύνθεση απάντησης (TTS), ροή από άκρο σε άκρο: ο βρόχος ενός φωνητικού βοηθού.
Ο βρόχος έκλεισε: από την εισερχόμενη φωνή στην εξερχόμενη φωνή—ο τελικός αγωγός του μαθήματος συναρμολογεί όλα όσα μόλις επικυρώσατε.