Пълна гласова верига
На тази страница
Курсът е актуализиран на 3 ноември 2026 г. за Voxtral TTS 3, въз основа на ръководството Migrate from Voxtral 2 и страниците на Mistral за Text to Speech:
voxtral-mini-tts-2603, обявен за остарял на 31 октомври 2026 г. и премахнат на 30 април 2027 г., е заменен в примерите сvoxtral-mini-tts-3-0. Предварително дефинираните гласове на Voxtral 2 (gb_jane_neutral…) остават поддържани; Voxtral 3 добавя тагове[emotion=…]и[pace=…]в текста, настройкатаexpressiveness, персонализирано произношение (phoneme_hints) и 35 езика. Mistral препоръчва повторно измерване на латентността след миграцията. Източници: Migrate from Voxtral 2 · Speech generation.
Урокът е коригиран на 2 ноември 2026 г. въз основа на аудио документацията на Mistral: методът за транскрипция е
client.audio.transcriptions.complete(неcreate), като файлът се предава като{"file_name": ..., "content": ...}, а текущият модел еvoxtral-mini-transcribe-3. Източник: Transcribe a file.
От глас към глас: Веригата STT → LLM → TTS
Вече знаете как да създавате гласове, да генерирате реч и да управлявате латентността. Този финален урок сглобява тези градивни елементи в цялостна система: потребителят говори, машината слуша, разбира, разсъждава и отговаря с естествен глас.
Архитектурата се състои от три звена. Първо, разпознаването на реч преобразува говора в текст; Mistral предлага собствен модел, но Whisper на OpenAI или друго решение работят също толкова добре. След това този текст постъпва в голям езиков модел (LLM), който интерпретира заявката и изготвя отговор – Mistral Large 3, Claude, GPT-5.6 или Llama; веригата не прави предположения относно доставчика. Накрая, отговорът се връща към Voxtral TTS, който го превръща в реч, изпращана чрез стрийминг.
Функционална верига
Кодът по-долу свързва трите стъпки една след друга. Всяка е изолирана в собствена функция, което Ви позволява да сменяте модела STT или LLM, без да засягате останалата част. Обърнете внимание, че историята на разговора се предава и обогатява от generer_reponse(): това е, което осигурява последователност на последователните размени.
import base64
from pathlib import Path
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
# Configuration
VOICE_ID = "your-voice-id"
LLM_MODEL = "mistral-large-latest"
TTS_MODEL = "voxtral-mini-tts-3-0"
def transcribe_audio(audio_path: str) -> str:
"""Step 1: Convert audio to text (STT)."""
path = Path(audio_path)
with path.open("rb") as audio:
response = client.audio.transcriptions.complete(
model="voxtral-mini-transcribe-3",
file={"file_name": path.name, "content": audio},
)
return response.text
def generate_response(question: str, history: list) -> str:
"""Step 2: Generate a response with the LLM."""
history.append({"role": "user", "content": question})
response = client.chat.complete(
model=LLM_MODEL,
messages=history,
)
answer = response.choices[0].message.content
history.append({"role": "assistant", "content": answer})
return answer
def synthesize_speech(output_file: str, fichier_sortie: str):
"""Step 3: Convert text to speech (TTS)."""
audio_chunks = []
with client.audio.speech.complete(
model=TTS_MODEL,
input=output_file,
voice_id=VOICE_ID,
response_format="pcm",
stream=True,
) as stream:
for event in stream:
if event.event == "speech.audio.delta":
audio_chunks.append(
base64.b64decode(event.data.audio_data)
)
Path(fichier_sortie).write_bytes(b"".join(audio_chunks))
def pipeline_vocal(audio_path: str):
"""Complete pipeline: STT → LLM → TTS."""
history = [
{
"role": "system",
"content": (
"You are a professional voice assistant. "
"Respond concisely and naturally, "
"as in an oral conversation."
),
}
]
# Step 1: Transcribe
print("Transcribing...")
question = transcribe_audio(audio_path)
print(f"Question: {question}")
# Step 2: Reason
print("Generating response...")
answer = generate_response(question, history)
print(f"Response: {answer}")
# Step 3: Synthesize
print("Synthesizing speech...")
synthesize_speech(answer, "answer.pcm")
print("Pipeline complete — file answer.pcm generated")
# Run the pipeline
pipeline_vocal("question_utilisateur.wav")
Системният промпт заслужава специално внимание: изричното изискване за кратки, устни отговори не е просто любезност. Един неограничен LLM охотно произвежда структурирани параграфи със заглавия, които са катастрофални, когато се четат на глас – и отнемат още повече време за синтезиране.
Спрете да чакате края на разсъжденията
Предишната верига е последователна: синтезът не започва, докато LLM не е написал напълно отговора. За отговор от тридесет думи това добавя няколко секунди тишина, които потребителят не може да обясни. Решението е да се припокрият стъпки 2 и 3: LLM генерира в стрийминг режим и веднага щом има налично изречение – тоест, щом токен завършва с точка, удивителен или въпросителен знак – то отива за синтез, докато моделът продължава да изготвя останалата част.
def streaming_pipeline(question_text: str):
"""Optimized pipeline: TTS starts as soon as the first
LLM tokens arrive."""
# LLM generates in streaming
partial_response = ""
phrases_to_synthesize = []
llm_stream = client.chat.stream(
model=LLM_MODEL,
messages=[
{"role": "system", "content": "Respond briefly."},
{"role": "user", "content": question_text},
],
)
for chunk in llm_stream:
token = chunk.data.choices[0].delta.content or ""
partial_response += token
# As soon as a complete sentence is available
if token.endswith((".", "!", "?")):
phrases_to_synthesize.append(partial_response)
partial_response = ""
# Synthesize each sentence in streaming
for phrase in phrases_to_synthesize:
with client.audio.speech.complete(
model=TTS_MODEL,
input=phrase,
voice_id=VOICE_ID,
response_format="pcm",
stream=True,
) as stream:
for event in stream:
if event.event == "speech.audio.delta":
yield base64.b64decode(event.data.audio_data)
Разговорният цикъл
Истинският асистент не обработва изолиран въпрос: той свързва реплики, запазвайки нишката на разговора. Цикълът по-долу записва, транскрибира, проверява дали потребителят иска да спре, след което отговаря – като reinjectира същата historique при всяка реплика, която нараства по време на размяната.
def voice_assistant():
"""Complete conversational loop."""
history = [
{
"role": "system",
"content": "You are a concise voice assistant.",
}
]
print("Voice assistant ready. Speak!")
while True:
# Record the question (via microphone)
audio_question = record_microphone(duration=10)
# STT → LLM → TTS pipeline
question = transcribe_audio(audio_question)
if question.lower() in ("stop", "arrête", "au revoir"):
synthesize_speech("Goodbye!", "sortie.pcm")
break
answer = generate_response(question, history)
synthesize_speech(answer, "sortie.pcm")
play_audio("sortie.pcm")
Какво разделя този прототип от производствената среда
duree=10 в записа илюстрира пътя, който предстои: фиксирано забавяне принуждава приказливия потребител да се прекъсне сам и кара някой, отговарящ с „да“, да чака десет секунди. Детектор за гласова активност (VAD) решава този проблем, като действително открива края на речта. След това трябва да обработвате прекъсванията, тъй като потребителят лесно ще прекъсне асистент, който говори твърде дълго: Вашият код трябва да може да спира синтеза в ход, което стриймингът прави възможно, но този прототип не го прави.
Три други точки обуславят внедряването. Историята на разговора, вече присъстваща тук, трябва да бъде ограничена и запазена, ако сесиите продължават дълго. Резервен механизъм е от съществено значение – ако STT или TTS се провалят, покажете текста, вместо да оставяте необяснима тишина. Накрая, инструментирайте всяка стъпка в производствена среда: това е единственият начин да разберете дали тази допълнителна секунда идва от транскрипцията, LLM или синтеза.
Следващи стъпки
Сега разполагате с всичко необходимо, за да използвате Voxtral TTS във Вашите проекти. Няколко посоки се откриват в зависимост от Вашите ограничения: хоствайте Voxtral локално, ако латентността или контролът на данните са от първостепенно значение, интегрирайте го в съществуваща рамка като LangChain, LlamaIndex или Haystack, или изградете цялостно уеб приложение с WebRTC за двупосочно аудио. Можете също да разгледате мултимодалните модели на Mistral, които комбинират текст, изображение и аудио, и да се присъедините към общността на Mistral в Discord, за да сравните Вашите разработки с тези на другите.
Ключови изводи
- Един завършен гласов асистент свързва три стъпки: STT → LLM → TTS
- Паралелизирането на стъпките (генериране на TTS, докато LLM продължава) драстично намалява латентността
- PCM форматът в стрийминг режим осигурява необходимата отзивчивост за естествен разговор
- В производствена среда обработвайте откриването на край на речта, прекъсванията и текстовия резервен вариант
- Voxtral TTS се интегрира във всяка гласова верига благодарение на Python SDK на Mistral
Проверете знанията си
Синтез, глас, латентност: финална проверка преди пълната верига.
1. Какво позволява Voices API?
Отговор: Управление на наличните гласове и създаване на персонализирани такива – гласът се превръща в конфигурируем актив, многократно използваем във всички Ваши генерации.
2. Какви етични правила регулират клонирането на глас?
Отговор: Изрично съгласие от клонираното лице и прозрачна, легитимна употреба – клонирането на глас без разрешение е изключено; техническата възможност не означава позволение.
3. Как контролирате произношението на текста?
Отговор: Чрез подготовка на текста: фонетично изписване на двусмислени термини, обработка на акроними и числа, пунктуация за ритъм – TTS чете това, което пишете.
4. Какви лостове намаляват латентността?
Отговор: Стрийминг в реално време (аудио се произвежда, докато пристига текстът), адаптирани аудио формати и сегментиран текст – гласът започва, преди генерирането да приключи.
5. Как изглежда една пълна гласова верига?
Отговор: Транскрипция на потребителя (Voxtral) → обработка от модела → синтез на отговора (TTS), стрийминг от край до край: цикълът на гласовия асистент.
Цикълът е затворен: от входящ глас към изходящ глас – финалната верига на курса сглобява всичко, което току-що валидирахте.