Следващи стъпки: Отвъд транскрипцията
На тази страница
Курсът е актуализиран на 3 ноември 2026 г. за Voxtral 3, въз основа на ръководството на Mistral Migrate from Voxtral 2: Моделите Voxtral 2 (
voxtral-mini-2602,voxtral-mini-transcribe-realtime-2602,voxtral-mini-tts-2603, деактивирани на 31 октомври 2026 г. и премахнати на 30 април 2027 г.) са заменени в примерите сvoxtral-mini-transcribe-3,voxtral-mini-transcribe-realtime-3иvoxtral-mini-tts-3-0. Основни промени: временните маркери са само на ниво сегмент (wordвръща грешка 400), поддържа се разграничаване на говорещите в реално време, настройките на сесията в реално време се заключват след първия аудио чанк, а входовете заcontext_biasса в свободен формат (фрази с интервали). Източници: Migrate from Voxtral 2 · Speech to Text.
Какво научихте
Завършихте пътя си през двата режима на транскрипция на Voxtral. В офлайн режим транскрибирате аудио файлове с разграничаване на говорещите, времеви маркери и контекстуално пристрастяване, използвайки Voxtral Mini Transcribe 3. В режим на реално време транскрибирате непрекъснати потоци с регулируема латентност чрез Voxtral Realtime, улавяте вход от микрофон и използвате модела на двойно забавяне. За всяка от тези възможности вече разполагате с пълен Python код и инстинктите, необходими за преминаване към продукционна среда.
Транскрипцията обаче е само половината от историята. Аудио екосистемата на Mistral AI обработва и обратния път, а комбинирането на двете посоки е това, което позволява създаването на наистина разговорни приложения.
Voxtral TTS: Даване на глас на текста
Voxtral TTS е точният аналог на транскрипцията: той превръща текста в естествена реч. Поддържа клониране на глас с нулеви изстрелвания (zero-shot), което означава, че може да възпроизведе глас само от две до три секунди аудио без предварително обучение. Освен това се основава на принципа „гласът като инструкция“: моделът следва интонацията, ритъма и емоцията на предоставения от Вас гласов промпт, така че не е необходимо да вмъквате тагове за просодия в текста – вместо да описвате желания тон, Вие го показвате. Езиковото покритие включва английски, френски, испански, португалски, италиански, нидерландски, немски, хинди и арабски. Работи и в стрийминг режим, с латентност на модела от около 90 милисекунди и време до първия аудио фрагмент от около 0,8 секунди във формат PCM, което го прави подходящ за разговор на живо.
На практика Voxtral TTS дава глас на Вашите приложения: виртуални асистенти, автоматизиран разказ, инструменти за достъпност и дублаж.
Пълният конвейер: STT, LLM, TTS
Сглобени заедно, тези три компонента формират пълен цикъл. Потребителското аудио става текст, текстът се разбира и обработва от езиков модел, а отговорът отново се превръща в аудио.
User Audio → Voxtral STT → Text
↓
Mistral LLM (reasoning)
↓
Text Response → Voxtral TTS → Audio Response
Кодът по-долу реализира този конвейер. Първите две стъпки са познати: стрийминг транскрипция при 300 милисекунди за улавяне на въпроса, след което се извиква LLM със системен промпт, който налага разговорен регистър. Третата стъпка остава коментирана, тъй като API за синтез е разгледан в отделен курс; моделът на извикване е включен тук, за да покаже къде се вписва.
import asyncio
import os
from mistralai.client import Mistral
from mistralai.client.models import (
AudioFormat,
TranscriptionStreamTextDelta,
TranscriptionStreamDone
)
async def pipeline_vocal_complet(source_audio_utilisateur):
"""Complete pipeline: listen, understand, respond."""
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
# Step 1: Transcribe user speech (STT)
audio_format = AudioFormat(encoding="pcm_s16le", sample_rate=16000)
question_parts = []
print("Listening...", flush=True)
async for event in client.audio.realtime.transcribe_stream(
audio_stream=source_audio_utilisateur,
model="voxtral-mini-transcribe-realtime-3",
audio_format=audio_format,
target_streaming_delay_ms=300,
):
if isinstance(event, TranscriptionStreamTextDelta):
question_parts.append(event.text)
elif isinstance(event, TranscriptionStreamDone):
break
question = "".join(question_parts).strip()
print(f"Question: {question}")
# Step 2: Generate an intelligent response (LLM)
reponse_llm = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "You are a voice assistant. "
"Respond concisely and naturally, "
"as in a spoken conversation."
},
{"role": "user", "content": question}
]
)
reponse_texte = reponse_llm.choices[0].message.content
print(f"Response: {reponse_texte}")
# Step 3: Synthesize the response into audio (TTS)
# Note: The TTS API will be covered in a dedicated course
# Here is the call pattern:
#
# audio_response = client.audio.speech.complete(
# model="voxtral-mini-tts-3-0",
# input=reponse_texte,
# voice_id="gb_jane_neutral",
# response_format="wav",
# )
# Audio arrives base64-encoded in audio_response.audio_data
#
# Play audio via a player (PyAudio, sounddevice, etc.)
return {
"question": question,
"reponse": reponse_texte
}
Какво позволява този конвейер
Корпоративният гласов асистент е най-непосредственото приложение: той разбира въпросите на служителите и отговаря, използвайки вътрешната база знания. Транскрипцията в реално време улавя въпроса, LLM заявява векторна база данни чрез RAG, а TTS произнася отговора на глас.
Агентът за кол център отвежда логиката още по-далеч, като използва двата режима на транскрипция едновременно. По време на обаждането Voxtral Realtime транскрибира разговора на живо; Mistral LLM анализира намерението на клиента; Voxtral TTS формулира гласовия отговор. След приключване на обаждането, офлайн обработка с разграничаване на говорещите произвежда структурирано обобщение, указващо кой какво е казал – точно това, което режимът в реално време не може да осигури.
Инструментът за гласов превод свързва три модела в един поток: Voxtral STT транскрибира изходната реч сред своите 50 езика, Mistral LLM превежда, а Voxtral TTS възпроизвежда резултата на един от своите 9 целеви езика. Накрая, автоматизираното четене превръща статии, доклади или имейли в аудио за слушане на мобилни устройства, като LLM адаптира текста за устно предаване преди синтеза.
Напълно суверенен гласов конвейер
Решаващото предимство на тази екосистема е възможността всичко да се хоства на Ваша собствена инфраструктура. Voxtral Realtime се издава като отворени тегла (open weights) под лиценза Apache 2.0 и се разполага на Вашите собствени сървъри. Mistral Large 3 е достъпен чрез европейски облачни партньори или локално (on-premise). Voxtral TTS също поддържа частно разполагане. С други думи, цялата верига – слушане, разбиране, отговор – може да работи, без никакви данни да напускат Вашата инфраструктура. За здравеопазването, отбраната, финансите или публичната администрация това не е просто удобство; то определя дали проектът изобщо е осъществим.
Къде да продължите
Официалната документация на Mistral отделя страници за аудио и остава референтният източник за проследяване на актуализациите на моделите и API. Hugging Face Hub хоства моделите Voxtral като отворени тегла, заедно с документация и примери. Форумът на Mistral събира доклади от практиката, които често са по-близки до Вашите реални ограничения от официалните демонстрации, а други курсове на Corsen Academy обхващат останалата част от екосистемата на Mistral AI.
Обобщение на курса
Сега познавате моделите Voxtral и техните съответни роли: Mini Transcribe V2 за офлайн, Realtime за стрийминг и Small за аудио чат. Овладяхте офлайн транскрипцията във всичките ѝ измерения – API извиквания, времеви маркери, разграничаване на говорещите, контекстуално пристрастяване – както и транскрипцията в реално време със своя стрийминг, улавяне на микрофон чрез PyAudio, контрол на латентността и модела на двойно забавяне. Изградихте пълни случаи на употреба, от субтитри и протоколи от срещи до диктовка, гласови асистенти и конференции, и знаете как да пуснете всичко това в продукционна среда. Липсва само връщащият глас, за да се затвори цикълът на разговора.
Ключови изводи
- Voxtral TTS затваря цикъла: STT (транскрипция), след това LLM (разсъждение) и накрая TTS (синтез)
- Пълният гласов конвейер позволява създаването на гласови асистенти, агенти за кол центрове и преводачи
- Суверенното разполагане е възможно благодарение на моделите с отворени тегла (Apache 2.0)
- Транскрипцията е основният градивен елемент за гласовите приложения
- Продължете обучението си с курсове, посветени на TTS и усъвършенствани гласови конвейери
Проверете знанията си
Офлайн, реално време, продукция: транскрипция от всеки ъгъл.
1. Офлайн или реално време: как да изберете?
Отговор: Офлайн за съществуващи файлове (записани срещи, архиви), където максималната точност е от значение; реално време за сценарии на живо (субтитри, гласови асистенти), където латентността е критична.
2. Какво осигуряват временните маркери и разграничаването на говорещите?
Отговор: Временните маркери локализират всеки сегмент във времето (субтитри, навигация); разграничаването идентифицира кой говори – заедно те превръщат аудиото в действащо обобщение.
3. За какво служи контекстуалното пристрастяване?
Отговор: За да насочи модела към очаквания речник (собствени имена, индустриални термини), за да подобри точността там, където общата транскрипция се проваля.
4. Какви са съставките за работа в реално време с Python?
Отговор: Улавяне на микрофон (PyAudio), стрийминг към API и управление на компромиса между латентност и точност – параметрите за латентност се настройват въз основа на случая на употреба.
5. Какво следите за продукция?
Отговор: Качество на входното аудио, разходи за транскрибиран час, латентност от край до край и грешки в критичния речник – като лостове използвате пристрастяване и тестване.
Изборът между офлайн и реално време структурира всичко останало – ръководството на курса Ви дава рамката, Вашите случаи на употреба движат решението.