Prochodní kroky: Za hranicemi přepisu
Na této stránce
Kurz aktualizován 3. listopadu 2026 pro Voxtral 3 na základě průvodce Mistral Migrate from Voxtral 2: Modely Voxtral 2 (
voxtral-mini-2602,voxtral-mini-transcribe-realtime-2602,voxtral-mini-tts-2603), které byly zastaralé k 31. říjnu 2026 a vyřazené k 30. dubnu 2027, jsou v příkladech nahrazeny modelyvoxtral-mini-transcribe-3,voxtral-mini-transcribe-realtime-3avoxtral-mini-tts-3-0. Klíčové změny: časové značky jsou pouze na úrovni segmentů (wordvrací chybu 400), je podporována diarizace v reálném čase, nastavení relace v reálném čase jsou uzamčena po prvním zvukovém úseku a vstupycontext_biasjsou volného formátu (fráze s mezerami). Zdroje: Migrate from Voxtral 2 · Speech to Text.
Co ses naučil
Prošel jsi celou cestu oběma režimy přepisu Voxtral. V offline režimu přepisuješ zvukové soubory s diarizací, časovými značkami a kontextovým zvýrazňováním pomocí Voxtral Mini Transcribe 3. V režimu reálného času přepisuješ nepřetržité streamy s nastavitelnou latencí prostřednictvím Voxtral Realtime, zachycuješ vstup z mikrofonu a využíváš vzor dvojitého zpoždění. Pro každou z těchto schopností nyní disponuješ kompletním kódem v Pythonu a instinkty potřebnými k nasazení do produkce.
Přepis je však jen polovinou příběhu. Zvukový ekosystém Mistral AI zvládá i opačný směr a právě kombinace obou směrů umožňuje vytvářet skutečně konverzační aplikace.
Voxtral TTS: Dávání hlasu textu
Voxtral TTS je přesným protějškem přepisu: transformuje text na přirozenou řeč. Podporuje klonování hlasu typu zero-shot, což znamená, že dokáže reprodukovat hlas pouze na základě dvou až tří sekund zvuku bez předchozího tréninku. Spoléhá také na princip „hlas jako instrukce“: model následuje intonaci, rytmus a emocii hlasové výzvy, kterou mu poskytneš, takže nemusíš do textu vkládat značky pro prosodii – místo popisování požadovaného tónu jej přímo předvedeš. Jazyková podpora zahrnuje angličtinu, francouzštinu, španělštinu, portugalštinu, italštinu, nizozemštinu, němčinu, hindštinu a arabštinu. Funguje také ve streamovacím režimu s latencí modelu kolem 90 milisekund a dobou do prvního zvuku přibližně 0,8 sekundy ve formátu PCM, což jej činí vhodným pro živé konverzace.
V praxi Voxtral TTS dává tvým aplikacím hlas: virtuální asistenti, automatizované vyprávění, nástroje pro usnadnění přístupu a dabing.
Kompletní pipeline: STT, LLM, TTS
Tyto tři komponenty dohromady tvoří uzavřenou smyčku. Zvuk uživatele se stane textem, text je pochopen a zpracován jazykovým modelem a odpověď se opět změní na zvuk.
User Audio → Voxtral STT → Text
↓
Mistral LLM (reasoning)
↓
Text Response → Voxtral TTS → Audio Response
Níže uvedený kód implementuje tuto pipeline. První dva kroky ti jsou známé: streamovací přepis s latencí 300 milisekund pro zachycení otázky, následovaný voláním LLM se systémovou promptem, který vynucuje mluvený registr. Třetí krok zůstává zakomentován, protože API pro syntézu je pokryto v samostatném kurzu; vzor volání je zde uveden pouze pro ukázku, kam zapadá.
import asyncio
import os
from mistralai.client import Mistral
from mistralai.client.models import (
AudioFormat,
TranscriptionStreamTextDelta,
TranscriptionStreamDone
)
async def pipeline_vocal_complet(source_audio_utilisateur):
"""Complete pipeline: listen, understand, respond."""
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
# Step 1: Transcribe user speech (STT)
audio_format = AudioFormat(encoding="pcm_s16le", sample_rate=16000)
question_parts = []
print("Listening...", flush=True)
async for event in client.audio.realtime.transcribe_stream(
audio_stream=source_audio_utilisateur,
model="voxtral-mini-transcribe-realtime-3",
audio_format=audio_format,
target_streaming_delay_ms=300,
):
if isinstance(event, TranscriptionStreamTextDelta):
question_parts.append(event.text)
elif isinstance(event, TranscriptionStreamDone):
break
question = "".join(question_parts).strip()
print(f"Question: {question}")
# Step 2: Generate an intelligent response (LLM)
reponse_llm = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "You are a voice assistant. "
"Respond concisely and naturally, "
"as in a spoken conversation."
},
{"role": "user", "content": question}
]
)
reponse_texte = reponse_llm.choices[0].message.content
print(f"Response: {reponse_texte}")
# Step 3: Synthesize the response into audio (TTS)
# Note: The TTS API will be covered in a dedicated course
# Here is the call pattern:
#
# audio_response = client.audio.speech.complete(
# model="voxtral-mini-tts-3-0",
# input=reponse_texte,
# voice_id="gb_jane_neutral",
# response_format="wav",
# )
# Audio arrives base64-encoded in audio_response.audio_data
#
# Play audio via a player (PyAudio, sounddevice, etc.)
return {
"question": question,
"reponse": reponse_texte
}
Co tato pipeline umožňuje
Nejbezprostřednější aplikací je firemní hlasový asistent: rozumí otázkám zaměstnanců a odpovídá s využitím interní znalostní báze. Přepis v reálném čase zachytí otázku, LLM dotazuje vektorovou databázi prostřednictvím RAG a TTS odpověď nahlas vysloví.
Agent call centra posouvá logiku ještě dále současným využitím obou režimů přepisu. Během hovoru Voxtral Realtime přepisuje konverzaci živě; Mistral LLM analyzuje záměr zákazníka; Voxtral TTS formuluje hlasovou odpověď. Jakmile hovor skončí, offline průchod s diarizací vytvoří strukturované shrnutí uvádějící, kdo co řekl – což je přesně to, co reálný čas poskytnout nemůže.
Nástroj pro hlasový překlad řetězí tři modely na jediném streamu: Voxtral STT přepíše zdrojovou řeč v jednom z jejích 50 jazyků, Mistral LLM přeloží text a Voxtral TTS vykreslí výstup v jednom z 9 cílových jazyků. Nakonec automatizované vyprávění mění články, zprávy nebo e-maily na zvuk pro poslech na mobilních zařízeních, přičemž LLM před syntézou upraví text pro ústní podání.
Plně suverénní hlasová pipeline
Rozhodující výhodou tohoto ekosystému je možnost hostovat vše na vlastní infrastruktuře. Voxtral Realtime je vydán jako open weights pod licencí Apache 2.0 a lze jej nasadit na vlastních serverech. Mistral Large 3 je přístupný prostřednictvím evropských cloudových partnerů nebo on-premise. Voxtral TTS rovněž podporuje soukromé nasazení. Jinými slovy, celý řetězec – poslouchat, chápat, odpovídat – může fungovat bez toho, aby jakákoli data opustila tvou infrastrukturu. Pro zdravotnictví, obranu, finance nebo veřejnou správu to není jen pohodlí; rozhoduje to o tom, zda je projekt vůbec proveditelný.
Kam dál
Oficiální dokumentace Mistralu věnuje zvuku samostatné stránky a zůstává referencí pro sledování aktualizací modelů a API. Hugging Face Hub hostuje modely Voxtral jako open weights spolu s dokumentací a příklady. Fórum Mistralu shromažďuje reporty z praxe, které jsou často blíže tvým reálným omezením než oficiální dema, a další kurzy Corsen Academy pokrývají zbytek ekosystému Mistral AI.
Shrnutí kurzu
Nyní znáš modely Voxtral a jejich respective role: Mini Transcribe V2 pro offline, Realtime pro streamování a Small pro audio chat. Zvládl jsi offline přepis ve všech jeho rozměrech – volání API, časové značky, diarizace, kontextové zvýrazňování – stejně jako přepis v reálném čase s jeho streamováním, zachytáváním mikrofonu přes PyAudio, řízením latence a vzorem dvojitého zpoždění. Vytvořil jsi kompletní případy použití, od titulkování a zápisů ze schůzek až po diktování, hlasové asistenty a konference, a víš, jak to vše provozovat v produkci. Chybí už jen návrat hlasu, aby se konverzační smyčka uzavřela.
Klíčové poznatky
- Voxtral TTS uzavírá smyčku: STT (přepis), poté LLM (usuzování) a nakonec TTS (syntéza)
- Kompletní hlasová pipeline umožňuje hlasové asistenty, agenty call center a překladatele
- Suverénní nasazení je možné díky modelům s otevřenými váhami (Apache 2.0)
- Přepis je základním stavebním kamenem pro hlasové aplikace
- Pokračuj ve vzdělávání kurzy věnovanými TTS a pokročilým hlasovým pipeline
Ověř si své znalosti
Offline, reálný čas, produkce: přepis ze všech úhlů.
1. Offline nebo reálný čas: jak si vybrat?
Odpověď: Offline pro existující soubory (nahrané schůzky, archivy), kde záleží na maximální přesnosti; reálný čas pro živé scénáře (titulky, hlasoví asistenti), kde je kritická latence.
2. Co poskytují časové značky a diarizace?
Odpověď: Časové značky lokalizují každý segment v čase (titulky, navigace); diarizace identifikuje, kdo mluví – společně mění zvuk na akční shrnutí.
3. K čemu slouží kontextové zvýrazňování?
Odpověď: K navedení modelu na očekávanou slovní zásobu (vlastní jména, oborové termíny) pro zlepšení přesnosti tam, kde obecný přepis selhává.
4. Jaké jsou ingredience pro reálný čas v Pythonu?
Odpověď: Zachytávání mikrofonu (PyAudio), streamování do API a řízení kompromisu mezi latencí a přesností – parametry latence se ladí podle případu použití.
5. Co monitoruješ pro produkci?
Odpověď: Kvalitu vstupního zvuku, náklady na přepsanou hodinu, end-to-end latenci a chyby u kritické slovní zásoby – s využitím zvýrazňování a testování jako pák.
Volba mezi offline a reálným časem strukturuje vše ostatní – průvodce kurzem ti dává rámec, tvé případy použití řídí rozhodnutí.