Úvod do prepisu v reálnom čase
Na tejto strane
Kurz aktualizovaný 3. novembra 2026 pre Voxtral 3 na základe príručky Mistral Migrate from Voxtral 2: Modely Voxtral 2 (
voxtral-mini-2602,voxtral-mini-transcribe-realtime-2602,voxtral-mini-tts-2603'), ktoré boli zastarané 31. októbra 2026 a vyradené 30. apríla 2027, sú v príkladoch nahradené modelmivoxtral-mini-transcribe-3,voxtral-mini-transcribe-realtime-3avoxtral-mini-tts-3-0. Kľúčové zmeny: časové pečiatky sú dostupné len pre segmenty (wordvráti chybu 400), diarizácia je dostupná v reálnom čase, nastavenia relácie v reálnom čase sú uzamknuté po prvom zvukovom bloku a vstupycontext_bias` sú voľného formátu (frázy s medzerami). Zdroje: Migrate from Voxtral 2 · Speech to Text.
Nová paradigma: Streamovanie zvuku
Doteraz si pracoval v režime offline: odoslal si kompletný zvukový súbor, počkal, kým ho model spracuje, a až potom si využil výsledok. Tento postup vyhovuje existujúcim nahrávkam, ako sú archivované schôdze, podcasty alebo rozhovory. Zlyháva však v situáciách, keď zvuk prichádza nepretržite: nikto nebude čakať do konca dvojhodinovej konferencie, aby videl prvé titulky, a hlasový asistent, ktorý pochopí otázku až po dlhom tichu, pôsobí nefunkčne.
Voxtral Realtime rieši túto potrebu architektúrou založenou na streamovaní. Zvuk sa prepisuje za behu, slovo po slove, a oneskorenie medzi zvukom a textom sa stáva nastaviteľným parametrom, ktorý môže klesnúť až na 200 milisekúnd. Táto zmena je rovnako mentálna ako technická: už nemyslíš v izolovaných požiadavkách, ale v dátových tokoch a tvoj program musí byť pripravený prijímať text kedykoľvek.
Čo ponúka model pre reálny čas
Model sa vyvoláva pod identifikátorom voxtral-mini-transcribe-realtime-3 a zásadne sa líši od svojho offline náprotivku. Prijíma zvukové bloky a nepretržite vysiela textové fragmenty, nikdy nečaká na koniec nahrávky. Jeho latencia je riadená parametrom target_streaming_delay_ms, ktorý si podrobne preskúmaš neskôr v tomto kurze. Pokrýva 45 jazykov a dialektov, pričom jazyk môže byť pevne stanovený alebo automaticky detegovaný. Jeho predchodca z generácie 2, voxtral-mini-transcribe-realtime-2602 (4 miliardy parametrov), je publikovaný ako open weights pod licenciou Apache 2.0 na Hugging Face Hub pre plne suverénnu inštaláciu na vlastných serveroch.
S verziou Voxtral 3 sa výkon v reálnom čase výrazne priblížil offline režimu. Diarizácia je dostupná – hoci nie v tej istej relácii ako detekcia konca hovoru – rovnako ako kontextové zvýrazňovanie (context biasing) a detekcia konca hovoru. Zostávajú dva rozdiely: segmenty nesú označenie hovoriaceho, ale nemajú čas začiatku ani konca a všetky nastavenia relácie (jazyk, slovná zásoba, diarizácia, oneskorenie) musia byť odoslané pred prvým zvukovým blokom, po ktorom sú uzamknuté. Ak tvoj prípad použitia vyžaduje presné časové pečiatky, potrebuješ offline režim, prípadne ako doplnok k reálnemu času.
Inštalácia
Mistral SDK načítava závislosti pre streamovanie len na explicitnú požiadavku. Musíš si vyžiadať rozšírenie realtime, ktoré pridáva podporu pre WebSocket pripojenia a asynchrónne spracovanie zvuku:
pip install "mistralai[realtime]"
Požadovaný formát zvuku
Na rozdiel od offline režimu, ktorý akceptuje širokú škálu kontajnerov, Voxtral Realtime očakáva surový tok v jedinom, nemennom formáte:
- Kódovanie: 16-bitové signed little-endian PCM (
pcm_s16le) - Vzorkovacia frekvencia: 16 000 Hz (16 kHz)
- Kanály: Mono (1 kanál)
Toto obmedzenie nie je prekážkou: tento formát je najštandardnejší zo všetkých a všetky nástroje na zachytávanie ho produkujú natívne, či už ide o PyAudio, FFmpeg alebo PulseAudio. Formát deklaruješ klientovi raz a ten ho používa na interpretáciu bajtov, ktoré mu odosielaš.
from mistralai.client.models import AudioFormat
# Definícia formátu zvuku
audio_format = AudioFormat(
encoding="pcm_s16le",
sample_rate=16000
)
Dva typy udalostí v streamovaní
Keď iteruješ cez prepis, SDK vracia dva typy objektov. TranscriptionStreamTextDelta sa vysiela pre každý nový prepísaný fragment a nesie čiastočný text, ktorý môžeš okamžite zobraziť; toto poháňa obrazovku používateľa. TranscriptionStreamDone dorazí presne raz, keď sa zvukový tok skončí, či už na konci súboru alebo po vypnutí mikrofónu; signalizuje, že už nič nepríde a že môžeš výsledok konsolidovať. Celá tvoja logika sa teda zmestí do asynchrónnej slučky, ktorá rozlišuje tieto dva prípady:
from mistralai.client.models import (
TranscriptionStreamTextDelta,
TranscriptionStreamDone
)
async for event in flux_transcription:
if isinstance(event, TranscriptionStreamTextDelta):
# K dispozícii je nový text
print(event.text, end="", flush=True)
elif isinstance(event, TranscriptionStreamDone):
# Prepis dokončený
print("\n[Finished]")
Prvý kompletný príklad
Aby si si osvojil mechanizmus bez závislosti na mikrofóne, najjednoduchším prístupom je simulovať stream zo súboru, ktorý už bol prevedený do formátu PCM. Funkcia lire_fichier_pcm je asynchrónny generátor: číta súbor po blokoch a postupne ich vydáva, presne tak, ako by to robila zvuková karta. Zvyšok programu je kód, ktorý budeš neskôr používať bez úprav.
import asyncio
import os
from mistralai.client import Mistral
from mistralai.client.models import (
AudioFormat,
TranscriptionStreamTextDelta,
TranscriptionStreamDone
)
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
audio_format = AudioFormat(encoding="pcm_s16le", sample_rate=16000)
async def lire_fichier_pcm(chemin: str, taille_chunk: int = 32000):
"""Číta PCM súbor po chunkoch na simuláciu streamu."""
with open(chemin, "rb") as f:
while True:
chunk = f.read(taille_chunk)
if not chunk:
break
yield chunk
async def main():
flux_audio = lire_fichier_pcm("audio.pcm")
async for event in client.audio.realtime.transcribe_stream(
audio_stream=flux_audio,
model="voxtral-mini-transcribe-realtime-3",
audio_format=audio_format,
):
if isinstance(event, TranscriptionStreamTextDelta):
print(event.text, end="", flush=True)
elif isinstance(event, TranscriptionStreamDone):
print("\n\nTranscription finished.")
asyncio.run(main())
Ak je tvoj zdrojový súbor vo formáte MP3, nemôžeš ho odoslať tak, ako je: najprv ho musíš previesť pomocou FFmpeg s vynútením troch charakteristík požadovaných modelom.
ffmpeg -i audio.mp3 -f s16le -acodec pcm_s16le -ar 16000 -ac 1 audio.pcm
Kedy prejsť na reálny čas
Kritérium výberu je jednoduché: reálny čas je opodstatnený vtedy, keď niekto čaká na text zatiaľ, čo sa zvuk práve vytvára. To platí pre živé titulky na konferencii, webinári alebo online kurze, kde publikum číta súčasne s počúvaním; pre hlasového asistenta, ktorý musí pochopiť používateľa počas hovoru, aby odpovedal bez nepríjemných pauz; pre diktovanie, kde sa reč mení na text priamo pred očami hovoriaceho; a napokon pre prepis konferencií, keď sa text musí objavovať súčasne s hovoreným slovom. Všade inde zostáva offline režim bohatší a jednoduchší na implementáciu.
Nasledujúce lekcie ti ukážu, ako zachytiť zvuk z mikrofónu, vyladiť latenciu a zostaviť tieto prípady použitia od začiatku do konca.
Kľúčové poznatky
- Voxtral Mini Transcribe Realtime 3 prepisuje zvuk v režime streamovania s nastaviteľným oneskorením od 80 ms do 1,2 s (alebo 2,4 s)
- Požadovaný formát zvuku: 16-bitové PCM, 16 kHz, mono
- Dva typy udalostí:
TextDelta(čiastočný text) aDone(koniec) - Inštalácia príkazom
pip install "mistralai[realtime]" - Vyžaduje sa asynchrónne programovanie (
async/await) - Diarizácia (okrem detekcie konca hovoru) a kontextové zvýrazňovanie sú dostupné v reálnom čase, bez časových pečiatok segmentov; nastavenia sú uzamknuté po prvom zvukovom bloku
- Generácia 2 modelu pre reálny čas je open weights pod licenciou Apache 2.0, určená pre suverénne nasadenie