Bevezetés a valós idejű átírásba
Ezen az oldalon
A tanfolyam frissítve: 2026. november 3., Voxtral 3 verzió, a Mistral Migrate from Voxtral 2 útmutatója alapján: a 2026. október 31-én elavult és 2027. április 30-án kivont Voxtral 2 modelleket (
voxtral-mini-2602,voxtral-mini-transcribe-realtime-2602,voxtral-mini-tts-2603) a példákban avoxtral-mini-transcribe-3,voxtral-mini-transcribe-realtime-3ésvoxtral-mini-tts-3-0modellek váltják fel. Főbb változások: az időbélyegek csak szegmensszinten érhetők el (awordparaméter 400-as hibát eredményez), a beszélőazonosítás (diarization) valós időben is elérhető, a valós idejű munkamenet beállításai az első hangcsomag után rögzülnek, acontext_biasbemenetek pedig szabad formátumúak (szóközöket tartalmazó kifejezések). Források: Migrate from Voxtral 2 · Speech to Text.
Új paradigma: Hangstreamelés
Eddig offline módban dolgoztál: elküldtél egy teljes hangfájlt, megvártad, míg a modell feldolgozza, majd felhasználtad az eredményt. Ez a munkafolyamat megfelel a meglévő felvételeknek, például archivált megbeszéléseknek, podcastoknak vagy interjúknak. Akkor viszont csődöt mond, ha a hang folyamatosan érkezik: senki sem várja meg egy kétórás konferencia végét az első feliratok megjelenéséig, és egy hangalapú asszisztens, amely csak hosszú csend után érti meg a kérdést, hibásnak tűnik.
A Voxtral Realtime erre a szükségletre válaszol egy streaming architektúrával. A hangot menet közben írja át, szóról szóra, és a hang és a szöveg közötti késleltetés egy általad szabályozható beállássá válik, amely akár 200 milliszekundumra is csökkenthető. A váltás ugyanolyan mentális, mint technikai: már nem izolált kérésekben, hanem adatfolyamokban gondolkodsz, és a programodnak készen kell állnia arra, hogy bármelyik pillanatban szöveget fogadjon.
Amit a valós idejű modell kínál
A modellt a voxtral-mini-transcribe-realtime-3 azonosító alatt hívod meg, és alapvetően különbözik offline megfelelőjétől. Hangcsomagokat fogad, és folyamatosan bocsát ki szövegrészleteket, sosem várva meg a felvétel végét. A késleltetését a target_streaming_delay_ms paraméter szabályozza, amelyet e tanfolyam későbbi részében részletesen is megvizsgálsz. 45 nyelvet és nyelvjárást támogat; a nyelv rögzíthető vagy automatikusan észlelhető is lehet. Elődje, a 2. generációs voxtral-mini-transcribe-realtime-2602 (4 milliárd paraméter) nyílt súlyokkal (open weights), Apache 2.0 licenc alatt érhető el a Hugging Face Hubon, így teljesen szuverén módon telepítheted saját szervereidre.
A Voxtral 3-mal a valós idejű teljesítmény nagy mértékben felzárkózott az offline módhoz. A beszélőazonosítás (diarization) elérhető – bár nem ugyanabban a munkamenetben, mint a beszélőváltás-észlelés –, akárcsak a kontextus-biaszolás és a beszélőváltás-észlelés. Két különbség marad: a szegmensek tartalmazzák a beszélő címkéjét, de nincs kezdési vagy befejezési időpontjuk, és minden munkamenet-beállítást (nyelv, szókincs, beszélőazonosítás, késleltetés) az első hangcsomag előtt el kell küldeni, ezt követően ugyanis rögzülnek. Ha a használati eseted pontos időbélyegeket igényel, offline módra van szükséged, esetleg a valós idejű megoldás kiegészítéseként.
Telepítés
A Mistral SDK alapértelmezés szerint nem tölti be a streaming függőségeket. Expliciten kérned kell a realtime kiegészítőt (extra), amely hozzáadja a WebSocket-kapcsolatok és az aszinkron hangfeldolgozás támogatását:
pip install "mistralai[realtime]"
A szükséges hangformátum
Az offline móddal ellentétben, amely számos tárolóformátumot elfogad, a Voxtral Realtime nyers adatfolyamot vár egyetlen, megalkuvást nem tűrő formátumban:
- Kódolás: 16 bites előjeles little-endian PCM (
pcm_s16le) - Mintavételezési frekvencia: 16 000 Hz (16 kHz)
- Csatornák: Mono (1 csatorna)
Ez a megkötés nem akadály: ez a formátum a legstandardabb, és minden rögzítőeszköz natívan előállítja, legyen szó PyAudióról, FFmpegről vagy PulseAudióról. Egyszer deklarálod az ügyfélprogramnak (client), amely ennek alapján értelmezi az általad továbbított bájtokat.
from mistralai.client.models import AudioFormat
# Hangformátum definiálása
audio_format = AudioFormat(
encoding="pcm_s16le",
sample_rate=16000
)
A két stream esemény
Amikor iterálsz az átíráson, az SDK kétféle objektumot ad vissza. A TranscriptionStreamTextDelta minden új, átírt töredék esetén keletkezik, és tartalmazza azt a részleges szöveget, amelyet azonnal megjeleníthetsz; ez hajtja meg a felhasználó képernyőjét. A TranscriptionStreamDone pontosan egyszer érkezik meg, amikor a hangfolyam véget ér – legyen szó egy fájl végéről vagy a mikrofon kikapcsolásáról; ez jelzi, hogy nem jön több adat, és konszolidálhatod az eredményt. Teljes logikád tehát egy aszinkron ciklusba illeszthető, amely megkülönbözteti ezt a két esetet:
from mistralai.client.models import (
TranscriptionStreamTextDelta,
TranscriptionStreamDone
)
async for event in flux_transcription:
if isinstance(event, TranscriptionStreamTextDelta):
# Új szöveg elérhető
print(event.text, end="", flush=True)
elif isinstance(event, TranscriptionStreamDone):
# Az átírás befejeződött
print("\n[Finished]")
Első teljes példa
Ahhoz, hogy a mikrofonra való támaszkodás nélkül megismerkedj a mechanizmussal, a legegyszerűbb megoldás, ha egy már PCM formátumra konvertált fájlból szimulálsz egy adatfolyamot. A lire_fichier_pcm függvény egy aszinkron generátor: blokkokban olvassa a fájlt, és egyesével szolgáltatja azokat, pontosan úgy, ahogy egy hangkártya tenné. A program többi része az, amit később módosítás nélkül újra felhasználsz.
import asyncio
import os
from mistralai.client import Mistral
from mistralai.client.models import (
AudioFormat,
TranscriptionStreamTextDelta,
TranscriptionStreamDone
)
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
audio_format = AudioFormat(encoding="pcm_s16le", sample_rate=16000)
async def lire_fichier_pcm(chemin: str, taille_chunk: int = 32000):
"""PCM fájl olvasása csomagokban, stream szimulálásához."""
with open(chemin, "rb") as f:
while True:
chunk = f.read(taille_chunk)
if not chunk:
break
yield chunk
async def main():
flux_audio = lire_fichier_pcm("audio.pcm")
async for event in client.audio.realtime.transcribe_stream(
audio_stream=flux_audio,
model="voxtral-mini-transcribe-realtime-3",
audio_format=audio_format,
):
if isinstance(event, TranscriptionStreamTextDelta):
print(event.text, end="", flush=True)
elif isinstance(event, TranscriptionStreamDone):
print("\n\nAz átírás befejeződött.")
asyncio.run(main())
Ha a forrásfájlod MP3 formátumú, nem küldheted el közvetlenül: először konvertálnod kell az FFmpeg segítségével, kikényszerítve a modell által megkövetelt három jellemzőt.
ffmpeg -i audio.mp3 -f s16le -acodec pcm_s16le -ar 16000 -ac 1 audio.pcm
Mikor válts valós idejű módra?
A kiválasztási kritérium egyszerű: a valós idejű mód akkor indokolt, ha valaki várja a szöveget, miközben a hang keletkezik. Ez vonatkozik az élő feliratozásra konferenciákon, webináriumokon vagy online kurzusokon, ahol a közönség hallgatás közben olvas; a hangalapú asszisztensekre, amelyeknek beszéd közben kell megérteniük a felhasználót, hogy kínos szünetek nélkül válaszolhassanak; a diktálásra, ahol a beszéd a beszélő szeme láttára válik szöveggé; és végül a konferencia-átírásra, amikor a szövegnek beszéd közben kell megjelennie. Minden más esetben az offline mód gazdagabb és egyszerűbben implementálható.
A következő leckék megmutatják, hogyan rögzítsd a mikrofon hangját, hogyan hangold a késleltetést, és hogyan építsd fel ezeket a használati eseteket elejétől a végéig.
Főbb megállapítások
- A Voxtral Mini Transcribe Realtime 3 streaming módban írja át a hangot, állítható késleltetéssel (80 ms-tól 1,2 s-ig, illetve 2,4 s-ig)
- Szükséges hangformátum: 16 bites PCM, 16 kHz, mono
- Két eseménytípus:
TextDelta(részleges szöveg) ésDone(befejezés) - Telepítés:
pip install "mistralai[realtime]" - Aszinkron programozás szükséges (
async/await) - Beszélőazonosítás (a beszélőváltás-észlelés kivételével) és kontextus-biaszolás elérhető valós időben, szegmens-időbélyegek nélkül; a beállítások az első hangcsomag után rögzülnek
- A valós idejű modell 2. generációja nyílt súlyokkal (open weights), Apache 2.0 licenc alatt érhető el szuverén telepítéshez