Ugrás a főtartalomra
Magyar— Nyelv kiválasztása
Menü

Bevezetés a valós idejű átírásba

9. lecke 16 közül Frissítve 2026. november 3. Fejlesztő
Ezen az oldalon
  1. Új paradigma: Hangstreamelés
  2. Amit a valós idejű modell kínál
  3. Telepítés
  4. A szükséges hangformátum
  5. A két stream esemény
  6. Első teljes példa
  7. Mikor válts valós idejű módra?
  8. Főbb megállapítások

A tanfolyam frissítve: 2026. november 3., Voxtral 3 verzió, a Mistral Migrate from Voxtral 2 útmutatója alapján: a 2026. október 31-én elavult és 2027. április 30-án kivont Voxtral 2 modelleket (voxtral-mini-2602, voxtral-mini-transcribe-realtime-2602, voxtral-mini-tts-2603) a példákban a voxtral-mini-transcribe-3, voxtral-mini-transcribe-realtime-3 és voxtral-mini-tts-3-0 modellek váltják fel. Főbb változások: az időbélyegek csak szegmensszinten érhetők el (a word paraméter 400-as hibát eredményez), a beszélőazonosítás (diarization) valós időben is elérhető, a valós idejű munkamenet beállításai az első hangcsomag után rögzülnek, a context_bias bemenetek pedig szabad formátumúak (szóközöket tartalmazó kifejezések). Források: Migrate from Voxtral 2 · Speech to Text.

Új paradigma: Hangstreamelés

Eddig offline módban dolgoztál: elküldtél egy teljes hangfájlt, megvártad, míg a modell feldolgozza, majd felhasználtad az eredményt. Ez a munkafolyamat megfelel a meglévő felvételeknek, például archivált megbeszéléseknek, podcastoknak vagy interjúknak. Akkor viszont csődöt mond, ha a hang folyamatosan érkezik: senki sem várja meg egy kétórás konferencia végét az első feliratok megjelenéséig, és egy hangalapú asszisztens, amely csak hosszú csend után érti meg a kérdést, hibásnak tűnik.

A Voxtral Realtime erre a szükségletre válaszol egy streaming architektúrával. A hangot menet közben írja át, szóról szóra, és a hang és a szöveg közötti késleltetés egy általad szabályozható beállássá válik, amely akár 200 milliszekundumra is csökkenthető. A váltás ugyanolyan mentális, mint technikai: már nem izolált kérésekben, hanem adatfolyamokban gondolkodsz, és a programodnak készen kell állnia arra, hogy bármelyik pillanatban szöveget fogadjon.

Amit a valós idejű modell kínál

A modellt a voxtral-mini-transcribe-realtime-3 azonosító alatt hívod meg, és alapvetően különbözik offline megfelelőjétől. Hangcsomagokat fogad, és folyamatosan bocsát ki szövegrészleteket, sosem várva meg a felvétel végét. A késleltetését a target_streaming_delay_ms paraméter szabályozza, amelyet e tanfolyam későbbi részében részletesen is megvizsgálsz. 45 nyelvet és nyelvjárást támogat; a nyelv rögzíthető vagy automatikusan észlelhető is lehet. Elődje, a 2. generációs voxtral-mini-transcribe-realtime-2602 (4 milliárd paraméter) nyílt súlyokkal (open weights), Apache 2.0 licenc alatt érhető el a Hugging Face Hubon, így teljesen szuverén módon telepítheted saját szervereidre.

A Voxtral 3-mal a valós idejű teljesítmény nagy mértékben felzárkózott az offline módhoz. A beszélőazonosítás (diarization) elérhető – bár nem ugyanabban a munkamenetben, mint a beszélőváltás-észlelés –, akárcsak a kontextus-biaszolás és a beszélőváltás-észlelés. Két különbség marad: a szegmensek tartalmazzák a beszélő címkéjét, de nincs kezdési vagy befejezési időpontjuk, és minden munkamenet-beállítást (nyelv, szókincs, beszélőazonosítás, késleltetés) az első hangcsomag előtt el kell küldeni, ezt követően ugyanis rögzülnek. Ha a használati eseted pontos időbélyegeket igényel, offline módra van szükséged, esetleg a valós idejű megoldás kiegészítéseként.

Telepítés

A Mistral SDK alapértelmezés szerint nem tölti be a streaming függőségeket. Expliciten kérned kell a realtime kiegészítőt (extra), amely hozzáadja a WebSocket-kapcsolatok és az aszinkron hangfeldolgozás támogatását:

pip install "mistralai[realtime]"

A szükséges hangformátum

Az offline móddal ellentétben, amely számos tárolóformátumot elfogad, a Voxtral Realtime nyers adatfolyamot vár egyetlen, megalkuvást nem tűrő formátumban:

  • Kódolás: 16 bites előjeles little-endian PCM (pcm_s16le)
  • Mintavételezési frekvencia: 16 000 Hz (16 kHz)
  • Csatornák: Mono (1 csatorna)

Ez a megkötés nem akadály: ez a formátum a legstandardabb, és minden rögzítőeszköz natívan előállítja, legyen szó PyAudióról, FFmpegről vagy PulseAudióról. Egyszer deklarálod az ügyfélprogramnak (client), amely ennek alapján értelmezi az általad továbbított bájtokat.

from mistralai.client.models import AudioFormat

# Hangformátum definiálása
audio_format = AudioFormat(
    encoding="pcm_s16le",
    sample_rate=16000
)

A két stream esemény

Amikor iterálsz az átíráson, az SDK kétféle objektumot ad vissza. A TranscriptionStreamTextDelta minden új, átírt töredék esetén keletkezik, és tartalmazza azt a részleges szöveget, amelyet azonnal megjeleníthetsz; ez hajtja meg a felhasználó képernyőjét. A TranscriptionStreamDone pontosan egyszer érkezik meg, amikor a hangfolyam véget ér – legyen szó egy fájl végéről vagy a mikrofon kikapcsolásáról; ez jelzi, hogy nem jön több adat, és konszolidálhatod az eredményt. Teljes logikád tehát egy aszinkron ciklusba illeszthető, amely megkülönbözteti ezt a két esetet:

from mistralai.client.models import (
    TranscriptionStreamTextDelta,
    TranscriptionStreamDone
)

async for event in flux_transcription:
    if isinstance(event, TranscriptionStreamTextDelta):
        # Új szöveg elérhető
        print(event.text, end="", flush=True)
    elif isinstance(event, TranscriptionStreamDone):
        # Az átírás befejeződött
        print("\n[Finished]")

Első teljes példa

Ahhoz, hogy a mikrofonra való támaszkodás nélkül megismerkedj a mechanizmussal, a legegyszerűbb megoldás, ha egy már PCM formátumra konvertált fájlból szimulálsz egy adatfolyamot. A lire_fichier_pcm függvény egy aszinkron generátor: blokkokban olvassa a fájlt, és egyesével szolgáltatja azokat, pontosan úgy, ahogy egy hangkártya tenné. A program többi része az, amit később módosítás nélkül újra felhasználsz.

import asyncio
import os
from mistralai.client import Mistral
from mistralai.client.models import (
    AudioFormat,
    TranscriptionStreamTextDelta,
    TranscriptionStreamDone
)

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
audio_format = AudioFormat(encoding="pcm_s16le", sample_rate=16000)

async def lire_fichier_pcm(chemin: str, taille_chunk: int = 32000):
    """PCM fájl olvasása csomagokban, stream szimulálásához."""
    with open(chemin, "rb") as f:
        while True:
            chunk = f.read(taille_chunk)
            if not chunk:
                break
            yield chunk

async def main():
    flux_audio = lire_fichier_pcm("audio.pcm")

    async for event in client.audio.realtime.transcribe_stream(
        audio_stream=flux_audio,
        model="voxtral-mini-transcribe-realtime-3",
        audio_format=audio_format,
    ):
        if isinstance(event, TranscriptionStreamTextDelta):
            print(event.text, end="", flush=True)
        elif isinstance(event, TranscriptionStreamDone):
            print("\n\nAz átírás befejeződött.")

asyncio.run(main())

Ha a forrásfájlod MP3 formátumú, nem küldheted el közvetlenül: először konvertálnod kell az FFmpeg segítségével, kikényszerítve a modell által megkövetelt három jellemzőt.

ffmpeg -i audio.mp3 -f s16le -acodec pcm_s16le -ar 16000 -ac 1 audio.pcm

Mikor válts valós idejű módra?

A kiválasztási kritérium egyszerű: a valós idejű mód akkor indokolt, ha valaki várja a szöveget, miközben a hang keletkezik. Ez vonatkozik az élő feliratozásra konferenciákon, webináriumokon vagy online kurzusokon, ahol a közönség hallgatás közben olvas; a hangalapú asszisztensekre, amelyeknek beszéd közben kell megérteniük a felhasználót, hogy kínos szünetek nélkül válaszolhassanak; a diktálásra, ahol a beszéd a beszélő szeme láttára válik szöveggé; és végül a konferencia-átírásra, amikor a szövegnek beszéd közben kell megjelennie. Minden más esetben az offline mód gazdagabb és egyszerűbben implementálható.

A következő leckék megmutatják, hogyan rögzítsd a mikrofon hangját, hogyan hangold a késleltetést, és hogyan építsd fel ezeket a használati eseteket elejétől a végéig.

Főbb megállapítások

  • A Voxtral Mini Transcribe Realtime 3 streaming módban írja át a hangot, állítható késleltetéssel (80 ms-tól 1,2 s-ig, illetve 2,4 s-ig)
  • Szükséges hangformátum: 16 bites PCM, 16 kHz, mono
  • Két eseménytípus: TextDelta (részleges szöveg) és Done (befejezés)
  • Telepítés: pip install "mistralai[realtime]"
  • Aszinkron programozás szükséges (async/await)
  • Beszélőazonosítás (a beszélőváltás-észlelés kivételével) és kontextus-biaszolás elérhető valós időben, szegmens-időbélyegek nélkül; a beállítások az első hangcsomag után rögzülnek
  • A valós idejű modell 2. generációja nyílt súlyokkal (open weights), Apache 2.0 licenc alatt érhető el szuverén telepítéshez