Bevezetés a Mistral AI hangalapú technológiáiba
Ezen az oldalon
A tanfolyam frissítve: 2026. november 3., Voxtral 3 verzió, a Mistral Migrálás a Voxtral 2-ről útmutatója alapján: a 2026. október 31-én elavulttá és 2027. április 30-án végleg kivont Voxtral 2 modelleket (
voxtral-mini-2602,voxtral-mini-transcribe-realtime-2602,voxtral-mini-tts-2603) a példákban avoxtral-mini-transcribe-3, avoxtral-mini-transcribe-realtime-3és avoxtral-mini-tts-3-0váltotta fel. Főbb változások: az időbélyegzés kizárólag szegmensszinten érhető el (awordparaméter 400-as hibát eredményez), támogatott a valós idejű beszélőazonosítás (diarization), a valós idejű munkamenet beállításai az első hangcsomag után rögzülnek, valamint acontext_biasbemenet szabad formátumú (szóközöket tartalmazó kifejezések is megadhatók). Források: Migrálás a Voxtral 2-ről · Beszédfelismerés.
A Voxtral család: a Mistral AI hangalapú megoldáscsomagja
A Mistral AI kilépett a szövegalapú technológiák korlátai közül. A Voxtral családdal a francia vállalat teljes, beszédre specializálódott modellkészletet kínál: átírást (transzkripció), hangalapú megértést és szövegből beszéd generálást (TTS). Ebben a tanfolyamban megtanulod, hogyan használd ki ezeket a képességeket arra, hogy a hangfolyamokat valóban használható szöveggé alakítsd, mindehhez megfelelő Python-kódot is biztosítva.
Az automatikus beszédfelismerés (ASR), más néven Speech-to-Text (STT), olyan mindennapi eszközöket működtet, amelyeket valószínűleg te is használsz. Az oktatóvideók feliratai, a vezetői értekezletek jegyzőkönyvei, az ügyfélszolgálati hangasszisztensek és a nyilvános weboldalak digitális akadálymentesítése mind ugyanarra az alaptechnológiára épülnek. A Mistral AI szuverén, nagy teljesítményű és az adatvédelmet tiszteletben tartó megközelítést hoz ebbe a szektorba – ez akkor kritikus fontosságú, ha a hanganyagod betegneveket, ügyféladatokat vagy belső egyeztetéseket tartalmaz.
Két módszer a transzkripcióra
A Voxtral két üzemmódot támogat, amelyek teljesen eltérő követelményeket elégítenek ki. Az első az offline transzkripció, más néven kötegelt feldolgozás (batch processing): elküldesz egy teljes hangfájlt, és megkapod az átírt szöveget. Ez a mód illik a rögzített podcastokhoz, a később feltöltött terepi interjúkhoz vagy az archivált előadásokhoz. Erre a célra a Voxtral Mini Transcribe 3, illetve nagyobb pontosság esetén a Voxtral Small Transcribe 3 modell alkalmas; mindkettő kínál beszélőazonosítást és szegmensszintű időbélyegzést.
A második mód a valós idejű transzkripció, azaz streaming: a hanganyag beérkezése közben történik az átírás, konfigurálható, 80 ms és 1,2 másodperc (vagy 2,4 másodperc) közötti késleltetéssel. Itt nincs előzetes rögzítés; minden akkor történik, amikor a személy beszél. Ez a mód teszi lehetővé az élő webináriumok feliratozását, a hangasszisztensek működését vagy a diktáló szoftvereket. Erre a célra készült a Voxtral Mini Transcribe Realtime 3 modell. Jegyezd meg jól ezt a különbséget most: ez határozza meg a technikai döntéseid többségét a tanfolyam hátralévő részében.
Támogatott nyelvek
A Voxtral 3 fájlalapú transzkripciós modelljei 50 nyelvet fednek le, míg a valós idejű modell 45 nyelvet és nyelvjárást támogat, beleértve a magyart és a franciát is. Ha nem adsz meg language paramétert, a modell automatikusan felismeri a felvétel nyelvét; ha ismered a nyelvet, érdemes megadni annak kétbetűs kódjával (pl. hu vagy fr).
Amit a Voxtral a nyers szövegen túl nyújt
Maga a transzkripció nem mindig elegendő. A beszélőazonosítás (diarization) automatikusan azonosítja a beszélőket: egy öt fős értekezleten a modell megkülönbözteti, ki mikor beszélt, így a szövegfalat olvasható összefoglalóvá alakítja. A kontextus-biaszolás (context biasing) lehetővé teszi, hogy speciális szókincset – tulajdonneveket, szakmai kifejezéseket, mozaikszavakat – injektálj a rendszerbe, így az olyan kifejezések, mint a „Kubernetes“ vagy a „GDPR“, nem torzulnak el egy mérnöki megbeszélés során.
A szegmensszintű időbélyegzés megadja minden transzkripciós szegmens kezdő és záró időpontját, lehetővé téve a szinkronizált feliratok generálását; a Voxtral 3 már nem támogatja a szavankénti időbélyegzést. A zajrobusztusság nehéz akusztikai környezetben is fenntartja a pontosságot: háttérzaj, tárgyalótermi visszhang vagy laptop-mikrofonok esetén is. Végül, a felvételeket beküldheted fájlként, URL-en keresztül, vagy korábban feltöltött fájlokból, a válaszokat pedig folyamatosan, csomagonként (chunk by chunk) kapod meg.
Megfelelés és szuverenitás
A valós idejű modell előző generációja, a Voxtral Realtime (voxtral-mini-transcribe-realtime-2602, 4 milliárd paraméter), nyílt súlyokkal (open weights) jelenik meg Apache 2.0 licenc alatt: saját szerveren is üzemeltetheted külső API függése nélkül, még akkor is, ha 2027. április 30-án kivonják az API-ból.
Ez hatalmas előny azoknak az európai vállalatoknak, amelyek szigorú szabályozási követelményeknek kell, hogy megfeleljenek a hangadatok feldolgozása terén: az értekezletek felvételei, az ügyfélhívások vagy az orvosi konzultációk soha nem hagyják el a saját infrastruktúrádat.
Amit tanulni fogsz
A tanfolyam egyenes vonalú felépítést követ. Először megismered a három Voxtral modellt, és kiválasztod a használati esetedhez legmegfelelőbbet. Ezután az offline transzkripcióval foglalkozunk, kitérve az API-ra, annak paramétereire, a beszélőazonosításra és a kontextus-biaszolásra. Ezt követően áttérünk a valós idejű transzkripcióra: streaming, mikrofonról történő rögzítés és késleltetés-vezérlés. Végül a éles környezeti bevezetéssel (production deployment) zárunk, beleértve az optimalizálást, a hibakezelést és a költséggazdálkodást. Minden lecke teljes, működő Python-kódot tartalmaz, amelyet változtatás nélkül lefuttathatsz.
Főbb megállapítások
- A Voxtral a Mistral AI hangalapú modellcsaládja, amely lefedi az STT és TTS technológiákat
- Két transzkripciós mód: offline (fájlok) és valós idejű (streaming, konfigurálható késleltetés 80 ms-tól)
- 50 nyelv fájlokhoz, 45 valós idejű feldolgozáshoz, beleértve a magyart és a franciát
- Haladó funkciók: beszélőazonosítás, kontextus-biaszolás, szegmensszintű időbélyegzés, zajrobusztusság
- Szuverén üzemeltetés lehetséges a második generációs valós idejű modellel, amely nyílt súlyokkal elérhető Apache 2.0 licenc alatt