Sissejuhatus helitöötlusse Mistral AI-s
Sellel lehel
Kursust uuendati 3. novembril 2026 Voxtral 3 jaoks, tuginedes Mistrali juhendile Migreerumine Voxtral 2-lt: Voxtral 2 mudelid (
voxtral-mini-2602,voxtral-mini-transcribe-realtime-2602,voxtral-mini-tts-2603, mis tunnistati aegunuks 31. oktoobril 2026 ja eemaldatakse kasutuselt 30. aprillil 2027) on näidetes asendatud mudelitegavoxtral-mini-transcribe-3,voxtral-mini-transcribe-realtime-3javoxtral-mini-tts-3-0. Peamised muudatused: ajatemplid ainult lõigu tasandil (wordtagastab vea 400), reaalajas kõneleja eristamine on toetatud, reaalajas seansi seaded lukustuvad pärast esimest helilõiku ja vabas vorminguscontext_biassisendid (fraasid tühikutega). Allikad: Migreerumine Voxtral 2-lt · Kõne tekstiks.
Voxtrali perekond: Mistral AI helikomplekt
Mistral AI on tekstist kaugemale jõudnud. Voxtrali perekonnaga pakub Prantsuse ettevõte terviklikku mudelite komplekti, mis on pühendatud kõnele: transkriptsioon, heli mõistmine ja tekst kõneks muutmine (TTS). See kursus õpetab sind neid võimekusi ära kasutama, et muuta helivood tõeliselt kasutatavaks tekstiks, koos vajaliku Pythoni koodiga.
Automaatne kõnetuvastus (ASR) ehk kõne tekstiks muutmine (STT) on jõudude taga igapäevastes tööriistades, mida sa tõenäoliselt kasutad. Subtiitrid koolitusvideotes, juhtkonna koosolekute protokollid, klienditeeninduse hääleassistendid ja digitaalne ligipääsetavus avalikel veebisaitidel – kõik need tuginevad samale põhitehnoloogiale. Mistral AI toob sellesse valdkonda suveräänse, suure jõudlusega ja privaatsust austava lähenemise. See on kriitilise tähtsusega, kui sinu helifailid sisaldavad patsientide nimesid, kliendiandmeid või sisemisi arutelusid.
Kaks transkriptsiooniviisi
Voxtral toetab kahte režiimi, mis lahendavad täiesti erinevaid ülesandeid. Esimene on offline-transkriptsioon, tuntud ka kui partii-töötlus: saadad tervikliku helifaili ja saad vastu transkriptsiooni. See režiim sobib salvestatud podcastide jaoks, hiljem üles laetud välitööde intervjuude või arhiivitud loengute puhul. Selleks sobivad Voxtral Mini Transcribe 3 ja suurema täpsuse saavutamiseks Voxtral Small Transcribe 3, pakkudes kõneleja eristamist ja lõigu tasandil ajatempleid.
Teine on reaalajas transkriptsioon ehk voogedastus: heli transkribeeritakse selle saabumisel, konfigureeritava latentsusega vahemikus 80 ms kuni 1,2 sekundit (või 2,4 sekundit). Midagi ei ole eelnevalt salvestatud; kõik toimub kõnelemise ajal. See režiim võimaldab otseülekannete subtiitreid, hääleassistente või dikteerimistööriistu. Selleks on loodud mudel Voxtral Mini Transcribe Realtime 3. Pea see eristus meeles: see määrab suurema osa sinu tehnilistest valikutest kursuse ülejäänud osas.
Toetatud keeled
Voxtral 3 failipõhised transkriptsioonimudelid katavad 50 keelt, samas kui reaalajamudel toetab 45 keelt ja murret, sealhulgas prantsuse keelt. Ilma language parameetrita tuvastab mudel salvestise keele automaatselt; kui sa tead keelt, määra see kahe-tähelise koodiga (nt fr).
Mida Voxtral teeb lisaks toorele tekstile
Pelgalt transkriptsioonist ei piisa alati. Kõneleja eristamine (diarization) tuvastab automaatselt kõnelejad: viieliikmelisel koosolekul eristab mudel, kes millal rääkis, muutes tekstiseina loetavaks kokkuvõtteks. Konteksti kallutamine (context biasing) võimaldab sisestada spetsiifilist sõnavara – isikunimesid, tehnilisi termineid, lühendeid –, et „Kubernetes“ või „GDPR“ ei moonduks inseneride koosolekul.
Lõigu tasandil ajatemplid annavad iga transkriptsioonilõigu algus- ja lõpuaja, võimaldades sünkroniseeritud subtiitrite loomist; Voxtral 3 ei toeta enam sõna tasandil ajatempleid. Müra taluvus säilitab täpsuse keerulistes akustilistes keskkondades: taustamüra, koosolekuruumi kaja või sülearvuti mikrofonid. Lõpuks saad esitada salvestisi failidena, URL-i kaudu või varem üles laetud failidest ning saada vastuseid voona, tükkhaaval.
Vastavus ja suveräänsus
Reaalajamudeli eelmine põlvkond, Voxtral Realtime (voxtral-mini-transcribe-realtime-2602, 4 miljardit parameetrit), on avaldatud avatud kaaludega Apache 2.0 litsentsi all: saad seda iseseisvalt majutada, sõltumata välisest API-st, isegi pärast selle eemaldamist API-st 30. aprillil 2027.
See on suur eelis Euroopa ettevõtetele, kes seisavad silmitsi rangete regulatiivsete nõuetega heliandmete töötlemisel: koosolekute salvestised, kliendikõned või meditsiinilised konsultatsioonid ei lahku kunagi sinu taristust.
Mida sa õpid
Kursus järgib selget progressiooni. Alustad kolme Voxtrali mudeli mõistmisest ja õige mudeli valimisest oma kasutusjuhu jaoks. Seejärel tegeled offline-transkriptsiooniga, käsitledes API-d, selle parameetreid, kõneleja eristamist ja konteksti kallutamist. Edasi liigud reaalajas transkriptsiooni juurde: voogedastus, mikrofoni hõive ja latentsuse juhtimine. Lõpetad tootmisse viimisega, hõlmates optimeerimist, veahaldust ja kulude juhtimist. Iga tund sisaldab täielikku, funktsioneerivat Pythoni koodi, mida saad kohe käivitada.
Peamised punktid
- Voxtral on Mistral AI helimudelite perekond, hõlmates STT-d ja TTS-i
- Kaks transkriptsioonirežiimi: offline (failid) ja reaalajas (voogedastus, konfigureeritav latentsus alates 80 ms)
- 50 keelt failide jaoks, 45 reaalajas, sealhulgas prantsuse keel
- Täiustatud funktsioonid: kõneleja eristamine, konteksti kallutamine, lõigu tasandil ajatemplid, müra taluvus
- Suveräänne kasutuselevõtt on võimalik teise põlvkonna reaalajamudeliga, mis on saadaval avatud kaaludena Apache 2.0 litsentsi all