"Įvadas į garso technologijas „Mistral AI“
Šiame puslapyje
Kursas atnaujintas 2026 m. lapkričio 3 d. „Voxtral 3“ versijai, remiantis „Mistral“ gairėmis Migrate from Voxtral 2: „Voxtral 2“ modeliai (
voxtral-mini-2602,voxtral-mini-transcribe-realtime-2602,voxtral-mini-tts-2603), kurie buvo pasenę nuo 2026 m. spalio 31 d. ir bus visiškai pašalinti 2027 m. balandžio 30 d., pavyzdžiuose pakeisti modeliaisvoxtral-mini-transcribe-3,voxtral-mini-transcribe-realtime-3irvoxtral-mini-tts-3-0. Pagrindiniai pokyčiai: laiko žymėjimas tik segmentų lygmeniu (wordgrąžina 400 klaidą), palaikomas realiojo laiko kalbėtojų atskyrimas, realiojo laiko sesijos nustatymai užrakomi po pirmojo garso fragmento ir laisvos formoscontext_biasįvestys (frazės su tarpais). Šaltiniai: Migrate from Voxtral 2 · Speech to Text.
„Voxtral“ šeima: „Mistral AI“ garso įrankių rinkinys
„Mistral AI“ peržengė teksto ribas. Su „Voxtral“ šeima ši Prancūzijos įmonė siūlo išsamų modelių rinkinį, skirtą kalbai: transkripcijai, garso supratimui ir teksto pavertimui kalba (TTS). Šiame kurse išmoksi panaudoti šias galimybes, kad garso srautus paverstum tikrai naudingu tekstu, kartu gausi ir reikiamą Python kodą.
Automatinis kalbos atpažinimas (ASR) arba kalbos pavertimas tekstu (STT) yra kasdienių įrankių, kuriuos tikriausiai naudoji, pagrindas. Mokymų vaizdo įrašų subtitrai, vadovų susitikimų protokolai, klientų aptarnavimo balso pagalbininkai ir skaitmeninė prieinamumas viešose svetainėse – visa tai remiasi ta pačia pagrindine technologija. „Mistral AI“ į šią erdvę atneša suverenią, našią ir privatumą gerbiančią prieigą – tai kritiškai svarbu, kai tavo garso įrašuose yra pacientų vardai, klientų duomenys ar vidiniai svarstymai.
Du transkripcijos būdai
„Voxtral“ palaiko du režimus, tenkinančius visiškai skirtingus poreikius. Pirmasis yra neakivaizdinė transkripcija, dar vadinama paketiniu apdorojimu: siunti visą garso failą ir gauni transkripciją. Šis režimas tinka įrašytiems tinklalaidėms, vėliau įkeliamiems lauko interviu ar archyvuotoms paskaitoms. Tam skirti „Voxtral Mini Transcribe 3“ ir, didesniam tikslumui pasiekti, „Voxtral Small Transcribe 3“ modeliai, siūlantys kalbėtojų atskyrimą ir laiko žymėjimą segmentų lygmeniu.
Antrasis būdas – realiojo laiko transkripcija arba srautinis perdavimas: garso įrašas transkribuojamas jam gaunant, su konfigūruojama delsa nuo 80 ms iki 1,2 sekundės (arba 2,4 sekundės). Nieko nėra iš anksto įrašyta; viskas vyksta žmogui kalbant. Šis režimas naudojamas tiesioginių webinarų subtitrams, balso pagalbininkams ar diktofonams. Šiam tikslui sukurtas „Voxtral Mini Transcribe Realtime 3“ modelis. Laikyk šį skirtumą galvoje jau dabar: jis lemia daugumą tavo techninių sprendimų tolesnėje kurso dalyje.
Palaikomos kalbos
„Voxtral 3“ failų transkripcijos modeliai apima 50 kalbų, o realiojo laiko modelis palaiko 45 kalbas ir dialektus, įskaitant prancūzų kalbą. Jei nenurodai language parametro, modelis automatiškai nustato įrašo kalbą; jei ją žinai, nurodyk ją naudojant dviejų raidžių kodą (pvz., fr).
Ką „Voxtral“ daro be žalių teksto duomenų
Vien transkripcijos ne visada pakanka. Kalbėtojų atskyrimas (diarization) automatiškai identifikuoja kalbėtojus: penkių asmenų susitikime modelis atskiria, kas ir kada kalbėjo, paversdamas teksto sieną lengvai skaitoma santrauka. Konteksto šališkumas (context biasing) leidžia įvesti specializuotą žodyną – tikrinius vardus, techninius terminus, santrumpas – kad inžineriniame susitikime žodžiai „Kubernetes“ ar „GDPR“ nebūtų iškraipyti.
Segmentų lygmens laiko žymėjimas pateikia kiekvieno transkripcijos segmento pradžios ir pabaigos laiką, leisdamas generuoti sinchronizuotus subtitrus; „Voxtral 3“ nebepalaiko žodžių lygmens laiko žymėjimo. Atsparumas triukšmui išlaiko tikslumą sudėtingomis akustinėmis sąlygomis: foninis triukšmas, posėdžių salės aidas ar nešiojamojo kompiuterio mikrofonai. Galiausiai, įrašus gali pateikti kaip failus, per URL nuorodą arba iš anksčiau įkeltų failų, o atsakymus gauti kaip srautą, fragmentas po fragmento.
Atitiktis ir suverenitetas
Ankstesnė realiojo laiko modelio karta, „Voxtral Realtime“ (voxtral-mini-transcribe-realtime-2602, 4 mlrd. parametrų), išleista kaip atviro svorio modelis pagal Apache 2.0 licenciją: gali jį diegti savo serveriuose nesiremdamas išorine API, net ir po to, kai 2027 m. balandžio 30 d. jis bus pašalintas iš API.
Tai didelis privalumas Europos įmonėms, susiduriančioms su griežtais reguliavimo reikalavimais garso duomenų apdorojimui: susitikimų įrašai, klientų skambučiai ar medicininės konsultacijos niekada nepalieka tavo infrastruktūros ribų.
Ko išmoksi
Kursas vyksta nuoseklia tvarka. Pradėsi nuo trijų „Voxtral“ modelių supratimo ir tinkamo pasirinkimo tavo naudojimui. Toliau nagrinėsi neakivaizdinę transkripciją, apimančią API, jos parametrus, kalbėtojų atskyrimą ir konteksto šališkumą. Tuomet pereisi prie realiojo laiko transkripcijos: srautinio perdavimo, mikrofono įrašymo ir delsos valdymo. Baigsi diegimu gamybinėje aplinkoje, įskaitant optimizavimą, klaidų valdymą ir išlaidų kontrolę. Kiekvienoje pamokoje rasite pilną, veikiantį Python kodą, kurį gali paleisti iškart.
Svarbiausi punktai
- „Voxtral“ yra „Mistral AI“ garso modelių šeima, apimanti STT ir TTS
- Du transkripcijos režimai: neakivaizdinis (failams) ir realiojo laiko (srautinis, konfigūruojama delsa nuo 80 ms)
- 50 kalbų failams, 45 – realiuoju laiku, įskaitant prancūzų kalbą
- Pažangios funkcijos: kalbėtojų atskyrimas, konteksto šališkumas, segmentų lygmens laiko žymėjimas, atsparumas triukšmui
- Suverenas diegimas įmanomas naudojant antrosios kartos realiojo laiko modelį, prieinamą kaip atviro svorio kodas pagal Apache 2.0 licenciją