Ievads audio apstrādē ar Mistral AI
Šajā lapā
Kurss atjaunināts 2026. gada 3. novembrī priekš Voxtral 3, balstoties uz Mistral ceļvedi Pāreja no Voxtral 2: Voxtral 2 modeļi (
voxtral-mini-2602,voxtral-mini-transcribe-realtime-2602,voxtral-mini-tts-2603), kuriem beidzās atbalsts 2026. gada 31. oktobrī un kurus izslēgs 2027. gada 30. aprīlī, piemēros aizstāti arvoxtral-mini-transcribe-3,voxtral-mini-transcribe-realtime-3unvoxtral-mini-tts-3-0. Galvenās izmaiņas: laika zīmogošana tikai pa segmentiem (wordatgriež 400 kļūdu), atbalstīta reāllaika runātāju atpazīšana, reāllaika sesijas iestatījumi tiek bloķēti pēc pirmā audio fragmenta un brīvas formascontext_biasievades (frāzes ar atstarpēm). Avoti: Pāreja no Voxtral 2 · Runas pārvēršana tekstā.
Voxtral saime: Mistral AI audio rīku komplekts
Mistral AI ir pārkāpis teksta robežas. Ar Voxtral saimi šī Francijas kompānija piedāvā pilnu modeļu klāstu, kas veltīts runai: transkribēšanai, audio izpratnei un teksta pārvēršanai runā (TTS). Šajā kursā tu iemācīsies izmantot šīs iespējas, lai pārvērstu skaņu plūsmas patiešām lietojamā tekstā, papildinot to ar atbilstošu Python kodu.
Automātiskā runas atpazīšana (ASR) jeb runas pārvēršana tekstā (STT) darbina ikdienas rīkus, kurus, iespējams, jau izmanto. Subtitri apmācību video, vadības sanāksmju protokoli, klientu apkalpošanas balss asistenti un digitālā pieejamība publiskajās tīmekļa vietnēs – visi tie balstās uz vienu un to pašu pamattehnoloģiju. Mistral AI šajā jomā ievieš suverēnu, augstas veiktspējas un privātumu ievērojošu pieeju, kas ir kritiski svarīga, ja tavs audio satur pacientu vārdus, klientu datus vai iekšējās apspriedes.
Divi transkribēšanas veidi
Voxtral atbalsta divus režīmus, kas risina pilnīgi atšķirīgus uzdevumus. Pirmais ir oflaina transkribēšana, kas pazīstama arī kā pakotņu apstrāde: tu nosūti pilnu audio failu un saņem transkripciju. Šis režīms ir piemērots ierakstītiem raidierakstiem, lauka intervijām, kas augšupielādētas vēlāk dienā, vai arhivētām lekcijām. To nodrošina Voxtral Mini Transcribe 3 un, lai panāktu augstāku precizitāti, Voxtral Small Transcribe 3, piedāvājot runātāju atpazīšanu un laika zīmogošanu pa segmentiem.
Otrs ir reāllaika transkribēšana jeb straumēšana: audio tiek transkribēts tā ienākšanas brīdī ar konfigurējamu latentumu no 80 ms līdz 1,2 sekundēm (vai 2,4 sekundēm). Nekas nav iepriekš ierakstīts; viss notiek runātājam runājot. Šis režīms darbina tiešraižu vebināru subtitrus, balss asistentus vai diktēšanas rīkus. Šim nolūkam ir izstrādāts modelis Voxtral Mini Transcribe Realtime 3. Paturi šo atšķirību prātā jau tagad: tā noteiks lielāko daļu tavu tehnisko izvēļu turpmākajā kursa gaitā.
Atbalstītās valodas
Voxtral 3 failu transkribēšanas modeļi aptver 50 valodas, savukārt reāllaika modelis atbalsta 45 valodas un dialektus, tostarp franču valodu. Ja norādes parametrs language netiek lietots, modelis automātiski nosaka ieraksta valodu; ja tu to zini, norādi to, izmantojot divu burtu kodu (piemēram, fr).
Ko Voxtral dara vairāk nekā tikai rada izejtekstu
Vienīgi transkripcija ne vienmēr ir pietiekama. Runātāju atpazīšana (Diarization) automātiski identificē runātājus: piecu personu sanāksmē modelis atšķir, kurš un kad runāja, pārvēršot teksta sienu lasāmā kopsavilkumā. Konteksta novirzīšana (Context biasing) ļauj ievadīt specializētu vārdu krājumu – īpašvārdus, tehniskus terminus, akronīmus –, lai inženieru sanāksmē „Kubernetes” vai „GDPR” netiktu sagrozīti.
Laika zīmogošana pa segmentiem nodrošina katra transkripcijas segmenta sākuma un beigu laiku, ļaujot ģenerēt sinhronizētus subtitrus; Voxtral 3 vairs neatbalsta vārdu līmeņa laika zīmogošanu. Troksņu noturība uztur precizitāti sarežģītos akustiskos apstākļos: fona trokšņi, sapulču telpu atbalss vai klēpjdatoru mikrofoni. Visbeidzot, tu vari iesniegt ierakstus kā failus, izmantojot URL vai no iepriekš augšupielādētiem failiem, un saņemt atbildes kā plūsmu, fragmentu pa fragmentam.
Atbilstība un suverenitāte
Reāllaika modeļa iepriekšējā paaudze, Voxtral Realtime (voxtral-mini-transcribe-realtime-2602, 4 miljardi parametru), ir izlaista kā atvērti svari (open weights) saskaņā ar Apache 2.0 licenci: tu vari to izvietot savā serverī, nepaļaujoties uz ārēju API, pat pēc tā izslēgšanas no API 2027. gada 30. aprīlī.
Tas ir liels ieguvums Eiropas uzņēmumiem, kas saskaras ar stingriem normatīvajiem ierobežojumiem audio datu apstrādē: sanāksmju ieraksti, klientu zvani vai medicīniskās konsultācijas nekad neatstāj tavu infrastruktūru.
Ko tu iemācīsies
Kurss seko vienkāršai progresijai. Vispirms tu iepazīsies ar trim Voxtral modeļiem un izvēlēsies savam lietojumam piemērotāko. Tālāk tu apgūsi oflaina transkribēšanu, aptverot API, tā parametrus, runātāju atpazīšanu un konteksta novirzīšanu. Pēc tam pāriesi pie reāllaika transkribēšanas: straumēšanas, mikrofona uztveršanas un latentuma kontroles. Noslēgumā apskatīsi izvietošanu ražošanas vidē, ieskaitot optimizāciju, kļūdu apstrādi un izmaksu pārvaldību. Katra nodarbība satur pilnīgu, funkcionējošu Python kodu, ko vari palaist tādu, kāds tas ir.
Galvenās atziņas
- Voxtral ir Mistral AI audio modeļu saime, kas aptver STT un TTS
- Divi transkribēšanas režīmi: oflains (faili) un reāllaiks (straumēšana, konfigurējams latentums sākot no 80 ms)
- 50 valodas failiem, 45 reāllaikam, tostarp franču valoda
- Papildu funkcijas: runātāju atpazīšana, konteksta novirzīšana, laika zīmogošana pa segmentiem, troksņu noturība
- Iespējama suverēna izvietošana ar otrās paaudzes reāllaika modeli, kas pieejams kā atvērti svari saskaņā ar Apache 2.0 licenci