Uvod v obdelavo zvoka pri Mistral AI
Na tej strani
Tečaj posodobljen 3. novembra 2026 za Voxtral 3, na podlagi vodnika Mistral Migrate from Voxtral 2: modeli Voxtral 2 (
voxtral-mini-2602,voxtral-mini-transcribe-realtime-2602,voxtral-mini-tts-2603, ki so bili 31. oktobra 2026 označeni kot zastareli in umaknjeni 30. aprila 2027, so v primerih nadomeščeni zvoxtral-mini-transcribe-3,voxtral-mini-transcribe-realtime-3invoxtral-mini-tts-3-0. Ključne spremembe: časovni žigi samo po segmentih (wordvrne napako 400), podpora ločevanju govorcev v realnem času, nastavitve seje v realnem času zaklenjene po prvem zvočnem delčku in vnosicontext_biasv prosti obliki (besedne zveze s presledki). Viri: Migrate from Voxtral 2 · Speech to Text.
Družina Voxtral: Zvočni komplet Mistral AI
Mistral AI je presegel besedilo. Z družino Voxtral to francosko podjetje ponuja celovit nabor modelov, namenjenih govoru: prepisovanju, razumevanju zvoka in pretvorbi besedila v govor (TTS). Ta tečaj te bo naučil izkoristiti te zmogljivosti za pretvorbo zvočnih tokov v resnično uporabno besedilo, vključno s pripadajočo kodo Python.
Samodejno prepoznavanje govora (ASR) ali pretvorba govora v besedilo (STT) poganja vsakodnevna orodja, ki jih verjetno že uporabljaš. Podnapisi v izobraževalnih videoposnetkih, zapisniki sestankov vodstva, glasovni asistenti za storitve za stranke in digitalna dostopnost na javnih spletnih mestih temeljijo na isti osnovni tehnologiji. Mistral AI v ta prostor prinaša suveren, visoko zmogljiv in zasebnost spoštujoč pristop – kar je ključno, ko tvoj zvok vsebuje imena pacientov, podatke strank ali interne razprave.
Dva načina prepisovanja
Voxtral podpira dva načina, ki obravnavata popolnoma različne omejitve. Prvi je offline prepisovanje, znano tudi kot serijska obdelava: pošlješ celotno zvočno datoteko in prejmeš prepis. Ta način ustreza posnetim podkastom, terenskim intervjujem, naloženim kasneje istega dne, ali arhiviranim predavanjem. Za to skrbita modela Voxtral Mini Transcribe 3 in, za večjo natančnost, Voxtral Small Transcribe 3, ki ponujata ločevanje govorcev in časovne žige na ravni segmentov.
Drugi način je prepisovanje v realnem času ali pretakanje: zvok se prepisuje, ko prispe, s prilagodljivo zakasnitvijo med 80 ms in 1,2 sekunde (ali 2,4 sekunde). Nič ni vnaprej posneto; vse se dogaja medtem, ko oseba govori. Ta način poganja podnapise v živo na spletnih seminarjih, glasovne asistente or orodja za narekovanje. Model Voxtral Mini Transcribe Realtime 3 je zgrajen prav za to. To razliko imej zdaj v mislih: poganja večino tvojih tehničnih odločitev v preostanku tečaja.
Podprti jeziki
Modeli Voxtral 3 za prepisovanje datotek pokrivajo 50 jezikov, medtem ko model za realni čas podpira 45 jezikov in narečij, vključno s francoščino. Brez parametra language model samodejno zazna jezik posnetka; če ga poznaš, ga določi z dvčrkovno kodo (npr. fr).
Kaj Voxtral počne poleg surovega besedila
Samo prepisovanje ni vedno dovolj. Ločevanje govorcev (diarization) samodejno identificira govorce: na sestanku s petimi osebami model razloži, kdo je govoril in kdaj, ter tako kup besedila spremeni v berljiv povzetek. Prilagajanje kontekstu ti omogoča vnos specializiranega besedišča – lastnih imen, tehničnih izrazov, akronimov – tako da „Kubernetes” ali „GDPR” na inženirskem sestanku ne bosta popačena.
Časovni žigi na ravni segmentov zagotavljajo čas začetka in konca za vsak segment prepisa, kar omogoča sinhronizirano ustvarjanje podnapisov; Voxtral 3 ne podpira več časovnih žigov na ravni besed. Odpornost na šum ohranja natančnost v zahtevnih akustičnih okoljih: hrup v ozadju, odmev v sejnih sobah ali mikrofoni na prenosnih računalnikih. Končno, posnetke lahko predložiš kot datoteke, prek URL-ja ali iz predhodno naloženih datotek, odgovore pa prejmeš kot tok, delček po delčku.
Skladnost in suverenost
Prejšnja generacija modela za realni čas, Voxtral Realtime (voxtral-mini-transcribe-realtime-2602, 4 milijarde parametrov), je izdana z odprtimi utežmi pod licenco Apache 2.0: gostiš jo lahko samostojno brez zanašanja na zunanji API, tudi po njenem umiku iz API-ja 30. aprila 2027.
To je velika prednost za evropska podjetja, ki se soočajo s strogimi regulativnimi omejitvami pri obdelavi zvočnih podatkov: posnetki sestankov, klici strank ali zdravstvena posvetovanja nikoli ne zapustijo tvoje infrastrukture.
Kaj se boš naučil
Tečaj sledi preprosti progresiji. Začel boš z razumevanjem treh modelov Voxtral in izbiro pravega za svoj primer uporabe. Nato se boš lotil offline prepisovanja, ki zajema API, njegove parametre, ločevanje govorcev in prilagajanje kontekstu. Nato boš prešel na prepisovanje v realnem času: pretakanje, zajem z mikrofona in nadzor zakasnitve. Zaključil boš z uvajanjem v proizvodno okolje, vključno z optimizacijo, obravnavo napak in upravljanjem stroškov. Vsaka lekcija vključuje popolno, funkcionalno kodo Python, ki jo lahko zaženeš takšno, kot je.
Ključne ugotovitve
- Voxtral je družina zvočnih modelov Mistral AI, ki pokriva STT in TTS
- Dva načina prepisovanja: offline (datoteke) in realni čas (pretakanje, prilagodljiva zakasnitev od 80 ms naprej)
- 50 jezikov za datoteke, 45 za realni čas, vključno s francoščino
- Napredne funkcije: ločevanje govorcev, prilagajanje konteksta, časovni žigi na ravni segmentov, odpornost na šum
- Suvereno uvajanje je mogoče z modelom za realni čas druge generacije, ki je na voljo z odprtimi utežmi pod licenco Apache 2.0