Uvod u audio kod Mistral AI-ja
Na ovoj stranici
Tečaj ažuriran 3. studenoga 2026. za Voxtral 3, na temelju vodiča Mistrala Migrate from Voxtral 2: modeli Voxtral 2 (
voxtral-mini-2602,voxtral-mini-transcribe-realtime-2602,voxtral-mini-tts-2603), zastarjeli 31. listopada 2026. i povučeni 30. travnja 2027., u primjerima su zamijenjeni modelimavoxtral-mini-transcribe-3,voxtral-mini-transcribe-realtime-3ivoxtral-mini-tts-3-0. Ključne promjene: vremenske oznake samo po segmentima (wordvraća pogrešku 400), podržana dijagonalizacija u stvarnom vremenu, postavke sesije u stvarnom vremenu zaključane nakon prvog audio isječka te unosi slobodnog oblika zacontext_bias(fraze s razmacima). Izvori: Migrate from Voxtral 2 · Speech to Text.
Obitelj Voxtral: Mistralov audio paket
Mistral AI je izašao iz okvira teksta. S obitelji Voxtral, ova francuska tvrtka nudi kompletan skup modela posvećenih govoru: transkripciju, razumijevanje zvuka i pretvorbu teksta u govor (TTS). Ovaj tečaj naučit će te kako iskoristiti te mogućnosti za pretvaranje zvučnih tokova u doista upotrebljiv tekst, uz prateći Python kod.
Automatsko prepoznavanje govora (ASR) ili pretvorba govora u tekst (STT) pokreće svakodnevne alate koje vjerojatno koristiš. Titlovi na obrazovnim videima, zapisnici s izvršnih sastanaka, glasovni asistenti korisničke podrške i digitalna dostupnost na javnim web-mjestima svi se oslanjaju na istu temeljnu tehnologiju. Mistral AI donosi suveren, visokoučinkovit pristup koji poštuje privatnost – što je ključno kada tvoj audio sadrži imena pacijenata, podatke o kupcima ili interne rasprave.
Dva načina transkripcije
Voxtral podržava dva načina rada koji odgovaraju potpuno različitim ograničenjima. Prvi je offline transkripcija, poznata i kao skupna obrada: šalješ cijelu audio datoteku i primaš transkript. Ovaj način odgovara snimljenim podcastima, terenskim intervjuima koji se učitavaju kasnije tijekom dana ili arhiviranim predavanjima. Za to su zaduženi Voxtral Mini Transcribe 3 i, za veću točnost, Voxtral Small Transcribe 3, koji nude dijagonalizaciju i vremenske oznake na razini segmenta.
Drugi način je transkripcija u stvarnom vremenu ili strujanje: audio se transkribira kako stiže, s podesivom latencijom između 80 ms i 1,2 sekunde (ili 2,4 sekunde). Ništa nije unaprijed snimljeno; sve se događa dok osoba govori. Ovaj način pokreće titlove za webinare uživo, glasovne asistente ili alate za diktiranje. Model Voxtral Mini Transcribe Realtime 3 izgrađen je upravo za to. Zadrži ovu razliku na umu već sada: ona određuje većinu tvojih tehničkih izbora tijekom ostatka tečaja.
Podržani jezici
Modeli Voxtral 3 za transkripciju datoteka pokrivaju 50 jezika, dok model za stvarno vrijeme podržava 45 jezika i dijalekata, uključujući francuski. Bez parametra language, model automatski detektira jezik snimke; ako ga znaš, navedi ga koristeći dvoslovni kod (npr. fr).
Što Voxtral radi osim sirovog teksta
Sama transkripcija nije uvijek dovoljna. Dijagonalizacija automatski identificira govornike: na sastanku s pet osoba, model razlikuje tko je govorio i kada, pretvarajući zid teksta u čitljiv sažetak. Pristranost konteksta (context biasing) omogućuje ti ubacivanje specijaliziranog rječnika – vlastitih imena, tehničkih pojmova, akronima – tako da se „Kubernetes“ ili „GDPR“ ne iskrive na inženjerskom sastanku.
Vremenske oznake na razini segmenta daju vrijeme početka i završetka za svaki segment transkripcije, omogućujući generiranje sinkroniziranih titlova; Voxtral 3 više ne podržava vremenske oznake na razini riječi. Otpornost na šum održava točnost u izazovnim akustičnim okruženjima: pozadinska buka, odjek u sobi za sastanke ili mikrofoni na prijenosnim računalima. Konačno, snimke možeš poslati kao datoteke, putem URL-a ili iz prethodno učitanih datoteka, a odgovore primiti kao stream, dio po dio.
Usklađenost i suverenost
Prethodna generacija modela za stvarno vrijeme, Voxtral Realtime (voxtral-mini-transcribe-realtime-2602, 4 milijarde parametara), objavljena je s otvorenim težinama pod licencom Apache 2.0: možeš je samostalno hostirati bez oslanjanja na vanjski API, čak i nakon njezina povlačenja s API-ja 30. travnja 2027.
To je velika prednost za europske tvrtke koje se suočavaju sa strogim regulatornim ograničenjima u obradi audio podataka: snimke sastanaka, pozivi kupaca ili medicinske konzultacije nikada ne napuštaju tvoju infrastrukturu.
Što ćeš naučiti
Tečaj slijedi jednostavan napredak. Počet ćeš razumijevanjem triju Voxtral modela i odabirom pravog za svoj slučaj upotrebe. Zatim ćeš se pozabaviti offline transkripcijom, pokrivajući API, njegove parametre, dijagonalizaciju i pristranost konteksta. Nakon toga prelaziš na transkripciju u stvarnom vremenu: strujanje, hvatanje zvuka s mikrofona i kontrolu latencije. Završit ćeš s implementacijom u proizvodnji, uključujući optimizaciju, rukovanje pogreškama i upravljanje troškovima. Svaka lekcija uključuje kompletan, funkcionalan Python kod koji možeš pokrenuti odmah.
Ključne točke
- Voxtral je obitelj audio modela Mistral AI-ja koja pokriva STT i TTS
- Dva načina transkripcije: offline (datoteke) i stvarno vrijeme (strujanje, podesiva latencija od 80 ms)
- 50 jezika za datoteke, 45 za stvarno vrijeme, uključujući francuski
- Napredne značajke: dijagonalizacija, pristranost konteksta, vremenske oznake na razini segmenta, otpornost na šum
- Suverena implementacija moguća je s modelom za stvarno vrijeme druge generacije, dostupnim s otvorenim težinama pod licencom Apache 2.0