Voxtral 2026 m.: TTS ir transkripcija realiuoju laiku
Šiame puslapyje
Atnaujinta 2026 m. lapkričio 2 d. – garso įrašai. Voxtral TTS (
voxtral-mini-tts-2603), Voxtral Mini Transcribe 2 (voxtral-mini-2602) ir jų realiuoju laiku veikiantys modeliai buvo panaikinti nuo 2026 m. spalio 31 d., o jų pašalinimas numatytas 2027 m. balandžio 30 d. Jų įpėdiniai iš Voxtral 3 šeimos, viešai pristatyti spalio 20 d., bei „Voice Agents“ duomenų apdorojimo grandinė aptariami kurse Mistral 2026 m. (11 pamoka).
2026 m. „Mistral“ garso galimybės išsiplėtė pridėjus du naujus statybinius blokus: teksto pavertimą kalba (TTS) ir transkripciją realiuoju laiku. Atskirai tai tik du techniniai pranešimai tarp daugelio, tačiau kartu jie užbaigia grandinę – nuo vartotojo balso iki mašinos balso, – kuri dabar leidžia sukurti visavertį balso agentą neišeinant iš „Mistral“ ekosistemos. Šioje pamokoje aptarsime kiekvieną komponentą atskirai, o tada parodysime, kaip jie dera tarpusavyje.
Voxtral TTS: suteikite savo programoms balsą
Voxtral TTS (v26.03), paskelbtas 2026 m. kovo 23 d., yra „Mistral“ teksto pavertimo kalba modelis. Oficialioje dokumentacijoje pabrėžiama pažangiausia kokybė balso agentams, daugiakalbiškumas ir, svarbiausia, verta dėmesio savybė: nulinio šotinio balso klonavimas (zero-shot voice cloning). Modelis gali atkurti balsą iš trumpo garso mėginio be specialaus mokymo. Jei anksčiau balso klonavimui reikėdavo valandų trukmės įrašų ir specifinės mokymosi fazės, dabar įtikinamai imitacijai gauti pakanka kelių sekundžių.
Šis naudojimo paprastumas reikalauja neatidėliotino priminimo, ir tai nėra vien formalumas: klonuojant asmens balsą būtinas aiškus jo sutikimas. Europoje balsas pagal įstatymus yra asmens duomenys. Apsimetinėjimas – priversti ką nors pasakyti tai, ko jis niekada nesakė, arba prisistatyti juo telefonu – yra neteisėtas, be jokių išimčių. Kalbant apie teisėtus naudojimo atvejus, o jų tikrai yra – nuoseklus prekės ženklo balsas visuose kanaluose, prieinamumo sprendimai, grąžinantys balsą žmonėms, kurie jį prarado, – jie turi būti reglamentuojami sutartimi: rašytinis sutikimas, apibrėžta naudojimo apimtis ir nurodyta trukmė. Jei jūsų projekte numatytas tikro balso klonavimas, sukurkite šį teisinį pagrindą prieš rašydami pirmąją kodo eilutę, o ne po to.
Voxtral Mini Transcribe Realtime: supratimas realiuoju laiku
Antrasis komponentas sprendžia aiškiai identifikuotą spragą. „Mistral“ jau siūlė garso failų transkripciją naudodama „Voxtral“, tačiau šis paketinis režimas daro prielaidą, kad įrašas baigtas prieš pradedant apdoroti. Vis dėlto yra daugybė naudojimo atvejų, kurie negali laukti: tiesioginis posėdžių ar renginių subtitravimas, balso agentas, kuris turi suprasti vartotojui kalbant, arba nuolatinis automatinis užrašų darymas.
Būtent tai ir užtikrina Voxtral Mini Transcribe Realtime (v26.02), dokumentacijoje apibūdinamas kaip efektyvus įvesties garso modelis, iš anksto apmokytas ir optimizuotas transkripcijai gyvai. Skirtumas nuo paketinio režimo nėra tik kosmetinis: dirbant realiuoju laiku, latentiškumas tampa pagrindiniu apribojimu, nes balso agentas, kuriam reikia trijų sekundžių sakiniiui suprasti, sukuria nepakeliamą pokalbį. Todėl modelis, specialiai optimizuotas nuolatiniam srautui, yra tinkamas architektūrinis sprendimas, o ne bandymas pritaikyti paketinį modelį šiam tikslui.
„Mistral“ garso rinkinys ir kaip jį surinkti
Garso pasiūlą dabar sudaro trys papildantys komponentai:
| Komponentas | Modelis | Naudojimas |
|---|---|---|
| Transkripcija (paketinė) | Voxtral (STT) | Garso failų transkripcija |
| Transkripcija (gyvai) | Voxtral Mini Transcribe Realtime | Srautas realiuoju laiku |
| Sintezė | Voxtral TTS | Suteikti programoms balsą |
Kuriant visavertį balso agentą, tipinė grandinė surinkama taip: transkripcija realiuoju laiku vartotojo kalbą konvertuoja į tekstą tuo pačiu metu, kalbos modelis (daugeliu atvejų „Small 4“, o sudėtingiausiems atvejams – „Medium 3.5“) supranta ir suformuluoja atsakymą, tada „Voxtral TTS“ jį ištaria. Kiekviena grandis priklauso tam pačiam tiekėjui, o tai supaprastina sutarčių sudarymą, atsiskaitymą ir atitiktį reikalavimams – argumentas, turintis didelę svorį įmonių projektuose.
Mūsų kursai „Voxtral transkripcija“ ir „Voxtral TTS“ apima šių komponentų pagrindus; ši pamoka juos pateikia atnaujintame 2026 m. kontekste. Jei juos jau baigėte, čia aprašyta architektūra yra natūralus derinys to, ką jau mokate daryti su kiekvienu komponentu atskirai.
Oficialus šaltinis: docs.mistral.ai — Models Overview
Svarbiausi punktai
- Voxtral TTS (v26.03): Pažangiausia sintezė su nulinio šotinio balso klonavimu
- Balso klonavimui būtinas aiškus asmens sutikimas – tai nederinama
- Voxtral Mini Transcribe Realtime (v26.02) skirtas transkripcijai gyvai
- Balso agento grandinė: transkripcija realiuoju laiku → LLM → TTS, viskas iš to paties tiekėjo