Lähe põhisisu juurde
Eesti— Vali keel
Menüü

Sissejuhatus Voxtral TTS-i

Õppetund 1 / 14 Värskendatud 3. november 2026 Arendajatele
Sellel lehel
  1. Tekst-kõneks tehnoloogia astub uude ajastusse
  2. Mis on null-shot kloonimine?
  3. Miks muudab Voxtral mängureegleid
  4. Mida sa õpid
  5. Peamised punktid

Kursust uuendati 3. novembril 2026 Voxtral TTS 3 jaoks, tuginedes Migrate from Voxtral 2 juhendile ja Mistrali Text to Speech lehekülgedele: voxtral-mini-tts-2603, mis tunnistati 31. oktoobril 2026 aegunuks ja lõpetati 30. aprillil 2027, on näidetes asendatud mudeliga voxtral-mini-tts-3-0. Voxtral 2 eelmääratud hääled (gb_jane_neutral…) jäävad toetuks; Voxtral 3 lisab teksti sisse sildid [emotion=…] ja [pace=…], seade expressiveness, kohandatud häälduse (phoneme_hints) ning toetab 35 keelt. Mistral soovitab pärast üleminekut latentsusaeg uuesti mõõta. Allikad: Migrate from Voxtral 2 · Speech generation.

Tekst-kõneks tehnoloogia astub uude ajastusse

Märtsis 2026 käivitas Mistral AI Voxtral TTS-i, tekst-kõneks mootori, mis nihutab seniseid piire. Et mõista tehtud hüpet, tuletame meelde, mida nõudis eelmine põlvkond: veenva hääle saamiseks pidid tooma stuudiosse häälnäitleja, salvestama tunde lugemist ja seejärel treenima mudelit selle kogumi põhjal. Voxtral valib teise tee, kasutades null-shot hääle kloonimist: hääle tämbri, rütmi ja nüansside püüdmiseks piisab vaid mõnest sekundist helisalvestisest.

See läbimurre tugineb sihtotstarbeliselt kõne genereerimiseks treenitud baasmudelile. Voxtral ei korda lihtsalt foneeme – see mõistab prosoodiat, emotsioone ja keelelisi peensusi 35 keeles ning enam kui 50 murdes (Voxtral TTS 3 puhul, võrreldes eelmise põlvkonna 9 keelega). Kuuled erinevust küsivas lauses või lisanduses: kui vanem süsteem retsiteeriks monotoonselt, siis Voxtral asetab rõhu õigesse kohta, sest see loeb kogu lause enne selle hääldamist läbi.

~90 ms
Mudeli latentsusaeg
9
Toetatud keeled
Null-shot
Hääle kloonimine
Avatud lähtekood
Mudel saadaval

Mis on null-shot kloonimine?

Termin null-shot tähendab, et mudel ei vaja uue hääle reprodutseerimiseks ümberõpet. Sa esitad salvestise, mis kestab mõnest sekundist mõne minutini, MP3 või WAV vormingus, ning Voxtral jäädvustab automaatselt hääle omadused: tämbri, intonatsiooni, rütmi ja aktsendi. Puudub eraldi treenimisfaas, lisanduv arvutusmaksumus või ooteaeg – proovi analüüsitakse taotluse esitamise hetkel.

Kujuta ette koolitusjuhti, kes peab looma e-õppe mooduli hääle. Ta salvestab kõrvaklappidega kakskümmend sekundit, loob oma kohandatud hääle ja saab kohe jutustaja, kes kõlab nagu tema ise. Samuti saab ta seda häält kloonida reaalajas otse API päringus, isegi seda salvestamata, kui vajadus on ühekordne. Kui moodul tuleb toota inglise ja hispaania keeles, säilitab sama hääl oma identiteedi üle keelepiiride: kuulaja tunneb ära inimese, mitte kolm erinevat jutustajat.

Miks muudab Voxtral mängureegleid

Traditsioonilised TTS-lahendused – Google Cloud TTS, Amazon Polly, Azure Speech – pakuvad erineva kvaliteediga eelsalvestatud hääli, mida pead kasutama sellisena, nagu need on. Uuemad lahendused nagu ElevenLabs pakuvad hääle kloonimist, kuid jäävad omandiliseks ja kalliks: sa üürid ligipääsu, omamata kunagi kontrolli mootori üle.

Voxtral paistab silma kolmel vastastikku tugevdaval rindel. Eelmine põlvkond, Voxtral TTS, avaldati selle kaaludega litsentsi CC BY-NC 4.0 all: seda saab majutada oma taristus mitteäriliseks kasutamiseks, mis on oluline avaliku teenistuse või tervishoiuasutuse jaoks, mis ei saa lubada töötajate hääli oma ruumidest lahkuda. Mistral API pakub ka lihtsat ligipääsu Pythoni SDK kaudu, pakkudes häälehaldust, voogedastust ja mitmeid helivorminguid, võimaldades sul mõne reaga prototüüpida enne oma serveris majutamise kaalumist. Lõpuks on mitmekeelne tugi loomupärane: erinevalt lahendustest, mis lisavad keeli pealiskihina, treeniti Voxtrali paljude keelte jaoks – 35 keelt Voxtral TTS 3 puhul – tagades loomulikud üleminekud nende vahel – inglise pärisnimi prantsuse lauses ei tekita enam vanematele mootoritele omast toonilist katkestust.

Mida sa õpid

See kursus viib sind läbi kõigi Voxtral TTS-i funktsioonide. Alustad arhitektuuri ja saadaolevate mudelite mõistmisest, seejärel õpid looma ja haldama kohandatud hääli API kaudu. Järgmisena genereerid kõne reaalajas voogedastuse teel, enne kui asud käsitlema latentsusaja optimeerimist ja õige helivormingu valimist. Tee lõpeb tervikliku hääletöövoogu loomisega, alates kõnetuvastusest kuni sünteesini LLM-i kaudu (STT → LLM → TTS).

Eeldustena vajad oma masinas installitud Python 3.10+ (miinimumnõue Mistrali SDK-le alates versioonist 2.0), Mistral AI kontot koos API võtmega ning Mistrali Pythoni SDK-d, mille saad käsuga pip install mistralai. Piisab baasteadmistest Pythonist – muutujad, funktsioonid, teegid: ükski selle kursuse koodilõik ei ületa kolmekümnet rida.

Peamised punktid

  • Voxtral TTS on Mistral AI tekst-kõneks mootor, mis käivitati märtsis 2026
  • Null-shot kloonimine reprodutseerib hääle MP3 või WAV salvestisest, mis kestab mõnest sekundist mõne minutini
  • Voxtral TTS 3 hõlmab 35 keelt ja enam kui 50 murret, esimese helini kulub umbes 90 ms
  • Eelmise põlvkonna kaalud on avaldatud litsentsi CC BY-NC 4.0 all (mitteäriline kasutamine)
  • Mistral API pakub täielikku Pythoni SDK-d häälehalduseks ja kõne genereerimiseks