Lähe põhisisu juurde
Eesti— Vali keel
Menüü

Voxtrali TTS-mudelid

Õppetund 2 / 14 Värskendatud 3. november 2026 Arendajatele
Sellel lehel
  1. Voxtral Mini TTS: võrdlusmudel
  2. Tehnilised spetsifikatsioonid
  3. Eelintegreeritud professionaalsed hääled
  4. Avatud kaalud: isemajutamisvõimalused
  5. Kasutamine Mistral API kaudu
  6. Arengukava evolutsioon
  7. Peamised punktid

Kursust uuendati 3. novembril 2026 Voxtral TTS 3 jaoks, tuginedes juhendile Migrate from Voxtral 2 ja Mistrali lehele Text to Speech: voxtral-mini-tts-2603, mis tunnistati aegunuks 31. oktoobril 2026 ja lõpetati 30. aprillil 2027, on näidetes asendatud mudeliga voxtral-mini-tts-3-0. Voxtral 2 eelmääratud hääled (gb_jane_neutral…) on endiselt toetatud; Voxtral 3 lisab teksti sisse sildid [emotion=…] ja [pace=…], seade expressiveness, kohandatud häälduse (phoneme_hints) ja toetab 35 keelt. Mistral soovitab pärast üleminekut latentsusaeg uuesti mõõta. Allikad: Migrate from Voxtral 2 · Kõne genereerimine.

Voxtral Mini TTS: võrdlusmudel

Voxtrali perekonna sünteesimudel on Voxtral TTS 3, mida API-s tähistatakse kui voxtral-mini-tts-3-0 (aliasega voxtral-mini-tts-3). See on slägg, mille kirjutad igasse API-päringusse: jäta see meelde, sest see on ainus sõne selles kursuses, mida pead pähe õppima. Mudel on loodud pakkuma optimaalset tasakaalu häälekvaliteedi, latentsusaja ja kulude vahel, mis selgitab, miks see üksi katab peaaegu kõik professionaalsed kasutusjuhtumid.

Voxtral Mini TTS on häälte baasmudel. See eristus ei ole kosmeetiline: vanemad TTS-süsteemid tükeldasid teksti foneemideks ja liitsid need helipangast kokku, mille tulemuseks oli katkendlik hääl, kus iga silp tundus eelmisest sõltumatu. Voxtral seevastu genereerib kõnet, mõistes teksti semantilist konteksti. Lauses „He didn’t say that“ teab mudel, kuhu rõhk asetada, kuna on tõlgendanud lause struktuuri, luues loomuliku prosoodia ja järjekindla intonatsiooni algusest lõpuni.

Tehnilised spetsifikatsioonid

Mudelil voxtral-mini-tts-3-0 on järgmised omadused:

OmadusVäärtus
Mudeli latentsusaegUmbes 90 millisekundit enne esimest heli
Keeled35 keelt ja üle 50 murde; eelmääratud hääled 22 keeles
Hääle kloonimineNull-shot, MP3 või WAV salvestuse põhjal, ulatudes mõnest sekundist mõne minutini
Juhtimine34 emotsioonisilti, temposildid, expressiveness, kohandatud hääldus
VäljundvormingudMP3 (vaikimisi), WAV, PCM, FLAC, Opus — mono, 24 kHz
VoogedastusToetatud reaalajas
Hind seisuga 3. november 202613 USD miljoni märgi kohta

Need 90 millisekundit väärivad teist mõtet: see on viivitus enne esimese helifragmendi kättesaadavaks muutumist, mitte genereerimise kogukestus. Vestlusassistendi puhul määrab just see näitaja, kas vahetus tundub loomulik või vaevaline.

Eelintegreeritud professionaalsed hääled

Lisaks hääle kloonimisele pakub Mistral AI raamatukogu professionaalseid hääli, mis on koheseks kasutamiseks valmis. Need hääled on salvestatud stuudios ja optimeeritud erinevateks kasutusjuhtumiteks. Need osutavad projekti alguses hindamatut teenet: kui soovid veenduda, et sinu töövoog toimib enne, kui korraldad oma valitud häälnäitlejaga salvestusseanssi, võimaldab eelintegreeritud hääl kõike samal päeval testida.

Mistral Studios, veebikasutajaliideses, saad neid hääli uurida ja filtreerida kolme kriteeriumi alusel: sugu (mees või naine), hääle põhiline keel ja emotsioon, mis tähendab emotsionaalset tooni – neutraalne, entusiastlik, rahulik jne. Igaüks neist on API-s ligipääsetav oma voice_id kaudu, täpselt nagu ise kloonitud hääl: sinu kood ei muuda ühtegi rida, kui lülitud demohäälelt lõplikule häälele.

Avatud kaalud: isemajutamisvõimalused

Eelmine põlvkond, Voxtral TTS (voxtral-mini-tts-2603), avaldati koos oma kaaludega – 4 miljardi parameetriga mudel Hugging Face’is – litsentsi CC BY-NC 4.0 all. See ei ole tavapärases mõttes avatud lähtekoodiga litsents: see keelab ärilise kasutuse. See võimaldab katsetada ja luua prototüüpe oma taristus ilma ühegi häälenäidise võrgust lahkumiseta, kuid äriline toode peab kasutama API-t või sõlmima Mistral AI-ga kokkuleppe. Praeguse seisuga ei maini Voxtral TTS 3 dokumentatsioon mingeid avatud kaale.

Konfidentsiaalsusnõuetega organisatsioonide jaoks – nagu tervishoiuteenuse osutaja või valitsusasutus – tekib küsimus seega kahes osas: kas kasutus on äriline ja kas avatud mudel katab vajalikud keeled ja kvaliteedi? Kui ei, pead uurima API lepingulisi kohustusi (majutus, andmete säilitamine).

Kasutamine Mistral API kaudu

Voxtral Mini TTS-i kasutamiseks API kaudu pead esmalt initsialiseerima kliendi oma API-võtmega:

from mistralai.client import Mistral

client = Mistral(api_key="your-api-key")

Mudelile viidatakse seejärel igas genereerimispäringus selle identifikaatoriga voxtral-mini-tts-3-0. Järgmistes tundides näed, kuidas hääli luua ja kõnet genereerida; see client-objekt on kõigi järgnevate näidete lähtepunkt.

Kui eelistad koodivaba lähenemist, pakub Mistral Studio graafilist kasutajaliidest aadressil studio.mistral.ai. Seal saad kuulata olemasolevaid professionaalseid hääli, salvestada oma häält otse brauserist, testida hääle genereerimist erinevate tekstidega ja kohandada parameetreid – keel, emotsioon, vorming. See on ideaalne prototüüpimise tööriist: valideeri kümne minutiga, kas hääl sobib projektiga, ja liigu alles otsuse tegemisel koodi juurde.

Arengukava evolutsioon

Mistral AI on teatanud, et Voxtrali perekonnaga liituvad veel mudelid: kergemad mudelid sisestatud ja mobiilirakenduste jaoks, võimsamad mudelid väljendusrikka hääle genereerimiseks ja pidevad täiustused mitmekeelses kvaliteedis. Seetõttu projekteeri oma integratsioonid nii, et eraldad mudeli nime konfiguratsioonimuutujasse, selle asemel et seda koodis laiali puistata – kui järeltulija saabub, võtab üleminek aega vaid ühe rea. Seni on voxtral-mini-tts-3-0 võrdlusmudel ja katab valdava osa professionaalsetest kasutusjuhtumitest.

Peamised punktid

  • Peamine mudel on voxtral-mini-tts-3-0, optimeeritud kvaliteedi ja latentsusaja jaoks
  • Alustamiseks on saadaval eelintegreeritud professionaalsed hääled ilma helinäidiseta
  • Eelmine mudel on avatud kaaludega ja seda saab isemajutada (mitteäriline kasutus)
  • Mistral Studio pakub koodivaba testimise graafilist liidest
  • Mistral API ja Python SDK on integratsiooni sisenemispunktid