Voxtrali TTS-mudelid
Sellel lehel
Kursust uuendati 3. novembril 2026 Voxtral TTS 3 jaoks, tuginedes juhendile Migrate from Voxtral 2 ja Mistrali lehele Text to Speech:
voxtral-mini-tts-2603, mis tunnistati aegunuks 31. oktoobril 2026 ja lõpetati 30. aprillil 2027, on näidetes asendatud mudeligavoxtral-mini-tts-3-0. Voxtral 2 eelmääratud hääled (gb_jane_neutral…) on endiselt toetatud; Voxtral 3 lisab teksti sisse sildid[emotion=…]ja[pace=…], seadeexpressiveness, kohandatud häälduse (phoneme_hints) ja toetab 35 keelt. Mistral soovitab pärast üleminekut latentsusaeg uuesti mõõta. Allikad: Migrate from Voxtral 2 · Kõne genereerimine.
Voxtral Mini TTS: võrdlusmudel
Voxtrali perekonna sünteesimudel on Voxtral TTS 3, mida API-s tähistatakse kui voxtral-mini-tts-3-0 (aliasega voxtral-mini-tts-3). See on slägg, mille kirjutad igasse API-päringusse: jäta see meelde, sest see on ainus sõne selles kursuses, mida pead pähe õppima. Mudel on loodud pakkuma optimaalset tasakaalu häälekvaliteedi, latentsusaja ja kulude vahel, mis selgitab, miks see üksi katab peaaegu kõik professionaalsed kasutusjuhtumid.
Voxtral Mini TTS on häälte baasmudel. See eristus ei ole kosmeetiline: vanemad TTS-süsteemid tükeldasid teksti foneemideks ja liitsid need helipangast kokku, mille tulemuseks oli katkendlik hääl, kus iga silp tundus eelmisest sõltumatu. Voxtral seevastu genereerib kõnet, mõistes teksti semantilist konteksti. Lauses „He didn’t say that“ teab mudel, kuhu rõhk asetada, kuna on tõlgendanud lause struktuuri, luues loomuliku prosoodia ja järjekindla intonatsiooni algusest lõpuni.
Tehnilised spetsifikatsioonid
Mudelil voxtral-mini-tts-3-0 on järgmised omadused:
| Omadus | Väärtus |
|---|---|
| Mudeli latentsusaeg | Umbes 90 millisekundit enne esimest heli |
| Keeled | 35 keelt ja üle 50 murde; eelmääratud hääled 22 keeles |
| Hääle kloonimine | Null-shot, MP3 või WAV salvestuse põhjal, ulatudes mõnest sekundist mõne minutini |
| Juhtimine | 34 emotsioonisilti, temposildid, expressiveness, kohandatud hääldus |
| Väljundvormingud | MP3 (vaikimisi), WAV, PCM, FLAC, Opus — mono, 24 kHz |
| Voogedastus | Toetatud reaalajas |
| Hind seisuga 3. november 2026 | 13 USD miljoni märgi kohta |
Need 90 millisekundit väärivad teist mõtet: see on viivitus enne esimese helifragmendi kättesaadavaks muutumist, mitte genereerimise kogukestus. Vestlusassistendi puhul määrab just see näitaja, kas vahetus tundub loomulik või vaevaline.
Eelintegreeritud professionaalsed hääled
Lisaks hääle kloonimisele pakub Mistral AI raamatukogu professionaalseid hääli, mis on koheseks kasutamiseks valmis. Need hääled on salvestatud stuudios ja optimeeritud erinevateks kasutusjuhtumiteks. Need osutavad projekti alguses hindamatut teenet: kui soovid veenduda, et sinu töövoog toimib enne, kui korraldad oma valitud häälnäitlejaga salvestusseanssi, võimaldab eelintegreeritud hääl kõike samal päeval testida.
Mistral Studios, veebikasutajaliideses, saad neid hääli uurida ja filtreerida kolme kriteeriumi alusel: sugu (mees või naine), hääle põhiline keel ja emotsioon, mis tähendab emotsionaalset tooni – neutraalne, entusiastlik, rahulik jne. Igaüks neist on API-s ligipääsetav oma voice_id kaudu, täpselt nagu ise kloonitud hääl: sinu kood ei muuda ühtegi rida, kui lülitud demohäälelt lõplikule häälele.
Avatud kaalud: isemajutamisvõimalused
Eelmine põlvkond, Voxtral TTS (voxtral-mini-tts-2603), avaldati koos oma kaaludega – 4 miljardi parameetriga mudel Hugging Face’is – litsentsi CC BY-NC 4.0 all. See ei ole tavapärases mõttes avatud lähtekoodiga litsents: see keelab ärilise kasutuse. See võimaldab katsetada ja luua prototüüpe oma taristus ilma ühegi häälenäidise võrgust lahkumiseta, kuid äriline toode peab kasutama API-t või sõlmima Mistral AI-ga kokkuleppe. Praeguse seisuga ei maini Voxtral TTS 3 dokumentatsioon mingeid avatud kaale.
Konfidentsiaalsusnõuetega organisatsioonide jaoks – nagu tervishoiuteenuse osutaja või valitsusasutus – tekib küsimus seega kahes osas: kas kasutus on äriline ja kas avatud mudel katab vajalikud keeled ja kvaliteedi? Kui ei, pead uurima API lepingulisi kohustusi (majutus, andmete säilitamine).
Kasutamine Mistral API kaudu
Voxtral Mini TTS-i kasutamiseks API kaudu pead esmalt initsialiseerima kliendi oma API-võtmega:
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
Mudelile viidatakse seejärel igas genereerimispäringus selle identifikaatoriga voxtral-mini-tts-3-0. Järgmistes tundides näed, kuidas hääli luua ja kõnet genereerida; see client-objekt on kõigi järgnevate näidete lähtepunkt.
Kui eelistad koodivaba lähenemist, pakub Mistral Studio graafilist kasutajaliidest aadressil studio.mistral.ai. Seal saad kuulata olemasolevaid professionaalseid hääli, salvestada oma häält otse brauserist, testida hääle genereerimist erinevate tekstidega ja kohandada parameetreid – keel, emotsioon, vorming. See on ideaalne prototüüpimise tööriist: valideeri kümne minutiga, kas hääl sobib projektiga, ja liigu alles otsuse tegemisel koodi juurde.
Arengukava evolutsioon
Mistral AI on teatanud, et Voxtrali perekonnaga liituvad veel mudelid: kergemad mudelid sisestatud ja mobiilirakenduste jaoks, võimsamad mudelid väljendusrikka hääle genereerimiseks ja pidevad täiustused mitmekeelses kvaliteedis. Seetõttu projekteeri oma integratsioonid nii, et eraldad mudeli nime konfiguratsioonimuutujasse, selle asemel et seda koodis laiali puistata – kui järeltulija saabub, võtab üleminek aega vaid ühe rea. Seni on voxtral-mini-tts-3-0 võrdlusmudel ja katab valdava osa professionaalsetest kasutusjuhtumitest.
Peamised punktid
- Peamine mudel on
voxtral-mini-tts-3-0, optimeeritud kvaliteedi ja latentsusaja jaoks - Alustamiseks on saadaval eelintegreeritud professionaalsed hääled ilma helinäidiseta
- Eelmine mudel on avatud kaaludega ja seda saab isemajutada (mitteäriline kasutus)
- Mistral Studio pakub koodivaba testimise graafilist liidest
- Mistral API ja Python SDK on integratsiooni sisenemispunktid