Modeļi Voxtral TTS
Šajā lapā
Kurss atjaunināts 2026. gada 3. novembrī priekš Voxtral TTS 3, balstoties uz Migrate from Voxtral 2 rokasgrāmatu un Mistral Text to Speech lapām:
voxtral-mini-tts-2603, kas tika deprecated 2026. gada 31. oktobrī un izslēgts 2027. gada 30. aprīlī, piemēros tiek aizstāts arvoxtral-mini-tts-3-0. Voxtral 2 iepriekš definētās balsis (gb_jane_neutral…) joprojām tiek atbalstītas; Voxtral 3 pievieno[emotion=…]un[pace=…]tagus tekstā, iestatījumuexpressiveness, pielāgotu izrunu (phoneme_hints) un 35 valodas. Mistral iesaka pēc migrācijas atkārtoti izmērīt latentumu. Avoti: Migrate from Voxtral 2 · Speech generation.
Voxtral Mini TTS: Etalonmodelis
Sintēzes modelis Voxtral saimē ir Voxtral TTS 3, kas API identificēts kā voxtral-mini-tts-3-0 (alias voxtral-mini-tts-3). Šis ir slugs, ko rakstīsi katrā API izsaukumā: iemācies to no galvas, jo tā ir vienīgā virkne šajā kursā, kas tev jāzina perfekti. Modelis ir izstrādāts, lai nodrošinātu optimālu līdzsvaru starp balss kvalitāti, latentumu un izmaksām, kas izskaidro, kāpēc tas viens pats sedz gandrīz visus profesionālos lietojumgadījumus.
Voxtral Mini TTS ir balss pamatmodelis (voice foundation model). Šī atšķirība nav tikai kosmētiska: vecākas TTS sistēmas sadalīja tekstu fonēmās un savienoja tās no skaņu bankas, radot raupjas balsis, kur katra zilbe šķita neatkarīga no iepriekšējās. Voxtral, turpretī, ģenerē runu, izprotot teksta semantisko kontekstu. Teikumā „He didn’t say that” modelis zina, kur likt uzsvaru, jo tas ir interpretējis teikuma struktūru, radot dabisku prozodiju ar konsekventu intonāciju no sākuma līdz beigām.
Tehniskās specifikācijas
Modelim voxtral-mini-tts-3-0 ir šādas specifikācijas:
| Iezīme | Vērtība |
|---|---|
| Modeļa latentums | Apmēram 90 milisekundes pirms pirmās skaņas |
| Valodas | 35 valodas un vairāk nekā 50 dialekti; iepriekš definētas balsis 22 valodās |
| Balss klonēšana | Zero-shot, no MP3 vai WAV ieraksta, kas ilgst no dažām sekundēm līdz dažām minūtēm |
| Kontrole | 34 emociju tagi, tempa tagi, expressiveness, pielāgota izruna |
| Izvades formāti | MP3 (noklusējums), WAV, PCM, FLAC, Opus — mono, 24 kHz |
| Straumēšana | Atbalstīta reāllaikā |
| Cena uz 2026. gada 3. novembri | 13 USD par miljonu rakstzīmju |
Šīs 90 milisekundes ir pelnījušas otro domu: tas ir aiztures laiks pirms pirmā audio fragmenta pieejamības, nevis kopējais ģenerēšanas ilgums. Sarunu asistentā tieši šis skaitlis nosaka, vai mijiedarbība šķiet dabiska vai darbietilpīga.
Iepriekš integrētās profesionālās balsis
Papildus balss klonēšanai Mistral AI piedāvā profesionālu balsu bibliotēku, kas gatava tūlītējai lietošanai. Šīs balsis ir ierakstītas studijā un optimizētas dažādiem lietojumgadījumiem. Tās sniedz neatsveramu pakalpojumu projekta sākumā: ja vēlies pārliecināties, ka tava datu plūsma darbojas, pat pirms esi organizējis ieraksta sesiju ar izvēlēto balss aktieri, iepriekš integrēta balss ļauj visu pārbaudīt tajā pašā dienā.
Mistral Studio, tīmekļa saskarnē, vari izpētīt šīs balsis un filtrēt tās pēc trim kritērijiem: dzimuma (vīrietis vai sieviete), balss primārās valodas un emocijas, kas nozīmē emocionālo toni — neitrāls, entuziasma pilns, mierīgs utt. Katra no tām ir pieejama API, izmantojot tās voice_id, tieši tāpat kā pašam klonēta balss: tavs kods nemaina nevienu rindiņu, pārejot no demonstrācijas balss uz gala balssi.
Atvērtie svari: Pašmitināšanas iespējas
Iepriekšējā paaudze, Voxtral TTS (voxtral-mini-tts-2603), tika izlaista ar saviem svariem — 4 miljardu parametru modelis vietnē Hugging Face — ar licenci CC BY-NC 4.0. Tā nav atvērtā pirmkoda licence parastajā nozīmē: tā aizliedz komerciālu izmantošanu. Tā ļauj eksperimentēt un veidot prototipus savā infrastruktūrā, neatstājot nevienu balss paraugu ārpus tava tīkla, taču komerciālam produktam ir jāizmanto API vai jāpanāk vienošanās ar Mistral AI. Šobrīd Voxtral TTS 3 dokumentācijā nav minēti nekādi atvērtie svari.
Organizācijām, uz kurām attiecas konfidencialitātes ierobežojumi — piemēram, veselības aprūpes sniedzējiem vai valsts iestādēm — jautājums līdz ar to rodas divās daļās: vai lietojums ir komerciāls un vai atvērtais modelis aptver nepieciešamās valodas un kvalitāti? Ja nē, ir jāizvērtē API līgumiskās saistības (mitināšana, datu glabāšana).
Lietošana, izmantojot Mistral API
Lai lietotu Voxtral Mini TTS, izmantojot API, vispirms ir jāinicializē klients ar savu API atslēgu:
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
Tad modelis tiek atsaukts pēc tā identifikatora voxtral-mini-tts-3-0 katrā ģenerēšanas izsaukumā. Turpmākajās nodarbībās redzēsi, kā izveidot balsis un ģenerēt runu; šis client objekts būs sākumpunkts visiem turpmākajiem piemēriem.
Ja dod priekšroku pieejai bez kodēšanas, Mistral Studio piedāvā grafisko saskarni, kas pieejama vietnē studio.mistral.ai. Tur vari noklausīties pieejamās profesionālās balsis, ierakstīt savu balsi tieši no pārlūka, pārbaudīt balss ģenerēšanu ar dažādiem tekstiem un pielāgot parametrus — valodu, emociju, formātu. Tas ir ideāls prototipēšanas rīks: desmit minūtēs apstiprini, ka balss atbilst projektam, un tikai pēc lēmuma pieņemšanas pārej pie kodēšanas.
Ceļveža evolūcija
Mistral AI ir paziņojusi, ka Voxtral saimei pievienosies citi modeļi: vieglāki modeļi iegultām un mobilām lietotnēm, jaudīgāki modeļi ekspresīvai balss ģenerēšanai un nepārtraukti uzlabojumi daudzvalodu kvalitātē. Tāpēc veido savas integrācijas, izolējot modeļa nosaukumu konfigurācijas mainīgajā, nevis izkaisot to visā kodā — dienā, kad parādīsies pēctecis, migrācija prasīs tikai vienu rindiņu. Līdz tam voxtral-mini-tts-3-0 paliek etalons un aptver lielāko daļu profesionālo lietojumgadījumu.
Galvenās atziņas
- Galvenais modelis ir
voxtral-mini-tts-3-0, optimizēts kvalitātei un latentumam - Pieejamas iepriekš integrētas profesionālās balsis, lai sāktu darbu bez audio parauga
- Iepriekšējais modelis ir ar atvērtiem svariem un var tikt pašmitināts (nekomerciālai lietošanai)
- Mistral Studio piedāvā grafisko saskarni testēšanai bez kodēšanas
- Mistral API un Python SDK ir ieejas punkti integrācijai