Pāriet uz galveno saturu
Latviešu— Izvēlēties valodu
Izvēlne

Modeļi Voxtral TTS

Nodarbība 2 no 14 Atjaunota 2026. gada 3. novembris Programmētājs
Šajā lapā
  1. Voxtral Mini TTS: Etalonmodelis
  2. Tehniskās specifikācijas
  3. Iepriekš integrētās profesionālās balsis
  4. Atvērtie svari: Pašmitināšanas iespējas
  5. Lietošana, izmantojot Mistral API
  6. Ceļveža evolūcija
  7. Galvenās atziņas

Kurss atjaunināts 2026. gada 3. novembrī priekš Voxtral TTS 3, balstoties uz Migrate from Voxtral 2 rokasgrāmatu un Mistral Text to Speech lapām: voxtral-mini-tts-2603, kas tika deprecated 2026. gada 31. oktobrī un izslēgts 2027. gada 30. aprīlī, piemēros tiek aizstāts ar voxtral-mini-tts-3-0. Voxtral 2 iepriekš definētās balsis (gb_jane_neutral…) joprojām tiek atbalstītas; Voxtral 3 pievieno [emotion=…] un [pace=…] tagus tekstā, iestatījumu expressiveness, pielāgotu izrunu (phoneme_hints) un 35 valodas. Mistral iesaka pēc migrācijas atkārtoti izmērīt latentumu. Avoti: Migrate from Voxtral 2 · Speech generation.

Voxtral Mini TTS: Etalonmodelis

Sintēzes modelis Voxtral saimē ir Voxtral TTS 3, kas API identificēts kā voxtral-mini-tts-3-0 (alias voxtral-mini-tts-3). Šis ir slugs, ko rakstīsi katrā API izsaukumā: iemācies to no galvas, jo tā ir vienīgā virkne šajā kursā, kas tev jāzina perfekti. Modelis ir izstrādāts, lai nodrošinātu optimālu līdzsvaru starp balss kvalitāti, latentumu un izmaksām, kas izskaidro, kāpēc tas viens pats sedz gandrīz visus profesionālos lietojumgadījumus.

Voxtral Mini TTS ir balss pamatmodelis (voice foundation model). Šī atšķirība nav tikai kosmētiska: vecākas TTS sistēmas sadalīja tekstu fonēmās un savienoja tās no skaņu bankas, radot raupjas balsis, kur katra zilbe šķita neatkarīga no iepriekšējās. Voxtral, turpretī, ģenerē runu, izprotot teksta semantisko kontekstu. Teikumā „He didn’t say that” modelis zina, kur likt uzsvaru, jo tas ir interpretējis teikuma struktūru, radot dabisku prozodiju ar konsekventu intonāciju no sākuma līdz beigām.

Tehniskās specifikācijas

Modelim voxtral-mini-tts-3-0 ir šādas specifikācijas:

IezīmeVērtība
Modeļa latentumsApmēram 90 milisekundes pirms pirmās skaņas
Valodas35 valodas un vairāk nekā 50 dialekti; iepriekš definētas balsis 22 valodās
Balss klonēšanaZero-shot, no MP3 vai WAV ieraksta, kas ilgst no dažām sekundēm līdz dažām minūtēm
Kontrole34 emociju tagi, tempa tagi, expressiveness, pielāgota izruna
Izvades formātiMP3 (noklusējums), WAV, PCM, FLAC, Opus — mono, 24 kHz
StraumēšanaAtbalstīta reāllaikā
Cena uz 2026. gada 3. novembri13 USD par miljonu rakstzīmju

Šīs 90 milisekundes ir pelnījušas otro domu: tas ir aiztures laiks pirms pirmā audio fragmenta pieejamības, nevis kopējais ģenerēšanas ilgums. Sarunu asistentā tieši šis skaitlis nosaka, vai mijiedarbība šķiet dabiska vai darbietilpīga.

Iepriekš integrētās profesionālās balsis

Papildus balss klonēšanai Mistral AI piedāvā profesionālu balsu bibliotēku, kas gatava tūlītējai lietošanai. Šīs balsis ir ierakstītas studijā un optimizētas dažādiem lietojumgadījumiem. Tās sniedz neatsveramu pakalpojumu projekta sākumā: ja vēlies pārliecināties, ka tava datu plūsma darbojas, pat pirms esi organizējis ieraksta sesiju ar izvēlēto balss aktieri, iepriekš integrēta balss ļauj visu pārbaudīt tajā pašā dienā.

Mistral Studio, tīmekļa saskarnē, vari izpētīt šīs balsis un filtrēt tās pēc trim kritērijiem: dzimuma (vīrietis vai sieviete), balss primārās valodas un emocijas, kas nozīmē emocionālo toni — neitrāls, entuziasma pilns, mierīgs utt. Katra no tām ir pieejama API, izmantojot tās voice_id, tieši tāpat kā pašam klonēta balss: tavs kods nemaina nevienu rindiņu, pārejot no demonstrācijas balss uz gala balssi.

Atvērtie svari: Pašmitināšanas iespējas

Iepriekšējā paaudze, Voxtral TTS (voxtral-mini-tts-2603), tika izlaista ar saviem svariem — 4 miljardu parametru modelis vietnē Hugging Face — ar licenci CC BY-NC 4.0. Tā nav atvērtā pirmkoda licence parastajā nozīmē: tā aizliedz komerciālu izmantošanu. Tā ļauj eksperimentēt un veidot prototipus savā infrastruktūrā, neatstājot nevienu balss paraugu ārpus tava tīkla, taču komerciālam produktam ir jāizmanto API vai jāpanāk vienošanās ar Mistral AI. Šobrīd Voxtral TTS 3 dokumentācijā nav minēti nekādi atvērtie svari.

Organizācijām, uz kurām attiecas konfidencialitātes ierobežojumi — piemēram, veselības aprūpes sniedzējiem vai valsts iestādēm — jautājums līdz ar to rodas divās daļās: vai lietojums ir komerciāls un vai atvērtais modelis aptver nepieciešamās valodas un kvalitāti? Ja nē, ir jāizvērtē API līgumiskās saistības (mitināšana, datu glabāšana).

Lietošana, izmantojot Mistral API

Lai lietotu Voxtral Mini TTS, izmantojot API, vispirms ir jāinicializē klients ar savu API atslēgu:

from mistralai.client import Mistral

client = Mistral(api_key="your-api-key")

Tad modelis tiek atsaukts pēc tā identifikatora voxtral-mini-tts-3-0 katrā ģenerēšanas izsaukumā. Turpmākajās nodarbībās redzēsi, kā izveidot balsis un ģenerēt runu; šis client objekts būs sākumpunkts visiem turpmākajiem piemēriem.

Ja dod priekšroku pieejai bez kodēšanas, Mistral Studio piedāvā grafisko saskarni, kas pieejama vietnē studio.mistral.ai. Tur vari noklausīties pieejamās profesionālās balsis, ierakstīt savu balsi tieši no pārlūka, pārbaudīt balss ģenerēšanu ar dažādiem tekstiem un pielāgot parametrus — valodu, emociju, formātu. Tas ir ideāls prototipēšanas rīks: desmit minūtēs apstiprini, ka balss atbilst projektam, un tikai pēc lēmuma pieņemšanas pārej pie kodēšanas.

Ceļveža evolūcija

Mistral AI ir paziņojusi, ka Voxtral saimei pievienosies citi modeļi: vieglāki modeļi iegultām un mobilām lietotnēm, jaudīgāki modeļi ekspresīvai balss ģenerēšanai un nepārtraukti uzlabojumi daudzvalodu kvalitātē. Tāpēc veido savas integrācijas, izolējot modeļa nosaukumu konfigurācijas mainīgajā, nevis izkaisot to visā kodā — dienā, kad parādīsies pēctecis, migrācija prasīs tikai vienu rindiņu. Līdz tam voxtral-mini-tts-3-0 paliek etalons un aptver lielāko daļu profesionālo lietojumgadījumu.

Galvenās atziņas

  • Galvenais modelis ir voxtral-mini-tts-3-0, optimizēts kvalitātei un latentumam
  • Pieejamas iepriekš integrētas profesionālās balsis, lai sāktu darbu bez audio parauga
  • Iepriekšējais modelis ir ar atvērtiem svariem un var tikt pašmitināts (nekomerciālai lietošanai)
  • Mistral Studio piedāvā grafisko saskarni testēšanai bez kodēšanas
  • Mistral API un Python SDK ir ieejas punkti integrācijai