Pāriet uz galveno saturu
Latviešu— Izvēlēties valodu
Izvēlne

Ievads Voxtral TTS

Nodarbība 1 no 14 Atjaunota 2026. gada 3. novembris Programmētājs
Šajā lapā
  1. Teksta pārvēršana runā ieiet jaunā ērā
  2. Kas ir nulles-shot klonēšana?
  3. Kāpēc Voxtral maina spēles noteikumus
  4. Ko tu iemācīsies
  5. Galvenās atziņas

Kurss atjaunināts 2026. gada 3. novembrī priekš Voxtral TTS 3, balstoties uz Migrācija no Voxtral 2 rokasgrāmatu un Mistral Teksts uz runu lapām: voxtral-mini-tts-2603, kas deprecated 2026. gada 31. oktobrī un izslēgts 2027. gada 30. aprīlī, piemēros tiek aizstāts ar voxtral-mini-tts-3-0. Voxtral 2 iepriekš definētās balsis (gb_jane_neutral…) joprojām tiek atbalstītas; Voxtral 3 pievieno [emotion=…] un [pace=…] tagus tekstā, expressiveness iestatījumu, pielāgotu izrunu (phoneme_hints) un 35 valodas. Mistral iesaka pēc migrācijas atkārtoti izmērīt latentumu. Avoti: Migrācija no Voxtral 2 · Runas ģenerēšana.

Teksta pārvēršana runā ieiet jaunā ērā

  1. gada martā Mistral AI laida klajā Voxtral TTS – teksta pārvēršanas runā dzinēju, kas paplašina iepriekš iespējamo robežas. Lai novērtētu šo lēcienu, atceries, ko prasīja iepriekšējā paaudze: lai iegūtu pārliecinošu balsi, bija jāieved balss aktieris studijā, jāieraksta stundas ilgs lasījums un pēc tam jāapmāca modelis uz šī kopuma. Voxtral izvēlas citu pieeju ar nulles-shot balss klonēšanu: pietiek ar dažām audio sekundēm, lai notvertu balss tembru, ritmu un nianses.

Šis izrāviens balstās uz pamatmodeli, kas īpaši apmācīts runas ģenerēšanai. Voxtral ne tikai atveido fonēmas – tas saprot prozodiju, emocijas un valodas smalkumus 35 valodās un vairāk nekā 50 dialektos ar Voxtral TTS 3, ieskaitot franču valodu (iepriekšējā paaudze aptvēra 9). Dzirdami atšķirības jautājuma teikumā vai ievietotā piezīmē: tur, kur vecāka sistēma lasītu vienmuļi, Voxtral pareizi liek uzsvaru, jo tas izlasa visu teikumu pirms tā izrunāšanas.

~90 ms
Modeļa latentums
9
Atbalstītās valodas
Nulles-shot
Balss klonēšana
Atvērtā koda
Pieejams modelis

Kas ir nulles-shot klonēšana?

Termins nulles-shot nozīmē, ka modelim nav nepieciešama atkārtota apmācība, lai atveidotu jaunu balsi. Tu nodrocini ierakstu, kas ilgst no dažām sekundēm līdz dažām minūtēm, MP3 vai WAV formātā, un Voxtral automātiski uztver balss īpašības: tembru, intonāciju, ritmu un akcentu. Nav apmācības fāzes, nav papildu aprēķinu izmaksu un nav gaidīšanas perioda – paraugs tiek analizēts pieprasījuma brīdī.

Iedomājies apmācību vadītāju, kurai jāierunā e-mācību modulis. Viņa ieraksta divdesmit sekundes ar austiņām, izveido savu pielāgoto balsi un uzreiz iegūst stāstnieku, kas skan tieši tāpat kā viņa. Viņa var arī klonēt šo balsi uzreiz tieši API pieprasījumā, to pat nesaglabājot, ja vajadzība ir vienreizēja. Un, kad modulis jāproducē angļu un spāņu valodā, tā pati balss saglabā savu identitāti pāri valodām: klausītājs atpazīst personu, nevis trīs dažādus stāstniekus.

Kāpēc Voxtral maina spēles noteikumus

Tradicionālie TTS risinājumi – Google Cloud TTS, Amazon Polly, Azure Speech – piedāvā iepriekš ierakstītas dažādas kvalitātes balsis, kuras jāpieņem tādas, kādas tās ir. Jaunāki risinājumi, piemēram, ElevenLabs, piedāvā balss klonēšanu, bet paliek proprietāri un dārgi: tu īrē piekļuvi, nekad nekontrolējot dzinēju.

Voxtral izceļas trīs savstarpēji pastiprinošos virzienos. Iepriekšējā paaudze, Voxtral TTS, tika izlaista ar saviem svariem zem CC BY-NC 4.0 licences: izmitināma tavā paša infrastruktūrā nekomerciālai lietošanai, kas ir svarīgi publiskajam sektoram vai veselības aprūpes iestādei, kas nevar ļaut darbinieku balsīm pamest tās telpas. Mistral API arī nodrošina vienkāršu piekļuvi caur Python SDK, ar balss pārvaldību, straumēšanu un vairākiem audio formātiem, ļaujot tev izstrādāt prototipu dažās rindās pirms apsvērt pašizmitināšanu. Visbeidzot, daudzvalodu atbalsts ir iebūvēts: atšķirībā no risinājumiem, kas pievieno valodas kā pārklājumu, Voxtral tika apmācīts daudzām valodām – 35 ar Voxtral TTS 3 – ar dabiskām pārejām starp tām – angļu īpašvārds franču teikumā vairs neizraisa tonālo pārtraukumu, kas raksturīgs vecākiem dzinējiem.

Ko tu iemācīsies

Šis kurss tevi iepazīstinās ar visām Voxtral TTS funkcijām. Tu sāksi ar arhitektūras un pieejamo modeļu izpratni, tad iemācīsies izveidot un pārvaldīt pielāgotas balsis, izmantojot API. Tālāk tu ģenerēsi runu reāllaikā ar straumēšanu, pirms ķersies pie latentuma optimizācijas un pareizā audio formāta izvēles. Ceļojums noslēdzas ar pilnīgas balss cauruļvada izveidi, sākot no runas atpazīšanas līdz sintēzei, izmantojot LLM (STT → LLM → TTS).

Attiecībā uz priekšnoteikumiem, tev būs nepieciešams Python 3.10+ (minimālā versija, ko prasa Mistral SDK kopš 2.0 versijas), kas instalēts tavā datorā, Mistral AI konts ar API atslēgu un Mistral Python SDK, kas iegūts caur pip install mistralai. Pietiek ar pamata Python zināšanām – mainīgie, funkcijas, bibliotēkas: neviens kods šajā kursā nepārsniedz trīsdesmit rindas.

Galvenās atziņas

  • Voxtral TTS ir Mistral AI teksta pārvēršanas runā dzinējs, kas laists klajā 2026. gada martā
  • Nulles-shot klonēšana atveido balsi no MP3 vai WAV ieraksta, kas ilgst no dažām sekundēm līdz dažām minūtēm
  • Voxtral TTS 3 aptver 35 valodas un vairāk nekā 50 dialektus, ar aptuveni 90 ms līdz pirmajai skaņai
  • Iepriekšējās paaudzes svari ir publicēti zem CC BY-NC 4.0 licences (nekomerciālai lietošanai)
  • Mistral API nodrošina pilnu Python SDK balss pārvaldībai un runas ģenerēšanai