Pereiti prie pagrindinio turinio
Lietuvių— Pasirinkite kalbą
Meniu

Įvadas į „Voxtral TTS“

Paskaita 1 iš 14 Atnaujinta 2026 m. lapkričio 3 d. Kūrėjas
Šiame puslapyje
  1. Teksto pavertimas kalba įžengia į naują erą
  2. Kas yra klonavimas be papildomo mokymo (zero-shot)?
  3. Kodėl „Voxtral“ keičia taisykles
  4. Ko išmoksi
  5. Svarbiausi punktai

Kursas atnaujintas 2026 m. lapkričio 3 d. „Voxtral TTS 3“ versijai, remiantis Migrate from Voxtral 2 gairėmis ir „Mistral“ Text to Speech puslapiais: voxtral-mini-tts-2603, pasenęs 2026 m. spalio 31 d. ir pašalintas 2027 m. balandžio 30 d., pavyzdžiuose pakeistas į voxtral-mini-tts-3-0. „Voxtral 2“ iš anksto nustatyti balsai (gb_jane_neutral…) vis dar palaikomi; „Voxtral 3“ tekste pridėjo [emotion=…] ir [pace=…] žymas, expressiveness nustatymą, tinkinamą tarimą (phoneme_hints) ir 35 kalbas. „Mistral“ rekomenduoja po migracijos iš naujo išmatuoti delsą. Šaltiniai: Migrate from Voxtral 2 · Speech generation.

Teksto pavertimas kalba įžengia į naują erą

2026 m. kovą „Mistral AI“ paleido „Voxtral TTS“ – teksto pavertimo kalba variklį, kuris peržengia anksčiau buvusias ribas. Norint įvertinti šį šuolį, verta prisiminti, ko reikalavo ankstesnė karta: norint gauti įtikinamą balsą, reikėdavo atsivesti aktorių į studiją, įrašyti valandas skaitomo teksto ir tada apmokyti modelį pagal tą korpusą. „Voxtral“ taiko kitokį požiūrį – klonuoja balsą be papildomo mokymo (zero-shot voice cloning): pakanka kelių sekundžių garso įrašo, kad būtų užfiksuotas balso tembras, ritmas ir niuansai.

Šis proveržis remiasi pamatiniu modeliu, specialiai apmokytu kalbos generavimui. „Voxtral“ ne tik atkuria fonemas – jis supranta prozodiją, emocijas ir kalbinius subtilybes 35 kalbomis ir daugiau nei 50 dialektų naudodamas „Voxtral TTS 3“ (ankstesnė karta apėmė tik 9). Skirtumą girdite klausiamajame sakinyje ar įterptinėje pastaboje: ten, kur senesnė sistema skaitytų monotoniškai, „Voxtral“ tinkamai deda kirčius, nes prieš tar damas perskaito visą sakinį.

~90 ms
Modelio delsa
9
Palaikomos kalbos
Zero-shot
Balso klonavimas
Atviro kodo
Galimas modelis

Kas yra klonavimas be papildomo mokymo (zero-shot)?

Sąvoka zero-shot reiškia, kad modeliui nereikia papildomai mokytis norint atkurti naują balsą. Pateiki kelias sekundes ar kelias minutes trunkantį įrašą MP3 arba WAV formatu, o „Voxtral“ automatiškai užfiksuoja vokalo charakteristikas: tembrą, intonaciją, ritmą ir akcentą. Nėra mokymo etapo, jokių papildomų skaičiavimo išlaidų ir laukimo – mėginys analizuojamas užklausos pateikimo metu.

Įsivaizduok mokymų vadovą, kuriam reikia įgarsinti e. mokymosi modulį. Ji dvidešimt sekundžių įrašo balsą naudodama ausines, sukuria savo tinkintą balsą ir iškart gauna pasakotoją, kuris skamba kaip ji. Šį balsą ji taip pat gali nuklonuoti tiesiogiai API užklausos metu net neišsaugodama jo, jei poreikis vienkartinis. O kai modulį reikia parengti anglų ir ispanų kalbomis, tas pats balsas išlaiko savo tapatybę skirtingomis kalbomis: klausytojas atpažįsta asmenį, o ne tris skirtingus pasakotojus.

Kodėl „Voxtral“ keičia taisykles

Tradiciniai TTS sprendimai – „Google Cloud TTS“, „Amazon Polly“, „Azure Speech“ – siūlo įvairios kokybės iš anksto įrašytus balsus, kuriuos tenka naudoti tokius, kokie jie yra. Naujesni sprendimai, pavyzdžiui, „ElevenLabs“, siūlo balso klonavimą, tačiau lieka nuosavybiniai ir brangūs: nuomojatės prieigą, bet niekada nekontroliuojate paties variklio.

„Voxtral“ išsiskiria trimis vienas kitą stiprinančiais aspektais. Ankstesnė karta, „Voxtral TTS“, buvo išleista su svoriais pagal CC BY-NC 4.0 licenciją: ją galima diegti savo infrastruktūroje nekomerciniam naudojimui, o tai svarbu viešajam sektoriui ar sveikatos priežiūros įstaigai, kuri negali leisti darbuotojų balsams išeiti už savo sienų. „Mistral API“ taip pat suteikia paprastą prieigą per „Python“ SDK, valdant balsus, transliuojant srautiniu būdu ir naudojant kelis garso formatus, todėl galite sukurti prototipą keliomis eilutėmis prieš svarstydami savarankišką diegimą. Galiausiai, daugiakalbis palaikymas yra integruotas: skirtingai nei sprendimai, kurie kalbas prideda kaip papildomą sluoksnį, „Voxtral“ buvo apmokytas daugeliui kalbų – 35 kalbos naudojant „Voxtral TTS 3“ – su natūraliais perėjimais tarp jų – anglų tikrinis daiktavardis prancūziškame sakinyje nebeiššaukia toninio lūžio, būdingo senesniems varikliams.

Ko išmoksi

Šis kursas supažindins tave su visomis „Voxtral TTS“ funkcijomis. Pradėsi nuo architektūros ir galimų modelių supratimo, tada išmoksi kurti ir valdyti tinkintus balsus naudodamas API. Toliau generuosi kalbą realiuoju laiku naudodamas srautinį perdavimą, prieš pereidamas prie delsos optimizavimo ir tinkamo garso formato pasirinkimo. Kelionė baigiasi kuriant visą balso vamzdyną – nuo kalbos atpažinimo iki sintezės per LLM (STT → LLM → TTS).

Kalbant apie būtinas sąlygas, tavo kompiuteryje turi būti įdiegtas Python 3.10+ (mažiausia versija, reikalinga „Mistral“ SDK nuo 2.0 versijos), turi turėti „Mistral AI“ paskyrą su API raktu ir „Mistral Python“ SDK, gautą vykdant pip install mistralai. Pakanka pagrindinių „Python“ žinių – kintamieji, funkcijos, bibliotekos: joks šio kurso kodas neviršija trisdešimties eilučių.

Svarbiausi punktai

  • „Voxtral TTS“ yra „Mistral AI“ teksto pavertimo kalba variklis, paleistas 2026 m. kovą
  • Klonavimas be papildomo mokymo (zero-shot) atkuria balsą iš MP3 arba WAV įrašo, trunkančio nuo kelių sekundžių iki kelių minučių
  • „Voxtral TTS 3“ apima 35 kalbas ir daugiau nei 50 dialektų, o prieš pasigirstant pirmajam garsui delsa siekia apie 90 ms
  • Ankstesnės kartos svoriai publikuoti pagal CC BY-NC 4.0 licenciją (naudojimui nekomerciniais tikslais)
  • „Mistral API“ suteikia išsamų „Python“ SDK balsų valdymui ir kalbos generavimui