Pereiti prie pagrindinio turinio
Lietuvių— Pasirinkite kalbą
Meniu

Voxtral TTS modeliai

Paskaita 2 iš 14 Atnaujinta 2026 m. lapkričio 3 d. Kūrėjas
Šiame puslapyje
  1. Voxtral Mini TTS: etaloninis modelis
  2. Techninės specifikacijos
  3. Integruoti profesionalūs balsai
  4. Atviri svoriai: savarankiško diegimo galimybės
  5. Naudojimas per „Mistral“ API
  6. Plėtros planas
  7. Svarbiausi punktai

Kursas atnaujintas 2026 m. lapkričio 3 d. Voxtral TTS 3 versijai, remiantis Migrate from Voxtral 2 gairėmis ir „Mistral“ Text to Speech puslapiais: voxtral-mini-tts-2603, pasenęs 2026 m. spalio 31 d. ir pašalintas 2027 m. balandžio 30 d., pavyzdžiuose pakeistas į voxtral-mini-tts-3-0. Voxtral 2 iš anksto nustatyti balsai (gb_jane_neutral…) vis dar palaikomi; Voxtral 3 tekste pridėjo [emotion=…] ir [pace=…] žymas, expressiveness nustatymą, tinkinamą tarimą (phoneme_hints) ir 35 kalbas. „Mistral“ rekomenduoja po migracijos iš naujo išmatuoti delsą. Šaltiniai: Migrate from Voxtral 2 · Speech generation.

Voxtral Mini TTS: etaloninis modelis

Sintezės modelis „Voxtral“ šeimoje yra Voxtral TTS 3, API identifikuojamas kaip voxtral-mini-tts-3-0 (aliasas voxtral-mini-tts-3). Tai yra slugas, kurį rašysi kiekviename API užklausime: įsimink jį, nes tai vienintelė šio kurso eilutė, kurią turi mokėti mintinai. Modelis sukurtas taip, kad užtikrintų optimalią garso kokybės, delsos ir kainos pusiausvyrą, todėl vienas pats padengia beveik visus profesinius naudojimo atvejus.

Voxtral Mini TTS yra balso pamatinis modelis. Šis skirtumas nėra tik kosmetinis: senesnės TTS sistemos tekstą skaidydavo į fonemas ir sujungdavo jas iš garso banko, todėl balsas skambėdavo trūkčiojančiai, o kiekvienas skiemuo atrodydavo nepriklausomas nuo ankstesnio. Voxtral, priešingai, generuoja kalbą suprasdamas teksto semantinį kontekstą. Sakinyje „He didn’t say that“ modelis žino, kur dėti kirčius, nes interpretavo sakinio struktūrą, ir sukuria natūralią prozodiją su nuoseklia intonacija nuo pradžios iki galo.

Techninės specifikacijos

Modelis voxtral-mini-tts-3-0 turi šias specifikacijas:

FunkcijaReikšmė
Modelio delsaMaždaug 90 milisekundžių iki pirmojo garso
Kalbos35 kalbos ir daugiau nei 50 tarmių; iš anksto nustatyti balsai 22 kalbomis
Balso klonavimasNulinio šotinio (zero-shot) iš MP3 arba WAV įrašo, trunkančio nuo kelių sekundžių iki kelių minučių
Valdymas34 emocijų žymos, tempo žymos, expressiveness, tinkinamas tarimas
Išvesties formataiMP3 (numatytasis), WAV, PCM, FLAC, Opus — mono, 24 kHz
Srautinis perdavimasPalaikomas realiuoju laiku
Kaina 2026 m. lapkričio 3 d.13 USD už milijoną simbolių

Šios 90 milisekundžių vertos papildomo dėmesio: tai yra delsa iki pirmojo garso fragmento prieinamumo, o ne bendra generavimo trukmė. Pokalbių asistente būtent šis rodiklis lemia, ar dialogas skambės natūraliai, ar varginančiai.

Integruoti profesionalūs balsai

Be balso klonavimo, „Mistral AI“ siūlo profesionalių balsų biblioteką, paruoštą nedelsiamam naudojimui. Šie balsai įrašyti studijoje ir optimizuoti įvairiems naudojimo atvejams. Jie suteikia neįkainojamą pagalbą projekto pradžioje: jei nori patikrinti, ar tavo duomenų srautas veikia dar prieš organizuodamas įrašymo sesiją su pasirinktu balso aktoriumi, iš anksto integruotas balsas leidžia viską ištestuoti tą pačią dieną.

„Mistral Studio“ žiniatinklio sąsajoje gali naršyti šiuos balsus ir filtruoti juos pagal tris kriterijus: lytį (vyras arba moteris), pagrindinę balso kalbą ir emociją, tai yra emocinį toną – neutralų, entuziastingą, ramų ir pan. Kiekvienas jų pasiekiamas API naudojant jo voice_id, lygiai taip pat kaip ir tavo paties klonuotas balsas: perjungus nuo demonstracinio balso į galutinį, tavo kode nereikia keisti nė vienos eilutės.

Atviri svoriai: savarankiško diegimo galimybės

Ankstesnė karta, Voxtral TTS (voxtral-mini-tts-2603), buvo išleista su savo svoriais – 4 mlrd. parametrų modeliu „Hugging Face“ platformoje – pagal CC BY-NC 4.0 licenciją. Tai nėra atviro kodo licencija įprastąja prasme: ji draudžia komercinį naudojimą. Ji leidžia eksperimentuoti ir kurti prototipus savo infrastruktūroje neišsiunčiant jokių balso pavyzdžių už tinklo ribų, tačiau komerciniam produktui reikia naudoti API arba pasiekti susitarimą su „Mistral AI“. Šiuo metu Voxtral TTS 3 dokumentacijoje neminimi jokie atviri svoriai.

Organizacijoms, kurioms taikomi konfidencialumo reikalavimai (pvz., sveikatos priežiūros paslaugų teikėjams ar vyriausybinėms agentūroms), kyla dviejų dalių klausimas: ar naudojimas yra komercinis ir ar atviras modelis apima reikiamas kalbas bei kokybę? Jei ne, turi išnagrinėti API sutartinius įsipareigojimus (prieglobą, duomenų saugojimą).

Naudojimas per „Mistral“ API

Norint naudoti Voxtral Mini TTS per API, pirmiausia reikia inicializuoti klientą su savo API raktu:

from mistralai.client import Mistral

client = Mistral(api_key="your-api-key")

Tada modelis kiekviename generavimo užklausime nurodomas jo identifikatoriumi voxtral-mini-tts-3-0. Artimiausiose pamokose pamatysi, kaip kurti balsus ir generuoti kalbą; šis client objektas bus visų tolesnių pavyzdžių atspirties taškas.

Jei mieliau renki sprendimus be kodavimo, Mistral Studio siūlo grafinę sąsają, pasiekiamą adresu studio.mistral.ai. Ten gali klausytis available profesionalių balsų, tiesiai naršyklėje įrašyti savo balsą, testuoti balso generavimą su skirtingais tekstais ir koreguoti parametrus – kalbą, emociją, formatą. Tai idealus prototipų kūrimo įrankis: per dešimt minučių patikrink, ar balsas tinka projektui, o priėmus sprendimą pereik prie kodavimo.

Plėtros planas

„Mistral AI“ paskelbė, kad prie „Voxtral“ šeimos prisijungs kitų modelių: lengvesni modeliai įterptosioms ir mobilioms programėlėms, galingesni modeliai išraiškingam balso generavimui ir nuolatiniai daugiakalbės kokybės patobulinimai. Todėl kurk integracijas taip, kad modelio pavadinimą izoliuotum konfigūracijos kintamajame, o ne išbarstytum jį visame kode – kai atsiras įpėdinis, migracija užtruks tik vieną eilutę. Kol kas voxtral-mini-tts-3-0 išlieka etalonu ir padengia didžiąją dalį profesinių naudojimo atvejų.

Svarbiausi punktai

  • Pagrindinis modelis yra voxtral-mini-tts-3-0, optimizuotas kokybei ir delsalei
  • Integruoti profesionalūs balsai available pradžiai be garso pavyzdžio
  • Ankstesnis modelis turi atvirus svorius ir gali būti diegiamas savarankiškai (nekomerciniam naudojimui)
  • „Mistral Studio“ siūlo grafinę sąsają testavimui be kodavimo
  • „Mistral“ API ir Python SDK yra integracijos įėjimo taškai