Įvadas į „Mistral“ garso galimybes
Šiame puslapyje
Atnaujinimas 2026 m. lapkričio 2 d. — „Le Chat“ dabar yra „Vibe“. Nuo 2026 m. gegužės 28 d. „Le Chat“ buvo pervadintas į Vibe (vis tame pačiame adresu chat.mistral.ai): tai vienas agentas darbui ir kodui, perimantis jūsų pokalbius, nustatymus ir prenumeratas. Senoji „Le Chat“ sąsaja vis dar pasiekiama Chat režimu; Work režimu agentai tapo įgūdžiais (kviečiami naudojant
@), atmintys dabar yra žinių bazė, o gilus tyrimas – tai „Deep Research“ įgūdis. Planai dabar vadinami „Mistral Free“, „Pro“, „Team“ ir „Enterprise“. Šioje pamokoje naudojamas pavadinimas „Vibe“; atkreipkite dėmesį, kad kai kurių čia aprašytų meniu pavadinimai arba vieta galėjo pasikeisti.
Kai DI išmoksta klausyti ir kalbėti
Po regos technologijų, garso įrašai žymi antrąją didelę „Mistral AI“ multimodalumo revoliuciją. Su Voxtral modelių šeima, „Vibe“ nebetenkina vien teksto skaitymu ir rašymu – dabar ji gali transkribuoti kalbą, dalyvauti balso pokalbiuose ir generuoti kalbą iš teksto. Trumpai tariant, ciklas užbaigtas: DI jūsų klauso, supranta ir atsako balsu. Ši pamoka pristato visas šias galimybes, o vėlesnėse pamokose jos bus išsamiai nagrinėjamos po vieną.
„Voxtral“ šeima
„Mistral“ sukūrė išsamią garso modelių suite, prekės ženklu Voxtral, kur kiekvienas atlieka specifinį vaidmenį garso apdorojimo grandinėje. Voxtral Mini Transcribe yra paketinės transkripcijos modelis (kalba į tekstą): pateikiate garso failą, o jis grąžina rašytinį tekstą nepriekaištingu tikslumu – būtent šis modelis veikia, kai įkeliate susitikimo įrašą. Voxtral Realtime yra jo realiuoju laiku veikiantis atitikmuo: sukurtas balso pokalbiams, jis transkribuoja kalbą jai skambant ultra mažu delsos laiku, konfigūruojamu iki mažiau nei 200 milisekundžių – būtent tai leidžia „Vibe“ veikti sklandžiu balso režimu. Galiausiai, Voxtral TTS veikia priešinga kryptimi: teksto virsmas kalba (text-to-speech) paverčia tekstą natūraliu balsu, turint galimybę nukopijuoti balsą iš vos kelių sekundžių įrašo.
| Funkcija | Modelis | Kalbos | Delsa |
|---|---|---|---|
| Transkripcija (STT paketas) | Voxtral Mini Transcribe V2 | 13 kalbų | Kelios sekundės vienam failui |
| Transkripcija realiuoju laiku (STT) | Voxtral Realtime | 13 kalbų | Mažiau nei 200 ms |
| Tekstas į kalbą (TTS) | Voxtral TTS | 9+ kalbų | ~90 ms (modelis) |
Kalba į tekstą: nuo balso iki teksto
Garso transkripcija – tai gebėjimas paversti balso įrašą rašytiniu tekstu, ir „Voxtral Mini Transcribe“ išsiskiria keliais aspektais. Visų pirma, jos tikslumu: žodžių klaidų rodiklis išlieka mažas net ir vidutinės kokybės įrašuose – tokiose, kokius fiksuoja telefone, padėtame konferencijų stalo viduryje. Ji taip pat atlieka kalbėtojų atskyrimą (diarization), tai reiškia, kad automatiškai atpažįsta skirtingus pokalbio dalyvius: transkripcijoje išskiriami „1 kalbėtojas“ ir „2 kalbėtojas“, o tai visiškai pakeičia susitikimų protokolų rengimą. Jos atsparumas triukšmui leidžia išlaikyti gerą tikslumą sudėtingomis sąlygomis – kavinėse, gatvėse, susitikimuose su daugeliu kalbėtojų. Galiausiai, ji apdoroja ilgus įrašus – iki 3 valandų garso viename užklausime, kas pakanka visai konferencijai aprėpti.
Kalbų aspektu palaikomos 13 kalbų: anglų, prancūzų, ispanų, vokiečių, italų, portugalų, olandų, kinų, hindi, arabų, rusų, japonų ir korėjiečių. Dažniausiems europiniams naudojimo atvejams esate gerai aprūpinti.
Tekstas į kalbą: nuo teksto iki balso
Teksto virsmas kalba veikia priešinga kryptimi: pateikiate tekstą, o „Voxtral TTS“ jį perskaito natūraliu balsu. Įspūdingiausia jos savybė – balso klonavimas: iš vos 2–3 sekundžių jūsų balso įrašo modelis gali sugeneruoti kalbą, skambančią kaip jūs. Šis klonavimas remiasi principu balso kaip instrukcijos: modelis atkuria etaloninio balso mėginio intonaciją, ritmą ir emocijas, nereikalaudamas annotuoti teksto prozodijos žymomis – pats mėginys tarnauja kaip instrukcija.
Modelis yra daugiakalbis – anglų, prancūzų, ispanų, portugalų, italų, olandų, vokiečių, hindi, arabų – ir gali net maišyti kalbas vienoje pastraipoje. Galiausiai, jis veikia srautiniu režimu: balso generavimas prasideda maždaug per 90 milisekundžių, leisdamas beveik momentaliai sąveikauti, o ne laukti tarp jūsų klausimo ir atsakymo balsu.
Kam „Vibe“ naudojamas garso įrašas?
Konkrečiai, kaip „Vibe“ naudotojui, šios galimybės virsta keturiais kasdieniais veiksmais. Galite transkribuoti susitikimą: įkeliate įrašą ir per kelias sekundes gaunate tekstinę santrauką. Galite kalbėti balsu, aktyvavę balso režimą, ir vesti natūralų pokalbį be klaviatūros. Galite klausytis atsakymų, paprašydami „Vibe“ perskaityti savo tekstą garsiai – tai patogu einant ar gaminant maistą. Ir galite diktuoti savo žinutes, kalbėdami vietoj rašymo.
Kitose pamokose žingsnis po žingsnio išsamiai nagrinėsime kiekvieną iš šių naudojimo būdų: pirmiausia failų transkripciją, tada balso režimą realiuoju laiku ir galiausiai teksto virsmą kalba.
Svarbiausi punktai
- „Voxtral“ yra „Mistral“ garso modelių šeima, apimanti transkripciją, apdorojimą realiuoju laiku ir teksto virsmą kalba
- Transkripcija palaiko 13 kalbų, kalbėtojų atskyrimą ir iki 3 valandų trukmės garso įrašus
- Teksto virsmas kalba gali nukopijuoti balsą per kelias sekundes ir kalbėti 9+ kalbomis
- „Vibe“ sistemoje viskas integruota: galite transkribuoti, kalbėti ir klausytis nenaudodami išorinių įrankių