Pāriet uz galveno saturu
Latviešu— Izvēlēties valodu
Izvēlne

Ievads Mistral audio iespējās

Nodarbība 5 no 14 Atjaunota 2026. gada 2. novembris Iesācējs
Šajā lapā
  1. Kad AI iemācās klausīties un runāt
  2. Saime Voxtral
  3. Runa uz tekstu: no balss uz tekstu
  4. Teksts uz runu: no teksta uz balsi
  5. Kam audio tiek izmantots Vibe?
  6. Galvenās atziņas

Atjauninājums 2026. gada 2. novembrī — Le Chat tagad ir Vibe. Kopš 2026. gada 28. maija Le Chat ir pārdēvēts par Vibe (joprojām adresē chat.mistral.ai): tas ir vienots aģents darbam un kodēšanai, kas saglabā tavas sarunas, iestatījumus un abonementus. Vecais Le Chat interfeiss joprojām ir pieejams režīmā Chat; režīmā Work aģenti ir kļuvuši par prasmēm (izsaucamas ar @), atmiņas tagad ir zināšanu bāze, bet padziļinātā izpēte ir prasme Deep Research. Plāni tagad tiek dēvēti par Mistral Free, Pro, Team un Enterprise. Šajā nodarbībā lietots nosaukums Vibe; ņem vērā, ka dažu šeit aprakstīto izvēlņu nosaukumi vai atrašanās vietas var būt mainījušies.

Kad AI iemācās klausīties un runāt

Pēc redzes maņas audio apstrāde ir Mistral AI otra lielā multimodālā revolūcija. Ar modeļu saimi Voxtral Vibe vairs tikai nelasa un neraksta tekstu — tas tagad spēj transkribēt runu, piedalīties balss sarunās un ģenerēt runu no teksta. Īsāk sakot, cikls ir noslēdzies: AI tevi dzird, saprot un atbild skaļi. Šī nodarbība iepazīstina ar visām šīm iespējām, pirms turpmākās nodarbības tās izklāsta pa vienai.

Saime Voxtral

Mistral ir izstrādājis visaptverošu audio modeļu kopumu ar zīmolu Voxtral, kur katrs modelis pilda konkrētu lomu audio procesā. Voxtral Mini Transcribe ir partijas transkripcijas modelis (runa uz tekstu): tam iesniedz audio failu, un tas atgriež rakstītu tekstu ar izcilu precizitāti — šis modelis darbojas, kad augšupielādē sapulces ierakstu. Voxtral Realtime ir tā reāllaika variants: tas ir paredzēts balss sarunām un transkribē runu notikuma brīdī ar ārkārtīgi zemu latentumu, ko var konfigurēt zem 200 milisekundēm — tieši tas padara iespējamu Vibe plūstošo balss režīmu. Visbeidzot, Voxtral TTS darbojas pretējā virzienā: teksta pārvēršana runā pārvērš tekstu dabiskā balsī, spējot noklonēt balsi, izmantojot tikai dažas sekundes no ieraksta.

FunkcijaModelisValodasLatentums
Transkripcija (STT partija)Voxtral Mini Transcribe V213 valodasDažas sekundes uz failu
Reāllaika transkripcija (STT)Voxtral Realtime13 valodasZem 200 ms
Teksts uz runu (TTS)Voxtral TTS9+ valodas~90 ms (modelis)

Runa uz tekstu: no balss uz tekstu

Audio transkripcija ir spēja pārvērst balss ierakstu rakstītā tekstā, un Voxtral Mini Transcribe izceļas vairākos aspektos. Pirmkārt, tā precizitāte: vārdu kļūdu līmenis paliek zems pat vidējas kvalitātes ierakstos — tādos, ko uzņem telefons, kas novietots konferences galda vidū. Tas arī veic runātāju atdalīšanu (diarization), tas ir, automātiski identificē dažādus sarunas dalībniekus: transkripcijā tiek nošķirts „1. runātājs” un „2. runātājs”, kas maina visu attiecībā uz sapulču protokoliem. Tā izturība pret trokšņiem ļauj saglabāt labu precizitāti sarežģītā vidē — kafejnīcās, uz ielas, daudzbalss sapulcēs. Visbeidzot, tas apstrādā garus ierakstus — līdz 3 stundām audio vienā pieprasījumā, kas ir pietiekami, lai aptvertu veselu konferenci.

Valodu ziņā tiek atbalstītas 13 valodas: angļu, franču, spāņu, vācu, itāļu, portugāļu, holandiešu, ķīniešu, hindi, arābu, krievu, japāņu un korejiešu. Parastiem Eiropas lietojumiem esi labi nodrošināts.

Teksts uz runu: no teksta uz balsi

Teksta pārvēršana runā darbojas pretējā virzienā: tu iesniedz tekstu, un Voxtral TTS to nolasa ar dabisku balsi. Tā iespaidīgākā iezīme ir balss klonēšana: no tikai 2 līdz 3 sekundēm tava balss ieraksta modelis spēj ģenerēt runu, kas skan kā tu. Šī klonēšana balstās uz principu balss kā instrukcija: modelis atveido atsauces balss parauga intonāciju, ritmu un emocijas, neprasa tekstam pievienot prozodijas tagus — pats paraugs kalpo kā instrukcija.

Modelis ir daudzvalodu — angļu, franču, spāņu, portugāļu, itāļu, holandiešu, vācu, hindi, arābu — un pat spēj jaukt valodas viena teksta fragmenta ietvaros. Visbeidzot, tas darbojas straumēšanas režīmā: balss ģenerēšana sākas aptuveni 90 milisekundēs, ļaujot gandrīz tūlītējai mijiedarbībai, nevis gaidīšanai starp jautājumu un mutisko atbildi.

Kam audio tiek izmantots Vibe?

Konkrēti, kā Vibe lietotājam, šīs iespējas izpaužas četrās ikdienas darbībās. Tu vari transkribēt sapulci: augšupielādē ierakstu un saņem teksta kopsavilkumu dažu sekunžu laikā. Tu vari runāt ar balsi, aktivizējot balss režīmu, lai vestu dabisku sarunu bez tastatūras. Tu vari klausīties atbildes, lūdzot Vibe nolasīt savu tekstu skaļi — ērti, ejot vai gatavojot ēdienu. Un tu vari diktēt savus ziņojumus, runājot tā vietā, lai rakstītu.

Turpmākajās nodarbībās mēs soli pa solim detalizēti aplūkosim katru no šiem lietojumiem: vispirms failu transkripciju, tad reāllaika balss režīmu un visbeidzot teksta pārvēršanu runā.

Galvenās atziņas

  • Voxtral ir Mistral audio modeļu saime, kas aptver transkripciju, apstrādi reāllaikā un teksta pārvēršanu runā
  • Transkripcija atbalsta 13 valodas, runātāju atdalīšanu un līdz 3 stundām ilgu audio
  • Teksta pārvēršana runā spēj noklonēt balsi dažu sekunžu laikā un runāt 9+ valodās
  • Vibe viss ir integrēts: tu vari transkribēt, runāt un klausīties, neizmantojot ārējus rīkus