Introducere în audio cu Mistral AI
Pe această pagină
Curs actualizat la 3 noiembrie 2026 pentru Voxtral 3, pe baza ghidului Mistral Migrate from Voxtral 2: Modelele Voxtral 2 (
voxtral-mini-2602,voxtral-mini-transcribe-realtime-2602,voxtral-mini-tts-2603), depreciate la 31 octombrie 2026 și retrase la 30 aprilie 2027, sunt înlocuite în exemple devoxtral-mini-transcribe-3,voxtral-mini-transcribe-realtime-3șivoxtral-mini-tts-3-0. Modificări cheie: marcarea temporală doar pe segment (parametrulwordreturnează o eroare 400), diarizare în timp real suportată, setările sesiunii în timp real blocate după primul fragment audio și intrăricontext_biasîn formă liberă (fraze cu spații). Surse: Migrate from Voxtral 2 · Speech to Text.
Familia Voxtral: Suita audio Mistral AI
Mistral AI a depășit stadiul textului. Odată cu familia Voxtral, compania franceză oferă o suită completă de modele dedicate vorbirii: transcriere, înțelegere audio și sinteză vocală (text-to-speech). Acest curs vă învață să valorificați aceste capacități pentru a transforma fluxurile sonore în text perfect utilizabil, însoțit de cod Python aferent.
Recunoașterea automată a vorbirii (ASR), sau Speech-to-Text (STT), stă la baza instrumentelor pe care le utilizați probabil zilnic. Subtitrările videoclipurilor de formare, minutele ședințelor executive, asistenții vocali pentru serviciul clienți și accesibilitatea digitală pe site-urile publice se bazează toate pe aceeași tehnologie de bază. Mistral AI aduce în acest domeniu o abordare suverană, de înaltă performanță și care respectă confidențialitatea – aspecte critice atunci când audio-ul dumneavoastră conține nume de pacienți, date ale clienților sau deliberări interne.
Două moduri de transcriere
Voxtral suportă două moduri care răspund unor constrângeri complet diferite. Primul este transcrierea offline, cunoscută și sub denumirea de procesare în lot (batch): trimiteți un fișier audio complet și primiți transcrierea. Acest mod se potrivește pentru podcasturi înregistrate, interviuri de teren încărcate ulterior în cursul zilei sau prelegeri arhivate. Voxtral Mini Transcribe 3 și, pentru o acuratețe superioară, Voxtral Small Transcribe 3 gestionează acest proces, oferind diarizare și marcarea temporală la nivel de segment.
Al doilea este transcrierea în timp real, sau streaming: audio-ul este transcris pe măsură ce sosește, cu o latență configurabilă între 80 ms și 1,2 secunde (sau 2,4 secunde). Nimic nu este preînregistrat; totul se întâmplă în timp ce persoana vorbește. Acest mod alimentează subtitrările webinarurilor live, asistenții vocali sau instrumentele de dictare. Modelul Voxtral Mini Transcribe Realtime 3 este construit special pentru aceasta. Rețineți această distincție de acum: ea dictează majoritatea alegerilor dumneavoastră tehnice pe parcursul restului cursului.
Limbi suportate
Modelele de transcriere a fișierelor Voxtral 3 acoperă 50 de limbi, în timp ce modelul în timp real suportă 45 de limbi și dialecte, inclusiv limba franceză. Fără parametrul language, modelul detectează automat limba înregistrării; dacă o cunoașteți, specificați-o folosind codul său din două litere (de exemplu, fr).
Ce face Voxtral dincolo de textul brut
Transcrierea simplă nu este întotdeauna suficientă. Diarizarea identifică automat vorbitorii: într-o ședință cu cinci persoane, modelul distinge cine a vorbit și când, transformând un zid de text într-un rezumat lizibil. Biasul de context (context biasing) vă permite să injectați un vocabular specializat – nume proprii, termeni tehnici, acronime – astfel încât „Kubernetes“ sau „GDPR“ să nu fie denaturate într-o ședință de inginerie.
Marcarea temporală la nivel de segment oferă ora de început și de sfârșit pentru fiecare segment de transcriere, permițând generarea de subtitrări sincronizate; Voxtral 3 nu mai suportă marcarea temporală la nivel de cuvânt. Robustețea la zgomot menține acuratețea în medii acustice provocatoare: zgomot de fond, reverberație în sala de ședințe sau microfoane de laptop. În final, puteți trimite înregistrări sub formă de fișiere, prin URL sau din fișiere încărcate anterior și puteți primi răspunsuri ca flux, fragment cu fragment.
Conformitate și suveranitate
Generația anterioară a modelului în timp real, Voxtral Realtime (voxtral-mini-transcribe-realtime-2602, 4 miliarde de parametri), este lansată ca open weights sub licența Apache 2.0: îl puteți găzdui local (self-host) fără a depinde de un API extern, chiar și după retragerea sa din API la 30 aprilie 2027.
Acesta este un avantaj major pentru companiile europene care se confruntă cu constrângeri regulatorii stricte privind procesarea datelor audio: înregistrările ședințelor, apelurile cu clienții sau consultațiile medicale nu părăsesc niciodată infrastructura dumneavoastră.
Ce veți învăța
Cursul urmează o progresie simplă. Veți începe prin înțelegerea celor trei modele Voxtral și alegerea celui potrivit pentru cazul dumneavoastră de utilizare. Apoi, veți aborda transcrierea offline, acoperind API-ul, parametrii săi, diarizarea și biasul de context. Ulterior, veți trece la transcrierea în timp real: streaming, captarea microfonului și controlul latenței. Veți finaliza cu implementarea în producție, inclusiv optimizarea, gestionarea erorilor și controlul costurilor. Fiecare lecție include cod Python complet și funcțional pe care îl puteți rula direct.
Puncte cheie
- Voxtral este familia de modele audio Mistral AI, acoperind STT și TTS
- Două moduri de transcriere: offline (fișiere) și în timp real (streaming, latență configurabilă începând de la 80 ms)
- 50 de limbi pentru fișiere, 45 pentru timp real, inclusiv franceza
- Funcționalități avansate: diarizare, bias de context, marcare temporală la nivel de segment, robustețe la zgomot
- Implementare suverană posibilă cu modelul în timp real de generația a doua, disponibil ca open weights sub licența Apache 2.0