Introducere în transcrierea în timp real
Pe această pagină
Curs actualizat la 3 noiembrie 2026 pentru Voxtral 3, pe baza ghidului Migrate from Voxtral 2 de la Mistral: modelele Voxtral 2 (
voxtral-mini-2602,voxtral-mini-transcribe-realtime-2602,voxtral-mini-tts-2603), depreciate la 31 octombrie 2026 și retrase la 30 aprilie 2027, sunt înlocuite în exemple prinvoxtral-mini-transcribe-3,voxtral-mini-transcribe-realtime-3șivoxtral-mini-tts-3-0. Modificări cheie: marcajele temporale sunt disponibile doar pe segmente (wordreturnează o eroare 400), diarizarea este disponibilă în timp real, setările sesiunii în timp real sunt blocate după primul fragment audio, iar intrărilecontext_biassunt în format liber (fraze cu spații). Surse: Migrate from Voxtral 2 · Speech to Text.
O nouă paradigmă: streaming audio
Până acum, ați lucrat în mod offline: trimiteți un fișier audio complet, așteptați ca modelul să îl proceseze și apoi utilizați rezultatul. Acest flux de lucru se potrivește înregistrărilor existente, cum ar fi meetingurile arhivate, podcasturile sau interviurile. El eșuează însă atunci când audio-ul sosește continuu: nimeni nu va aștepta până la sfârșitul unei conferințe de două ore pentru a vedea primele subtitrări, iar un asistent vocal care înțelege o întrebare abia după o lungă tăcere pare defect.
Voxtral Realtime răspunde acestei nevoi printr-o arhitectură de tip streaming. Audio-ul este transcris pe măsură ce este generat, cuvânt cu cuvânt, iar întârzierea dintre sunet și text devine o setare pe care o controlați, putând coborî până la 200 de milisecunde. Schimbarea este la fel de mult mentală cât și tehnică: nu mai gândiți în termeni de cereri izolate, ci de fluxuri, iar programul dumneavoastră trebuie să fie pregătit să primească text în orice moment.
Ce oferă modelul Realtime
Modelul este invocat sub identificatorul voxtral-mini-transcribe-realtime-3 și diferă fundamental de omologul său offline. El primește fragmente audio și emite continuu fragmente de text, fără a aștepta niciodată sfârșitul înregistrării. Latența sa este controlată de parametrul target_streaming_delay_ms, pe care îl veți explora în detaliu mai târziu în acest curs. Acoperă 45 de limbi și dialecte, iar limba poate fi fixată sau detectată automat. Predecesorul său din Generația 2, voxtral-mini-transcribe-realtime-2602 (4 miliarde de parametri), este publicat ca „open weights“ sub licența Apache 2.0 pe Hugging Face Hub pentru o instalare complet suverană pe propriile servere.
Odată cu Voxtral 3, performanța în timp real a redus considerabil decalajul față de modul offline. Diarizarea este disponibilă—deși nu în aceeași sesiune cu detectarea sfârșitului intervenției—la fel ca și biasul de context și detectarea sfârșitului intervenției. Rămân două diferențe: segmentele conțin eticheta vorbitorului, dar nu și timpul de start sau de sfârșit, iar toate setările sesiunii (limbă, vocabular, diarizare, întârziere) trebuie trimise înainte de primul fragment audio, după care sunt blocate. Dacă cazul dumneavoastră de utilizare necesită marcaje temporale precise, aveți nevoie de modul offline, posibil ca un complement al celui în timp real.
Instalare
SDK-ul Mistral nu încarcă dependențele pentru streaming în mod implicit. Trebuie să solicitați explicit extra-ul realtime, care adaugă suport pentru conexiuni WebSocket și procesare asincronă a audio-ului:
pip install "mistralai[realtime]"
Formatul audio necesar
Spre deosebire de modul offline, care acceptă o gamă largă de containere, Voxtral Realtime așteaptă un flux brut într-un singur format, non-negociabil:
- Codificare: PCM semnat pe 16 biți, little-endian (
pcm_s16le) - Frecvență de eșantionare: 16.000 Hz (16 kHz)
- Canale: Mono (1 canal)
Această constrângere nu este un blocaj: acest format este cel mai standard disponibil, iar toate instrumentele de captură îl produc nativ, fie că este vorba de PyAudio, FFmpeg sau PulseAudio. Îl declarați o singură dată clientului, care îl folosește pentru a interpreta octeții pe care îi transmiteți.
from mistralai.client.models import AudioFormat
# Definirea formatului audio
audio_format = AudioFormat(
encoding="pcm_s16le",
sample_rate=16000
)
Cele două evenimente ale fluxului
Când iterați peste transcriere, SDK returnează două tipuri de obiecte. TranscriptionStreamTextDelta este emis pentru fiecare nou fragment transcris și conține textul parțial pe care îl puteți afișa imediat; acesta este ceea ce alimentează ecranul utilizatorului. TranscriptionStreamDone sosește exact o singură dată, când fluxul audio se încheie, fie la sfârșitul unui fișier, fie când microfonul se închide; semnalează că nu mai urmează nimic și că puteți consolida rezultatul. Întreaga dumneavoastră logică se încadrează astfel într-o buclă asincronă care distinge aceste două cazuri:
from mistralai.client.models import (
TranscriptionStreamTextDelta,
TranscriptionStreamDone
)
async for event in flux_transcription:
if isinstance(event, TranscriptionStreamTextDelta):
# Text nou disponibil
print(event.text, end="", flush=True)
elif isinstance(event, TranscriptionStreamDone):
# Transcriere terminată
print("\n[Terminat]")
Primul exemplu complet
Pentru a vă familiariza cu mecanismul fără a depinde de un microfon, cea mai simplă abordare este simularea unui flux pornind de la un fișier deja convertit în PCM. Funcția lire_fichier_pcm este un generator asincron: citește fișierul în blocuri și le yield-uiește unul câte unul, exact cum ar face o placă de sunet. Restul programului este ceea ce veți reutiliza mai târziu fără modificări.
import asyncio
import os
from mistralai.client import Mistral
from mistralai.client.models import (
AudioFormat,
TranscriptionStreamTextDelta,
TranscriptionStreamDone
)
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
audio_format = AudioFormat(encoding="pcm_s16le", sample_rate=16000)
async def lire_fichier_pcm(chemin: str, taille_chunk: int = 32000):
"""Citește un fișier PCM în fragmente pentru a simula un flux."""
with open(chemin, "rb") as f:
while True:
chunk = f.read(taille_chunk)
if not chunk:
break
yield chunk
async def main():
flux_audio = lire_fichier_pcm("audio.pcm")
async for event in client.audio.realtime.transcribe_stream(
audio_stream=flux_audio,
model="voxtral-mini-transcribe-realtime-3",
audio_format=audio_format,
):
if isinstance(event, TranscriptionStreamTextDelta):
print(event.text, end="", flush=True)
elif isinstance(event, TranscriptionStreamDone):
print("\n\nTranscriere terminată.")
asyncio.run(main())
Dacă fișierul sursă este un MP3, acesta nu poate fi trimis ca atare: convertiți-l mai întâi cu FFmpeg, impunând cele trei caracteristici cerute de model.
ffmpeg -i audio.mp3 -f s16le -acodec pcm_s16le -ar 16000 -ac 1 audio.pcm
Când să treceți la timpul real
Criteriul de selecție este simplu: timpul real este justificat atunci când cineva așteaptă textul în timp ce sunetul este produs. Acest lucru se aplică subtitrării în direct pentru o conferință, un webinar sau un curs online, unde publicul citește în timp ce ascultă; unui asistent vocal, care trebuie să înțeleagă utilizatorul în timp ce vorbește pentru a răspunde fără pauze stânjenitoare; dictării, unde vorbirea devine text în fața ochilor vorbitorului; și, în final, transcrierii conferințelor, când textul trebuie să apară pe măsură ce este rostit. Oriunde în altă parte, modul offline rămâne mai bogat și mai simplu de implementat.
Lecțiile următoare vă vor arăta cum să capturați microfonul, să reglați latența și să construiți aceste cazuri de utilizare de la cap la cap.
Puncte cheie
- Voxtral Mini Transcribe Realtime 3 transcrie audio în mod streaming cu o întârziere ajustabilă de la 80 ms la 1,2 s (sau 2,4 s)
- Format audio necesar: PCM pe 16 biți, 16 kHz, mono
- Două tipuri de evenimente:
TextDelta(text parțial) șiDone(sfârșit) - Instalare cu
pip install "mistralai[realtime]" - Programare asincronă necesară (
async/await) - Diarizare (excluzând detectarea sfârșitului intervenției) și bias de context disponibile în timp real, fără marcaje temporale pe segmente; setări blocate după primul fragment audio
- Generația 2 a modelului realtime este open weights Apache 2.0, pentru implementare suverană