Įvadas į transkribavimą realiuoju laiku
Šiame puslapyje
Kursas atnaujintas 2026 m. lapkričio 3 d. Voxtral 3 versijai, remiantis „Mistral“ vadovu Migrate from Voxtral 2: Voxtral 2 modeliai (
voxtral-mini-2602,voxtral-mini-transcribe-realtime-2602,voxtral-mini-tts-2603), pasenę 2026 m. spalio 31 d. ir nutraukti 2027 m. balandžio 30 d., pavyzdžiuose pakeisti modeliaisvoxtral-mini-transcribe-3,voxtral-mini-transcribe-realtime-3irvoxtral-mini-tts-3-0. Pagrindiniai pokyčiai: laiko žymos tik segmentų lygmenyje (wordgrąžina 400 klaidą), kalbėtojų atskyrimas (diarization) galimas realiuoju laiku, sesijos nustatymai užrakomi po pirmojo garso fragmento, ocontext_biasįvestys yra laisvos formos (frazės su tarpais). Šaltiniai: Migrate from Voxtral 2 · Speech to Text.
Nauja paradigma: garso srautas
Iki šiol dirbai neakivaizdiniu (offline) režimu: siuntei visą garso failą, laukdavai, kol modelis jį apdoros, ir tik tada naudodavai rezultatą. Ši darbo eiga tinka esamiems įrašams, pavyzdžiui, archyvuotiems susitikimams, tinklalaidėms ar interviu. Ji netinka, kai garso duomenys ateina nuolat: niekas nelauks dviejų valandų trukmės konferencijos pabaigos, kad pamatytų pirmuosius subtitrus, o balso asistentas, kuris klausimą supranta tik po ilgos tylos, atrodo sugedęs.
„Voxtral Realtime“ tenkina šį poreikį naudodamas srautinę (streaming) architektūrą. Garso įrašas transkribuojamas tiesiogiai, žodis po žodžio, o delsą tarp garso ir teksto gali reguliuoti pats – ji gali siekti vos 200 milisekundžių. Šis pokytis yra tiek mentalinis, tiek techninis: jau nemąstai pavienėmis užklausomis, o srautais, ir tavo programa turi būti pasirengusi gauti tekstą bet kuriuo momentu.
Ką siūlo realiuoju laiku veikiantis modelis
Modelis kviečiamas naudojant identifikatorių voxtral-mini-transcribe-realtime-3 ir iš esmės skiriasi nuo savo neakivaizdinio (offline) analogo. Jis gauna garso fragmentus ir nuolat emituoja teksto dalis, niekada nelaukdamas įrašo pabaigos. Jo delsą valdo parametras target_streaming_delay_ms, kurį išsamiai nagrinėsi vėliau šiame kurse. Modelis palaiko 45 kalbas ir dialektus; kalbą galima nustatyti fiksuotai arba leisti ją aptikti automatiškai. Jo antrosios kartos pirmtakas voxtral-mini-transcribe-realtime-2602 (4 mlrd. parametrų) yra paskelbtas kaip atviro svorio modelis pagal Apache 2.0 licenciją „Hugging Face Hub“ platformoje, leidžiantis visiškai suverenią diegimą savo serveriuose.
Su „Voxtral 3“ realiuoju laiku pasiekiamas našumas beveik prilygsta neakivaizdiniam režimui. Galimas kalbėtojų atskyrimas (diarization) – nors ne toje pačioje sesijoje kaip kalbos pabaigos aptikimas – taip pat konteksto šališkumas (context biasing) ir kalbos pabaigos aptikimas (turn-end detection). Likę du skirtumai: segmentai turi kalbėtojo etiketę, bet neturi pradžios ar pabaigos laiko žymų, o visi sesijos nustatymai (kalba, žodynas, kalbėtojų atskyrimas, delsa) turi būti išsiųsti prieš pirmąjį garso fragmentą, po to jie užrakomi. Jei tavo naudojimo atveju reikalingos tikslios laiko žymos, tau reikia neakivaizdinio režimo, galbūt kaip realiojo laiko papildinio.
Diegimas
„Mistral“ SDK pagal nutylėjimą neįkelia srautinio apdorojimo priklausomybių. Turi aiškiai paprašyti realtime papildinio, kuris priduria „WebSocket“ ryšių ir asinchroninio garso apdorojimo palaikymą:
pip install "mistralai[realtime]"
Būtinas garso formatas
Skirtingai nei neakivaizdiniu režimu, kuris priima įvairius konteinerius, „Voxtral Realtime“ tikisi žalių duomenų srauto vienu, nekintamu formatu:
- Kodavimas: 16 bitų ženklintas mažosios galūnės PCM (
pcm_s16le) - Diskretizavimo dažnis: 16 000 Hz (16 kHz)
- Kanalai: Mono (1 kanalas)
Šis apribojimas nėra kliūtis: tai pats standartiškiausias formatas, ir visos įrašymo priemonės jį generuoja natūraliai, nesvarbu, ar tai „PyAudio“, „FFmpeg“, ar „PulseAudio“. Jį vieną kartą nurodai klientui, kuris jį naudoja interpretuodamas tavo siunčiamus baitus.
from mistralai.client.models import AudioFormat
# Apibrėžiame garso formatą
audio_format = AudioFormat(
encoding="pcm_s16le",
sample_rate=16000
)
Du srauto įvykiai
Iteruodamas per transkribaciją, SDK grąžina dviejų tipų objektus. TranscriptionStreamTextDelta emituojamas kiekvienam naujam transkribuotam fragmentui ir neša dalinį tekstą, kurį gali iškart rodyti; būtent tai maitina naudotojo ekraną. TranscriptionStreamDone atvyksta tik vieną kartą, kai garso srautas baigiasi – nesvarbu, ar pasibaigus failui, ar uždarius mikrofoną; jis signalizuoja, kad daugiau nieko nebus ir kad gali sukonsoliduoti rezultatą. Todėl visa tavo logika telpa į asinchroninę kilpą, kuri atskiria šiuos du atvejus:
from mistralai.client.models import (
TranscriptionStreamTextDelta,
TranscriptionStreamDone
)
async for event in flux_transcription:
if isinstance(event, TranscriptionStreamTextDelta):
# Yra naujo teksto
print(event.text, end="", flush=True)
elif isinstance(event, TranscriptionStreamDone):
# Transkribacija baigta
print("\n[Finished]")
Pirmas pilnas pavyzdys
Kad įprastum prie mechanizmo nenaudodamas mikrofono, paprasčiausias būdas – imituoti srautą iš failo, jau konvertuoto į PCM. Funkcija lire_fichier_pcm yra asinchroninis generatorius: ji skaito failą blokais ir po vieną juos grąžina, lygiai taip, kaip tai darytų garso plokštė. Likusi programos dalis yra tai, ką vėliau naudosai be jokių pakeitimų.
import asyncio
import os
from mistralai.client import Mistral
from mistralai.client.models import (
AudioFormat,
TranscriptionStreamTextDelta,
TranscriptionStreamDone
)
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
audio_format = AudioFormat(encoding="pcm_s16le", sample_rate=16000)
async def lire_fichier_pcm(chemin: str, taille_chunk: int = 32000):
"""Skaito PCM failą fragmentais, imituodama srautą."""
with open(chemin, "rb") as f:
while True:
chunk = f.read(taille_chunk)
if not chunk:
break
yield chunk
async def main():
flux_audio = lire_fichier_pcm("audio.pcm")
async for event in client.audio.realtime.transcribe_stream(
audio_stream=flux_audio,
model="voxtral-mini-transcribe-realtime-3",
audio_format=audio_format,
):
if isinstance(event, TranscriptionStreamTextDelta):
print(event.text, end="", flush=True)
elif isinstance(event, TranscriptionStreamDone):
print("\n\nTranscription finished.")
asyncio.run(main())
Jei tavo šaltinio failas yra MP3, jo negalima siųsti tokio, koks yra: pirmiausia konvertuok jį naudodamas „FFmpeg“, priversdamas laikytis trijų modeliui būtinų charakteristikų.
ffmpeg -i audio.mp3 -f s16le -acodec pcm_s16le -ar 16000 -ac 1 audio.pcm
Kada pereiti prie realiojo laiko režimo
Atrankos kriterijus paprastas: realusis laikas yra pateisinamas, kai kas nors laukia teksto tuo metu, kai garsas yra kuriamas. Tai taikoma tiesioginiams subtitrams konferencijoje, webinare ar internetiniame kurse, kur auditorija skaito tuo pačiu metu, kai klauso; balso asistentui, kuris turi suprasti naudotoją jam kalbant, kad atsakytų be nepatogių pauzių; diktavimui, kai kalba virsta tekstu prieš kalbėtojo akis; ir galiausiai konferencijų transkribavimui, kai tekstas turi atsirasti tuo metu, kai jis yra tariamas. Visur kitur neakivaizdinis režimas išlieka turtingesnis ir paprastesnis įgyvendinti.
Kitose pamokose parodysime, kaip užfiksuoti mikrofono signalą, sureguliuoti delsą ir nuo pradžių iki galo sukurti šiuos naudojimo atvejus.
Svarbiausi punktai
- „Voxtral Mini Transcribe Realtime 3“ transkribuoja garso įrašus srautiniu režimu su reguliuojama 80 ms–1,2 s (arba 2,4 s) delsa
- Būtinas garso formatas: 16 bitų PCM, 16 kHz, mono
- Du įvykių tipai:
TextDelta(dalinis tekstas) irDone(pabaiga) - Diegimas:
pip install "mistralai[realtime]" - Reikalingas asinchroninis programavimas (
async/await) - Kalbėtojų atskyrimas (išskyrus kalbos pabaigos aptikimą) ir konteksto šališkumas galimi realiuoju laiku, be segmento laiko žymų; nustatymai užrakomi po pirmojo garso fragmento
- Antrosios kartos realiojo laiko modelis yra atviro svorio (Apache 2.0), skirtas suvereniems diegimams