Reaalajas transkriptsiooni sissejuhatus
Sellel lehel
Kursust uuendati 3. novembril 2026 Voxtral 3 jaoks, tuginedes Mistrali juhendile Migrate from Voxtral 2: Voxtral 2 mudelid (
voxtral-mini-2602,voxtral-mini-transcribe-realtime-2602,voxtral-mini-tts-2603, mis tunnistati 31. oktoobril 2026 iganenuks ja eemaldatakse kasutusest 30. aprillil 2027) on näidetes asendatud mudelitegavoxtral-mini-transcribe-3,voxtral-mini-transcribe-realtime-3javoxtral-mini-tts-3-0. Peamised muudatused: ajatemplid on ainult lõigu tasemel (wordtagastab vea 400), kõnelejate eristamine on saadaval reaalajas, reaalajas seansi seaded lukustuvad pärast esimest helilõiku jacontext_biassisendid on vabas vormingus (fraasid tühikutega). Allikad: Migrate from Voxtral 2 · Speech to Text.
Uus paradigma: helivoogedus
Seni oled töötanud offline-režiimis: saadad tervikliku helifaili, ootad, kuni mudel selle töötleb, ja kasutad seejärel tulemust. See töövoog sobib olemasolevate salvestiste jaoks, nagu arhiivitud koosolekud, podcastid või intervjuud. See ei toimi aga siis, kui heli saabub pidevalt: keegi ei oota kahe tunni pikkuse konverentsi lõppu, et näha esimesi subtiitreid, ja häälabi, mis mõistab küsimust alles pärast pikka vaikust, tundub katki.
Voxtral Realtime rahuldab seda vajadust voogedusarhitektuuriga. Heli transkribeeritakse lennult, sõna haaval, ning viivet heli ja teksti vahel saab seadistada, vähendades seda kuni 200 millisekundini. Muutus on sama palju vaimne kui tehniline: sa ei mõtle enam üksikute päringutena, vaid voogudena ja sinu programm peab olema valmis teksti igal hetkel vastu võtma.
Mida reaalajas mudel pakub
Mudelit kutsutakse välja identifikaatoriga voxtral-mini-transcribe-realtime-3 ja see erineb fundamentaalselt oma offline vastest. See võtab vastu helilõike ja edastab tekstifragmente pidevalt, ootamata kunagi salvestuse lõppu. Selle latentsust juhib parameeter target_streaming_delay_ms, mida uurid selles kursuses hiljem lähemalt. See hõlmab 45 keelt ja murret ning keele saab kas fikseerida või lasta tuvastada. Selle eelkäija Generatsioon 2, voxtral-mini-transcribe-realtime-2602 (4 miljardit parameetrit), on avaldatud avatud kaaludega Apache 2.0 litsentsi all Hugging Face Hubis, võimaldades täielikult suveräänset paigaldamist oma serveritesse.
Voxtral 3-ga on reaalajas jõudlus offline-režiimiga peaaegu võrdsustunud. Kõnelejate eristamine on saadaval – kuigi mitte samas seansis kõne lõpu tuvastamisega – nagu ka konteksti kallutamine ja kõne lõpu tuvastamine. Alles on jäänud kaks erinevust: lõigud sisaldavad kõneleja silti, kuid mitte algus- ega lõppaega, ning kõik seansi seaded (keel, sõnavara, kõnelejate eristamine, viide) tuleb saata enne esimest helilõiku, pärast mida need lukustuvad. Kui sinu kasutusjuhtum nõuab täpseid ajatempleid, vajad offline-režiimi, võimalik, et reaalaja täiendusena.
Paigaldamine
Mistral SDK ei lae voogeduse sõltuvusi vaikimisi. Pead sõnaselgelt nõudma lisa realtime, mis lisab toe WebSocketi ühendustele ja asünkroonsele helitöötlusele:
pip install "mistralai[realtime]"
Nõutav helivorming
Erinevalt offline-režiimist, mis aktsepteerib laia valikut konteinereid, eeldab Voxtral Realtime toorest voogu ühesainsas, mitte läbiräägitavas vormingus:
- Kodeering: 16-bitine märgitud väike-otsaga PCM (
pcm_s16le) - Diskreetimissagedus: 16 000 Hz (16 kHz)
- Kanalid: Mono (1 kanal)
See piirang ei ole takistuseks: see vorming on kõige standardsem ja kõik salvestustööriistad toodavad seda loomupäraselt, olgu selleks PyAudio, FFmpeg või PulseAudio. Sa deklareerid selle kliendile üks kord, kes kasutab seda sinu edastatavate baitide tõlgendamiseks.
from mistralai.client.models import AudioFormat
# Määra helivorming
audio_format = AudioFormat(
encoding="pcm_s16le",
sample_rate=16000
)
Kaks voosündmust
Kui iterreerid transkriptsiooni üle, tagastab SDK kahte tüüpi objekte. TranscriptionStreamTextDelta väljastatakse iga uue transkribeeritud fragmendi jaoks ja kannab osalist teksti, mida saad kohe kuvada; see on see, mis toidab kasutaja ekraani. TranscriptionStreamDone saabub täpselt üks kord, kui helivoog lõpeb, olgu see faili lõpus või mikrofoni sulgemisel; see annab märku, et midagi enam ei tule ja saad tulemuse konsolideerida. Kogu sinu loogika mahutub seega asünkroonsesse tsüklisse, mis eristab neid kaht juhtumit:
from mistralai.client.models import (
TranscriptionStreamTextDelta,
TranscriptionStreamDone
)
async for event in flux_transcription:
if isinstance(event, TranscriptionStreamTextDelta):
# Uus tekst saadaval
print(event.text, end="", flush=True)
elif isinstance(event, TranscriptionStreamDone):
# Transkriptsioon lõppenud
print("\n[Finished]")
Esimene terviklik näide
Et mehhanismiga harjuda, toetumata mikrofonile, on lihtsaim lähenemine simuleerida voogu failist, mis on juba PCM-i konverteeritud. Funktsioon lire_fichier_pcm on asünkroonne generaator: see loeb faili plokkidena ja annab need ükshaaval välja, täpselt nagu helikaart teeks. Ülejäänud programm on see, mida kasutad hiljem ilma muudatusteta.
import asyncio
import os
from mistralai.client import Mistral
from mistralai.client.models import (
AudioFormat,
TranscriptionStreamTextDelta,
TranscriptionStreamDone
)
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
audio_format = AudioFormat(encoding="pcm_s16le", sample_rate=16000)
async def lire_fichier_pcm(chemin: str, taille_chunk: int = 32000):
"""Loeb PCM-faili tükkidena, et simuleerida voogu."""
with open(chemin, "rb") as f:
while True:
chunk = f.read(taille_chunk)
if not chunk:
break
yield chunk
async def main():
flux_audio = lire_fichier_pcm("audio.pcm")
async for event in client.audio.realtime.transcribe_stream(
audio_stream=flux_audio,
model="voxtral-mini-transcribe-realtime-3",
audio_format=audio_format,
):
if isinstance(event, TranscriptionStreamTextDelta):
print(event.text, end="", flush=True)
elif isinstance(event, TranscriptionStreamDone):
print("\n\nTranscription finished.")
asyncio.run(main())
Kui sinu lähtefail on MP3, ei saa seda sellisena saata: teisenda see kõigepealt FFmpegiga, rakendades mudeli nõutud kolme omadust.
ffmpeg -i audio.mp3 -f s16le -acodec pcm_s16le -ar 16000 -ac 1 audio.pcm
Millal reaalajale üle minna
Valikukriteerium on lihtne: reaalaja on õigustatud siis, kui keegi ootab teksti samal ajal, kui heli tekitatakse. See kehtib otsesubtitrite kohta konverentsil, veebiseminaril või veebikursusel, kus publik loeb samaaegselt kuulamisega; häälabi kohta, mis peab kasutajat mõistma kõne ajal, et vastata ilma ebamugavate pausideta; dikteerimise kohta, kus kõne muutub tekstiks enne kõneleja silmi; ja lõpuks konverentsi transkriptsiooni kohta, kui tekst peab ilmuma kõnelemise käigus. Mujal jääb offline-režiim rikkalikumaks ja lihtsamaks rakendada.
Järgmised tunnid näitavad, kuidas mikrofoni haarata, latentsust häälestada ja neid kasutusjuhtumeid algusest lõpuni üles ehitada.
Peamised punktid
- Voxtral Mini Transcribe Realtime 3 transkribeerib heli voogrežiimis reguleeritava viitega 80 ms kuni 1,2 s (või 2,4 s)
- Nõutav helivorming: 16-bitine PCM, 16 kHz, mono
- Kaht tüüpi sündmused:
TextDelta(osaline tekst) jaDone(lõpp) - Paigalda käsuga
pip install "mistralai[realtime]" - Vajalik asünkroonne programmeerimine (
async/await) - Kõnelejate eristamine (välja arvatud kõne lõpu tuvastamine) ja konteksti kallutamine on reaalajas saadaval, ilma lõigu ajatemplideta; seaded lukustuvad pärast esimest helilõiku
- Reaalajas mudeli Generatsioon 2 on avatud kaaludega Apache 2.0, mõeldud suveräänseks kasutuselevõtuks