Introduzzjoni għat-Traskrizzjoni f'Ħin Reali
F'din il-paġna
Kors aġġornat fit-3 ta’ Novembru 2026 għal Voxtral 3, ibbażat fuq il-gwida Migrate from Voxtral 2 ta’ Mistral: il-mudelli Voxtral 2 (
voxtral-mini-2602,voxtral-mini-transcribe-realtime-2602,voxtral-mini-tts-2603, iddeprekati fil-31 ta’ Ottubru 2026 u rtirati fit-30 ta’ April 2027, huma mibdula fl-eżempji b’voxtral-mini-transcribe-3,voxtral-mini-transcribe-realtime-3, uvoxtral-mini-tts-3-0. Bidliet ewlenin: it-timstamps huma biss għas-segmenti (wordjirritorna żball 400), id-djarizzazzjoni hija disponibbli f’ħin reali, is-settings tas-sessjoni f’ħin reali jingħalqu wara l-ewwel biċċa awdjo, u l-inputs ta’context_biashuma f’forma libera (frażijiet b’ispazji). Sorsi: Migrate from Voxtral 2 · Speech to Text.
Paradiġma Ġdida: Streaming tal-Awdjo
S’issa, ħdimt f’modalità offline: tibgħat fajl awdjo sħiħ, tistenna sakemm il-mudell jipproċessah, u mbagħad tuża r-riżultat. Dan il-fluss tax-xogħol jaħdem tajjeb għal reġistrazzjonijiet eżistenti, bħal laqgħat arċivjati, podcasts, jew intervisti. Madankollu, dan ifalli meta l-awdjo jasla kontinwament: ħadd ma se jistenna sa tmiem konferenza ta’ sagħtejn biex jara l-ewwel sottotitli, u assistent vokali li jifhem mistoqsija biss wara silenzju twil jidher ħażin.
Voxtral Realtime jissodisfa din il-ħtieġa b’arkitettura ta’ streaming. L-awdjo jiġi traskritt hekk kif jiġi, kelma b’kelma, u d-dewmien bejn il-ħoss u t-test isir setting li tista’ tikkontrolla int, li jinżel sa 200 millisekonda. Il-bidla hija kemm mentali kif ukoll teknika: ma taħsibx aktar f’talbiet iżolati iżda f’fluxes (streams), u l-programm tiegħek irid ikun lest li jirċievi test fi kwalunkwe mument.
X’Joffri l-Mudell Realtime
Il-mudell jiġi invokat taħt l-identifikatur voxtral-mini-transcribe-realtime-3 u jvarja fundamentalment mill-kontroparti offline tiegħu. Jirċievi biċċiet awdjo u jemetti frammenti ta’ test kontinwament, mingħajr qatt ma jistenna li tintemm ir-reġistrazzjoni. Il-latency tiegħu hija kkontrollata mill-parametru target_streaming_delay_ms, li se tesplora fid-dettall aktar tard f’dan il-kors. Ikopri 45 lingwa u djalett, u l-lingwa tista’ tiġi ffissata jew skoperta. Il-predeċessur tiegħu tal-Ġenerazzjoni 2, voxtral-mini-transcribe-realtime-2602 (4 biljun parametru), huwa ppubblikat bħala open weights taħt il-liċenzja Apache 2.0 fuq il-Hugging Face Hub għal installazzjoni kompletament sovran fuq is-servers tiegħek stess.
Ma’ Voxtral 3, il-prestazzjoni f’ħin reali għalqet il-biċċa l-kbira tad-differenza mal-modalità offline. Id-djarizzazzjoni hija disponibbli—għalkemm mhux fl-istess sessjoni bħad-detezzjoni tat-tmiem tad-dawra—kif ukoll il-context biasing u d-detezzjoni tat-tmiem tad-dawra. Jibqgħu żewġ differenzi: is-segmenti jġorru t-tikketta tal-kelliem iżda l-ebda ħin tal-bidu jew tat-tmiem, u s-settings kollha tas-sessjoni (lingwa, vokabolarju, djarizzazzjoni, dewmien) iridu jintbagħtu qabel l-ewwel biċċa awdjo, wara liema jingħalqu. Jekk il-każ ta’ użu tiegħek jeħtieġ timestamps preċiżi, għandek bżonn il-modalità offline, possibbilment bħala kumpliment għal dik f’ħin reali.
Installazzjoni
L-SDK ta’ Mistral ma jtagħbix id-dipendenzi tal-streaming b’mod awtomatiku. Trid titlob espliċitament l-extra realtime, li jżid is-suppoġġ għal konnessjonijiet WebSocket u pproċessar asinkronu tal-awdjo:
pip install "mistralai[realtime]"
Il-Format tal-Awdjo Meħtieġ
B’differenza mill-modalità offline, li taċċetta firxa wiesgħa ta’ kontenituri, Voxtral Realtime jistenna flux mhux ipproċessat (raw) f’format wieħed u mhux negozjabbli:
- Encoding: PCM 16-bit signed little-endian (
pcm_s16le) - Sample rate: 16,000 Hz (16 kHz)
- Kanali: Mono (kanal wieħed)
Dan ir-rekwiżit mhuwiex ostaklu: dan il-format huwa l-aktar wieħed standard disponibbli, u l-għodod kollha tal-qbid jipproduċuh naturalment, kemm jekk PyAudio, FFmpeg, jew PulseAudio. Int tiddikjarah darba waħda lill-klijent, li jużah biex jinterpreta l-bytes li tittrasmetti.
from mistralai.client.models import AudioFormat
# Iddefinixxi l-format tal-awdjo
audio_format = AudioFormat(
encoding="pcm_s16le",
sample_rate=16000
)
Iż-Żewġ Avvenimenti tal-Flux
Meta tgħaddi mit-traskrizzjoni, l-SDK jirritorna żewġ tipi ta’ oġġetti. TranscriptionStreamTextDelta jiġi emess għal kull framment traskritt ġdid u jġorr it-test parzjali li tista’ turi immedjatament; dan huwa dak li jħaddem l-iskrin tal-utent. TranscriptionStreamDone jasal eżattament darba waħda, meta jispiċċa l-flux tal-awdjo, kemm jekk fit-tmiem ta’ fajl jew meta jingħalaq il-mikrofonu; jissinjala li m’hemm xejn ieħor li ġej u li tista’ tikkonsolida r-riżultat. Għalhekk, il-loġika kollha tiegħek tidħol f’loop asinkronu li jiddistingwi dawn iż-żewġ każijiet:
from mistralai.client.models import (
TranscriptionStreamTextDelta,
TranscriptionStreamDone
)
async for event in flux_transcription:
if isinstance(event, TranscriptionStreamTextDelta):
# Test ġdid disponibbli
print(event.text, end="", flush=True)
elif isinstance(event, TranscriptionStreamDone):
# Traskrizzjoni lesta
print("\n[Lesta]")
L-Ewwel Eżempju Sħiħ
Biex issir familjari mal-mekkaniżmu mingħajr ma tiddependi fuq mikrofonu, l-aktar approċċ sempliċi huwa li tissimula flux minn fajl diġà konvertit għal PCM. Il-funzjoni lire_fichier_pcm hija ġeneratur asinkronu: taqra l-fajl f’blokok u tagħtihom wieħed wieħed, eżattament kif tagħmel karta tal-ħoss. Il-bqija tal-programm huwa dak li se terġa’ tuża aktar tard mingħajr modifika.
import asyncio
import os
from mistralai.client import Mistral
from mistralai.client.models import (
AudioFormat,
TranscriptionStreamTextDelta,
TranscriptionStreamDone
)
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
audio_format = AudioFormat(encoding="pcm_s16le", sample_rate=16000)
async def lire_fichier_pcm(chemin: str, taille_chunk: int = 32000):
"""Jaqra fajl PCM f'biċċiet biex jissimula flux."""
with open(chemin, "rb") as f:
while True:
chunk = f.read(taille_chunk)
if not chunk:
break
yield chunk
async def main():
flux_audio = lire_fichier_pcm("audio.pcm")
async for event in client.audio.realtime.transcribe_stream(
audio_stream=flux_audio,
model="voxtral-mini-transcribe-realtime-3",
audio_format=audio_format,
):
if isinstance(event, TranscriptionStreamTextDelta):
print(event.text, end="", flush=True)
elif isinstance(event, TranscriptionStreamDone):
print("\n\nTraskrizzjoni lesta.")
asyncio.run(main())
Jekk il-fajl tas-sors tiegħek huwa MP3, ma jistax jintbagħat hekk kif inhu: ikkonvertih l-ewwel b’FFmpeg, u infurza t-tliet karatteristiċi meħtieġa mill-mudell.
ffmpeg -i audio.mp3 -f s16le -acodec pcm_s16le -ar 16000 -ac 1 audio.pcm
Meta Tagħmel Switch għal Ħin Reali
Il-kriterju tal-għażla huwa sempliċi: il-ħin reali huwa ġġustifikat meta xi ħadd ikun qed jistenna t-test waqt li l-ħoss ikun qed jiġi prodott. Dan japplika għas-sottotitlar live għal konferenza, webinar, jew kors online, fejn il-udjenza taqra hekk kif tisma’; għal assistent vokali, li jrid jifhem lill-utent waqt li jkun qed jitkellem biex iwieġeb mingħajr pawżi imbarazzanti; għad-dettar, fejn id-diskors isir test quddiem għajnejn il-kelliem; u finalment għat-traskrizzjoni tal-konferenzi, meta t-test irid jidher hekk kif jingħad. Kullimkien ieħor, il-modalità offline tibqa’ aktar rikka u aktar sempliċi biex tiġi implimentata.
Il-lezzjonijiet li ġejjin juruk kif taqbad l-awdjo mill-mikrofonu, taġġusta l-latency, u tibni dawn il-każijiet ta’ użu mill-bidu sal-aħħar.
Punti Ewlenin
- Voxtral Mini Transcribe Realtime 3 jitraskrivi awdjo f’modalità streaming b’dewmien aġġustabbli minn 80 ms sa 1.2 s (jew 2.4 s)
- Format tal-awdjo meħtieġ: PCM 16-bit, 16 kHz, mono
- Żewġ tipi ta’ avvenimenti:
TextDelta(test parzjali) uDone(tmiem) - Installa b’
pip install "mistralai[realtime]" - Programmazzjoni asinkrona meħtieġa (
async/await) - Djarizzazzjoni (eskluża d-detezzjoni tat-tmiem tad-dawra) u context biasing disponibbli f’ħin reali, mingħajr timestamps tas-segmenti; is-settings jingħalqu wara l-ewwel biċċa awdjo
- Il-Ġenerazzjoni 2 tal-mudell realtime hija open weights Apache 2.0, għal dispjegament sovran