Aqbeż għall-kontenut ewlieni
Malti— Agħżel lingwa
Menu

Introduzzjoni għat-Traskrizzjoni f'Ħin Reali

Lezzjoni 9 / 16 Aġġornat 3 ta’ Novembru 2026 Zviluppatur
F'din il-paġna
  1. Paradiġma Ġdida: Streaming tal-Awdjo
  2. X’Joffri l-Mudell Realtime
  3. Installazzjoni
  4. Il-Format tal-Awdjo Meħtieġ
  5. Iż-Żewġ Avvenimenti tal-Flux
  6. L-Ewwel Eżempju Sħiħ
  7. Meta Tagħmel Switch għal Ħin Reali
  8. Punti Ewlenin

Kors aġġornat fit-3 ta’ Novembru 2026 għal Voxtral 3, ibbażat fuq il-gwida Migrate from Voxtral 2 ta’ Mistral: il-mudelli Voxtral 2 (voxtral-mini-2602, voxtral-mini-transcribe-realtime-2602, voxtral-mini-tts-2603, iddeprekati fil-31 ta’ Ottubru 2026 u rtirati fit-30 ta’ April 2027, huma mibdula fl-eżempji b’voxtral-mini-transcribe-3, voxtral-mini-transcribe-realtime-3, u voxtral-mini-tts-3-0. Bidliet ewlenin: it-timstamps huma biss għas-segmenti (word jirritorna żball 400), id-djarizzazzjoni hija disponibbli f’ħin reali, is-settings tas-sessjoni f’ħin reali jingħalqu wara l-ewwel biċċa awdjo, u l-inputs ta’ context_bias huma f’forma libera (frażijiet b’ispazji). Sorsi: Migrate from Voxtral 2 · Speech to Text.

Paradiġma Ġdida: Streaming tal-Awdjo

S’issa, ħdimt f’modalità offline: tibgħat fajl awdjo sħiħ, tistenna sakemm il-mudell jipproċessah, u mbagħad tuża r-riżultat. Dan il-fluss tax-xogħol jaħdem tajjeb għal reġistrazzjonijiet eżistenti, bħal laqgħat arċivjati, podcasts, jew intervisti. Madankollu, dan ifalli meta l-awdjo jasla kontinwament: ħadd ma se jistenna sa tmiem konferenza ta’ sagħtejn biex jara l-ewwel sottotitli, u assistent vokali li jifhem mistoqsija biss wara silenzju twil jidher ħażin.

Voxtral Realtime jissodisfa din il-ħtieġa b’arkitettura ta’ streaming. L-awdjo jiġi traskritt hekk kif jiġi, kelma b’kelma, u d-dewmien bejn il-ħoss u t-test isir setting li tista’ tikkontrolla int, li jinżel sa 200 millisekonda. Il-bidla hija kemm mentali kif ukoll teknika: ma taħsibx aktar f’talbiet iżolati iżda f’fluxes (streams), u l-programm tiegħek irid ikun lest li jirċievi test fi kwalunkwe mument.

X’Joffri l-Mudell Realtime

Il-mudell jiġi invokat taħt l-identifikatur voxtral-mini-transcribe-realtime-3 u jvarja fundamentalment mill-kontroparti offline tiegħu. Jirċievi biċċiet awdjo u jemetti frammenti ta’ test kontinwament, mingħajr qatt ma jistenna li tintemm ir-reġistrazzjoni. Il-latency tiegħu hija kkontrollata mill-parametru target_streaming_delay_ms, li se tesplora fid-dettall aktar tard f’dan il-kors. Ikopri 45 lingwa u djalett, u l-lingwa tista’ tiġi ffissata jew skoperta. Il-predeċessur tiegħu tal-Ġenerazzjoni 2, voxtral-mini-transcribe-realtime-2602 (4 biljun parametru), huwa ppubblikat bħala open weights taħt il-liċenzja Apache 2.0 fuq il-Hugging Face Hub għal installazzjoni kompletament sovran fuq is-servers tiegħek stess.

Ma’ Voxtral 3, il-prestazzjoni f’ħin reali għalqet il-biċċa l-kbira tad-differenza mal-modalità offline. Id-djarizzazzjoni hija disponibbli—għalkemm mhux fl-istess sessjoni bħad-detezzjoni tat-tmiem tad-dawra—kif ukoll il-context biasing u d-detezzjoni tat-tmiem tad-dawra. Jibqgħu żewġ differenzi: is-segmenti jġorru t-tikketta tal-kelliem iżda l-ebda ħin tal-bidu jew tat-tmiem, u s-settings kollha tas-sessjoni (lingwa, vokabolarju, djarizzazzjoni, dewmien) iridu jintbagħtu qabel l-ewwel biċċa awdjo, wara liema jingħalqu. Jekk il-każ ta’ użu tiegħek jeħtieġ timestamps preċiżi, għandek bżonn il-modalità offline, possibbilment bħala kumpliment għal dik f’ħin reali.

Installazzjoni

L-SDK ta’ Mistral ma jtagħbix id-dipendenzi tal-streaming b’mod awtomatiku. Trid titlob espliċitament l-extra realtime, li jżid is-suppoġġ għal konnessjonijiet WebSocket u pproċessar asinkronu tal-awdjo:

pip install "mistralai[realtime]"

Il-Format tal-Awdjo Meħtieġ

B’differenza mill-modalità offline, li taċċetta firxa wiesgħa ta’ kontenituri, Voxtral Realtime jistenna flux mhux ipproċessat (raw) f’format wieħed u mhux negozjabbli:

  • Encoding: PCM 16-bit signed little-endian (pcm_s16le)
  • Sample rate: 16,000 Hz (16 kHz)
  • Kanali: Mono (kanal wieħed)

Dan ir-rekwiżit mhuwiex ostaklu: dan il-format huwa l-aktar wieħed standard disponibbli, u l-għodod kollha tal-qbid jipproduċuh naturalment, kemm jekk PyAudio, FFmpeg, jew PulseAudio. Int tiddikjarah darba waħda lill-klijent, li jużah biex jinterpreta l-bytes li tittrasmetti.

from mistralai.client.models import AudioFormat

# Iddefinixxi l-format tal-awdjo
audio_format = AudioFormat(
    encoding="pcm_s16le",
    sample_rate=16000
)

Iż-Żewġ Avvenimenti tal-Flux

Meta tgħaddi mit-traskrizzjoni, l-SDK jirritorna żewġ tipi ta’ oġġetti. TranscriptionStreamTextDelta jiġi emess għal kull framment traskritt ġdid u jġorr it-test parzjali li tista’ turi immedjatament; dan huwa dak li jħaddem l-iskrin tal-utent. TranscriptionStreamDone jasal eżattament darba waħda, meta jispiċċa l-flux tal-awdjo, kemm jekk fit-tmiem ta’ fajl jew meta jingħalaq il-mikrofonu; jissinjala li m’hemm xejn ieħor li ġej u li tista’ tikkonsolida r-riżultat. Għalhekk, il-loġika kollha tiegħek tidħol f’loop asinkronu li jiddistingwi dawn iż-żewġ każijiet:

from mistralai.client.models import (
    TranscriptionStreamTextDelta,
    TranscriptionStreamDone
)

async for event in flux_transcription:
    if isinstance(event, TranscriptionStreamTextDelta):
        # Test ġdid disponibbli
        print(event.text, end="", flush=True)
    elif isinstance(event, TranscriptionStreamDone):
        # Traskrizzjoni lesta
        print("\n[Lesta]")

L-Ewwel Eżempju Sħiħ

Biex issir familjari mal-mekkaniżmu mingħajr ma tiddependi fuq mikrofonu, l-aktar approċċ sempliċi huwa li tissimula flux minn fajl diġà konvertit għal PCM. Il-funzjoni lire_fichier_pcm hija ġeneratur asinkronu: taqra l-fajl f’blokok u tagħtihom wieħed wieħed, eżattament kif tagħmel karta tal-ħoss. Il-bqija tal-programm huwa dak li se terġa’ tuża aktar tard mingħajr modifika.

import asyncio
import os
from mistralai.client import Mistral
from mistralai.client.models import (
    AudioFormat,
    TranscriptionStreamTextDelta,
    TranscriptionStreamDone
)

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
audio_format = AudioFormat(encoding="pcm_s16le", sample_rate=16000)

async def lire_fichier_pcm(chemin: str, taille_chunk: int = 32000):
    """Jaqra fajl PCM f'biċċiet biex jissimula flux."""
    with open(chemin, "rb") as f:
        while True:
            chunk = f.read(taille_chunk)
            if not chunk:
                break
            yield chunk

async def main():
    flux_audio = lire_fichier_pcm("audio.pcm")

    async for event in client.audio.realtime.transcribe_stream(
        audio_stream=flux_audio,
        model="voxtral-mini-transcribe-realtime-3",
        audio_format=audio_format,
    ):
        if isinstance(event, TranscriptionStreamTextDelta):
            print(event.text, end="", flush=True)
        elif isinstance(event, TranscriptionStreamDone):
            print("\n\nTraskrizzjoni lesta.")

asyncio.run(main())

Jekk il-fajl tas-sors tiegħek huwa MP3, ma jistax jintbagħat hekk kif inhu: ikkonvertih l-ewwel b’FFmpeg, u infurza t-tliet karatteristiċi meħtieġa mill-mudell.

ffmpeg -i audio.mp3 -f s16le -acodec pcm_s16le -ar 16000 -ac 1 audio.pcm

Meta Tagħmel Switch għal Ħin Reali

Il-kriterju tal-għażla huwa sempliċi: il-ħin reali huwa ġġustifikat meta xi ħadd ikun qed jistenna t-test waqt li l-ħoss ikun qed jiġi prodott. Dan japplika għas-sottotitlar live għal konferenza, webinar, jew kors online, fejn il-udjenza taqra hekk kif tisma’; għal assistent vokali, li jrid jifhem lill-utent waqt li jkun qed jitkellem biex iwieġeb mingħajr pawżi imbarazzanti; għad-dettar, fejn id-diskors isir test quddiem għajnejn il-kelliem; u finalment għat-traskrizzjoni tal-konferenzi, meta t-test irid jidher hekk kif jingħad. Kullimkien ieħor, il-modalità offline tibqa’ aktar rikka u aktar sempliċi biex tiġi implimentata.

Il-lezzjonijiet li ġejjin juruk kif taqbad l-awdjo mill-mikrofonu, taġġusta l-latency, u tibni dawn il-każijiet ta’ użu mill-bidu sal-aħħar.

Punti Ewlenin

  • Voxtral Mini Transcribe Realtime 3 jitraskrivi awdjo f’modalità streaming b’dewmien aġġustabbli minn 80 ms sa 1.2 s (jew 2.4 s)
  • Format tal-awdjo meħtieġ: PCM 16-bit, 16 kHz, mono
  • Żewġ tipi ta’ avvenimenti: TextDelta (test parzjali) u Done (tmiem)
  • Installa b’pip install "mistralai[realtime]"
  • Programmazzjoni asinkrona meħtieġa (async/await)
  • Djarizzazzjoni (eskluża d-detezzjoni tat-tmiem tad-dawra) u context biasing disponibbli f’ħin reali, mingħajr timestamps tas-segmenti; is-settings jingħalqu wara l-ewwel biċċa awdjo
  • Il-Ġenerazzjoni 2 tal-mudell realtime hija open weights Apache 2.0, għal dispjegament sovran