Pereiti prie pagrindinio turinio
Lietuvių— Pasirinkite kalbą
Meniu

Įvadas į transkribavimą realiuoju laiku

Paskaita 9 iš 16 Atnaujinta 2026 m. lapkričio 3 d. Kūrėjas
Šiame puslapyje
  1. Nauja paradigma: garso srautas
  2. Ką siūlo realiuoju laiku veikiantis modelis
  3. Diegimas
  4. Būtinas garso formatas
  5. Du srauto įvykiai
  6. Pirmas pilnas pavyzdys
  7. Kada pereiti prie realiojo laiko režimo
  8. Svarbiausi punktai

Kursas atnaujintas 2026 m. lapkričio 3 d. Voxtral 3 versijai, remiantis „Mistral“ vadovu Migrate from Voxtral 2: Voxtral 2 modeliai (voxtral-mini-2602, voxtral-mini-transcribe-realtime-2602, voxtral-mini-tts-2603), pasenę 2026 m. spalio 31 d. ir nutraukti 2027 m. balandžio 30 d., pavyzdžiuose pakeisti modeliais voxtral-mini-transcribe-3, voxtral-mini-transcribe-realtime-3 ir voxtral-mini-tts-3-0. Pagrindiniai pokyčiai: laiko žymos tik segmentų lygmenyje (word grąžina 400 klaidą), kalbėtojų atskyrimas (diarization) galimas realiuoju laiku, sesijos nustatymai užrakomi po pirmojo garso fragmento, o context_bias įvestys yra laisvos formos (frazės su tarpais). Šaltiniai: Migrate from Voxtral 2 · Speech to Text.

Nauja paradigma: garso srautas

Iki šiol dirbai neakivaizdiniu (offline) režimu: siuntei visą garso failą, laukdavai, kol modelis jį apdoros, ir tik tada naudodavai rezultatą. Ši darbo eiga tinka esamiems įrašams, pavyzdžiui, archyvuotiems susitikimams, tinklalaidėms ar interviu. Ji netinka, kai garso duomenys ateina nuolat: niekas nelauks dviejų valandų trukmės konferencijos pabaigos, kad pamatytų pirmuosius subtitrus, o balso asistentas, kuris klausimą supranta tik po ilgos tylos, atrodo sugedęs.

„Voxtral Realtime“ tenkina šį poreikį naudodamas srautinę (streaming) architektūrą. Garso įrašas transkribuojamas tiesiogiai, žodis po žodžio, o delsą tarp garso ir teksto gali reguliuoti pats – ji gali siekti vos 200 milisekundžių. Šis pokytis yra tiek mentalinis, tiek techninis: jau nemąstai pavienėmis užklausomis, o srautais, ir tavo programa turi būti pasirengusi gauti tekstą bet kuriuo momentu.

Ką siūlo realiuoju laiku veikiantis modelis

Modelis kviečiamas naudojant identifikatorių voxtral-mini-transcribe-realtime-3 ir iš esmės skiriasi nuo savo neakivaizdinio (offline) analogo. Jis gauna garso fragmentus ir nuolat emituoja teksto dalis, niekada nelaukdamas įrašo pabaigos. Jo delsą valdo parametras target_streaming_delay_ms, kurį išsamiai nagrinėsi vėliau šiame kurse. Modelis palaiko 45 kalbas ir dialektus; kalbą galima nustatyti fiksuotai arba leisti ją aptikti automatiškai. Jo antrosios kartos pirmtakas voxtral-mini-transcribe-realtime-2602 (4 mlrd. parametrų) yra paskelbtas kaip atviro svorio modelis pagal Apache 2.0 licenciją „Hugging Face Hub“ platformoje, leidžiantis visiškai suverenią diegimą savo serveriuose.

Su „Voxtral 3“ realiuoju laiku pasiekiamas našumas beveik prilygsta neakivaizdiniam režimui. Galimas kalbėtojų atskyrimas (diarization) – nors ne toje pačioje sesijoje kaip kalbos pabaigos aptikimas – taip pat konteksto šališkumas (context biasing) ir kalbos pabaigos aptikimas (turn-end detection). Likę du skirtumai: segmentai turi kalbėtojo etiketę, bet neturi pradžios ar pabaigos laiko žymų, o visi sesijos nustatymai (kalba, žodynas, kalbėtojų atskyrimas, delsa) turi būti išsiųsti prieš pirmąjį garso fragmentą, po to jie užrakomi. Jei tavo naudojimo atveju reikalingos tikslios laiko žymos, tau reikia neakivaizdinio režimo, galbūt kaip realiojo laiko papildinio.

Diegimas

„Mistral“ SDK pagal nutylėjimą neįkelia srautinio apdorojimo priklausomybių. Turi aiškiai paprašyti realtime papildinio, kuris priduria „WebSocket“ ryšių ir asinchroninio garso apdorojimo palaikymą:

pip install "mistralai[realtime]"

Būtinas garso formatas

Skirtingai nei neakivaizdiniu režimu, kuris priima įvairius konteinerius, „Voxtral Realtime“ tikisi žalių duomenų srauto vienu, nekintamu formatu:

  • Kodavimas: 16 bitų ženklintas mažosios galūnės PCM (pcm_s16le)
  • Diskretizavimo dažnis: 16 000 Hz (16 kHz)
  • Kanalai: Mono (1 kanalas)

Šis apribojimas nėra kliūtis: tai pats standartiškiausias formatas, ir visos įrašymo priemonės jį generuoja natūraliai, nesvarbu, ar tai „PyAudio“, „FFmpeg“, ar „PulseAudio“. Jį vieną kartą nurodai klientui, kuris jį naudoja interpretuodamas tavo siunčiamus baitus.

from mistralai.client.models import AudioFormat

# Apibrėžiame garso formatą
audio_format = AudioFormat(
    encoding="pcm_s16le",
    sample_rate=16000
)

Du srauto įvykiai

Iteruodamas per transkribaciją, SDK grąžina dviejų tipų objektus. TranscriptionStreamTextDelta emituojamas kiekvienam naujam transkribuotam fragmentui ir neša dalinį tekstą, kurį gali iškart rodyti; būtent tai maitina naudotojo ekraną. TranscriptionStreamDone atvyksta tik vieną kartą, kai garso srautas baigiasi – nesvarbu, ar pasibaigus failui, ar uždarius mikrofoną; jis signalizuoja, kad daugiau nieko nebus ir kad gali sukonsoliduoti rezultatą. Todėl visa tavo logika telpa į asinchroninę kilpą, kuri atskiria šiuos du atvejus:

from mistralai.client.models import (
    TranscriptionStreamTextDelta,
    TranscriptionStreamDone
)

async for event in flux_transcription:
    if isinstance(event, TranscriptionStreamTextDelta):
        # Yra naujo teksto
        print(event.text, end="", flush=True)
    elif isinstance(event, TranscriptionStreamDone):
        # Transkribacija baigta
        print("\n[Finished]")

Pirmas pilnas pavyzdys

Kad įprastum prie mechanizmo nenaudodamas mikrofono, paprasčiausias būdas – imituoti srautą iš failo, jau konvertuoto į PCM. Funkcija lire_fichier_pcm yra asinchroninis generatorius: ji skaito failą blokais ir po vieną juos grąžina, lygiai taip, kaip tai darytų garso plokštė. Likusi programos dalis yra tai, ką vėliau naudosai be jokių pakeitimų.

import asyncio
import os
from mistralai.client import Mistral
from mistralai.client.models import (
    AudioFormat,
    TranscriptionStreamTextDelta,
    TranscriptionStreamDone
)

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
audio_format = AudioFormat(encoding="pcm_s16le", sample_rate=16000)

async def lire_fichier_pcm(chemin: str, taille_chunk: int = 32000):
    """Skaito PCM failą fragmentais, imituodama srautą."""
    with open(chemin, "rb") as f:
        while True:
            chunk = f.read(taille_chunk)
            if not chunk:
                break
            yield chunk

async def main():
    flux_audio = lire_fichier_pcm("audio.pcm")

    async for event in client.audio.realtime.transcribe_stream(
        audio_stream=flux_audio,
        model="voxtral-mini-transcribe-realtime-3",
        audio_format=audio_format,
    ):
        if isinstance(event, TranscriptionStreamTextDelta):
            print(event.text, end="", flush=True)
        elif isinstance(event, TranscriptionStreamDone):
            print("\n\nTranscription finished.")

asyncio.run(main())

Jei tavo šaltinio failas yra MP3, jo negalima siųsti tokio, koks yra: pirmiausia konvertuok jį naudodamas „FFmpeg“, priversdamas laikytis trijų modeliui būtinų charakteristikų.

ffmpeg -i audio.mp3 -f s16le -acodec pcm_s16le -ar 16000 -ac 1 audio.pcm

Kada pereiti prie realiojo laiko režimo

Atrankos kriterijus paprastas: realusis laikas yra pateisinamas, kai kas nors laukia teksto tuo metu, kai garsas yra kuriamas. Tai taikoma tiesioginiams subtitrams konferencijoje, webinare ar internetiniame kurse, kur auditorija skaito tuo pačiu metu, kai klauso; balso asistentui, kuris turi suprasti naudotoją jam kalbant, kad atsakytų be nepatogių pauzių; diktavimui, kai kalba virsta tekstu prieš kalbėtojo akis; ir galiausiai konferencijų transkribavimui, kai tekstas turi atsirasti tuo metu, kai jis yra tariamas. Visur kitur neakivaizdinis režimas išlieka turtingesnis ir paprastesnis įgyvendinti.

Kitose pamokose parodysime, kaip užfiksuoti mikrofono signalą, sureguliuoti delsą ir nuo pradžių iki galo sukurti šiuos naudojimo atvejus.

Svarbiausi punktai

  • „Voxtral Mini Transcribe Realtime 3“ transkribuoja garso įrašus srautiniu režimu su reguliuojama 80 ms–1,2 s (arba 2,4 s) delsa
  • Būtinas garso formatas: 16 bitų PCM, 16 kHz, mono
  • Du įvykių tipai: TextDelta (dalinis tekstas) ir Done (pabaiga)
  • Diegimas: pip install "mistralai[realtime]"
  • Reikalingas asinchroninis programavimas (async/await)
  • Kalbėtojų atskyrimas (išskyrus kalbos pabaigos aptikimą) ir konteksto šališkumas galimi realiuoju laiku, be segmento laiko žymų; nustatymai užrakomi po pirmojo garso fragmento
  • Antrosios kartos realiojo laiko modelis yra atviro svorio (Apache 2.0), skirtas suvereniems diegimams