Preskok na glavno vsebino
Slovenščina— Izberite jezik
Meni

Uvod v prepisovanje v realnem času

Lekcija 9 od 16 Posodobljeno 3. november 2026 Razvijalec
Na tej strani
  1. Nova paradigma: pretakanje zvoka
  2. Kaj ponuja model Realtime
  3. Namestitev
  4. Zahtevana zvočna oblika
  5. Dva dogodka toka
  6. Prvi popoln primer
  7. Kdaj preklopiti na realni čas
  8. Ključne ugotovitve

Posodobitev tečaja z dne 3. novembra 2026 za Voxtral 3, na podlagi vodnika Mistral Migrate from Voxtral 2: modeli Voxtral 2 (voxtral-mini-2602, voxtral-mini-transcribe-realtime-2602, voxtral-mini-tts-2603, ki so bili opuščeni 31. oktobra 2026 in umaknjeni 30. aprila 2027, so v primerih zamenjani z voxtral-mini-transcribe-3, voxtral-mini-transcribe-realtime-3 in voxtral-mini-tts-3-0. Ključne spremembe: časovni žigi so na voljo le za segmente (word vrne napako 400), dodeljevanje govorcev (diarization) je na voljo v realnem času, nastavitve seje v realnem času so zaklenjene po prvem zvočnem delčku, vnosi context_bias pa so v prostem formatu (fraze s presledki). Viri: Migrate from Voxtral 2 · Speech to Text.

Nova paradigma: pretakanje zvoka

Do zdaj si delal v načinu brez povezave (offline): poslal si celotno zvočno datoteko, počakal, da jo model obdela, in nato uporabil rezultat. Ta delovni tok ustreza obstoječim posnetkom, kot so arhivirani sestanki, podkasti ali intervjuji. Odpove pa, ko zvok prihaja neprekinjeno: nihče ne bo čakal do konca dvourne konference, da bi videl prve podnapise, in glasovni pomočnik, ki vprašanje razume šele po dolgem molku, deluje okvarjeno.

Voxtral Realtime zadovolji to potrebo z arhitekturo pretakanja (streaming). Zvok se prepisuje sproti, beseda za besedo, zamik med zvokom in besedilom pa postane nastavitev, ki jo nadzoruješ in jo lahko znižaš vse do 200 milisekund. Premik je tako mentalen kot tehničen: ne razmišljaš več v izoliranih zahtevah, temveč v tokovih, tvoj program pa mora biti pripravljen na prejemanje besedila kadarkoli.

Kaj ponuja model Realtime

Model se prikliče pod identifikatorjem voxtral-mini-transcribe-realtime-3 in se temeljito razlikuje od svoje različice brez povezave. Prejema zvočne delčke in neprekinjeno oddaja besedilne fragmente, nikoli ne čaka na konec snemanja. Njegovo latenco nadzoruje parameter target_streaming_delay_ms, ki ga boš podrobneje raziskal kasneje v tem tečaju. Pokriva 45 jezikov in narečij, jezik pa je lahko določen ali samodejno zaznan. Njegov predhodnik generacije 2, voxtral-mini-transcribe-realtime-2602 (4 milijarde parametrov), je objavljen kot odprte uteži pod licenco Apache 2.0 na vozlišču Hugging Face Hub za popolnoma suvereno namestitev na tvoje lastne strežnike.

Pri Voxtral 3 je zmogljivost v realnem času v veliki meri dohitela način brez povezave. Dodeljevanje govorcev (Diarization) je na voljo – čeprav ne v isti seji kot zaznavanje konca govora – prav tako pristranskost konteksta (context biasing) in zaznavanje konca govora (turn-end detection). Ostajata dve razliki: segmenti vsebujejo oznako govorca, ne pa časa začetka ali konca, vse nastavitve seje (jezik, besedišče, dodeljevanje govorcev, zamik) pa je treba poslati pred prvim zvočnim delčkom, nato pa so zaklenjene. Če tvoj primer uporabe zahteva natančne časovne žige, potrebuješ način brez povezave, morda kot dopolnilo realnemu času.

Namestitev

Mistral SDK privzeto ne naloži odvisnosti za pretakanje. Izrecno moraš zahtevati dodatek realtime, ki doda podporo za povezave WebSocket in asinhrono obdelavo zvoka:

pip install "mistralai[realtime]"

Zahtevana zvočna oblika

Za razliko od načina brez povezave, ki sprejema širok spekter vsebnikov, Voxtral Realtime pričakuje surov tok v eni sami, neoporekljivi obliki:

  • Kodiranje: 16-bitno predznačeno little-endian PCM (pcm_s16le)
  • Vzorčna frekvenca: 16.000 Hz (16 kHz)
  • Kanali: Mono (1 kanal)

Ta omejitev ni ovira: ta oblika je najbolj standardna na voljo in vsa orodja za zajem jo proizvedejo naravno, bodisi PyAudio, FFmpeg ali PulseAudio. Enkrat jo deklariraš odjemalcu, ki jo uporabi za interpretacijo bajtov, ki jih prenašaš.

from mistralai.client.models import AudioFormat

# Definiraj zvočno obliko
audio_format = AudioFormat(
    encoding="pcm_s16le",
    sample_rate=16000
)

Dva dogodka toka

Ko iteriraš čez prepis, SDK vrne dve vrsti objektov. TranscriptionStreamTextDelta se odda za vsak nov prepisan fragment in nosi delno besedilo, ki ga lahko takoj prikažeš; to poganja uporabnikov zaslon. TranscriptionStreamDone prispe točno enkrat, ko se zvočni tok konča, bodisi na koncu datoteke ali ko se mikrofon zapre; signalizira, da ne prihaja nič več in da lahko rezultat konsolidiraš. Tvoja celotna logika se torej prilega v asinhrono zanko, ki razlikuje ta dva primera:

from mistralai.client.models import (
    TranscriptionStreamTextDelta,
    TranscriptionStreamDone
)

async for event in flux_transcription:
    if isinstance(event, TranscriptionStreamTextDelta):
        # Na voljo novo besedilo
        print(event.text, end="", flush=True)
    elif isinstance(event, TranscriptionStreamDone):
        # Prepis končan
        print("\n[Finished]")

Prvi popoln primer

Da se boš navadil na mehanizem, ne da bi se zanašal na mikrofon, je najpreprostejši pristop simulacija toka iz datoteke, ki je že pretvorjena v PCM. Funkcija lire_fichier_pcm je asinhroni generator: bere datoteko v blokih in jih vrača enega za drugim, točno tako, kot bi zvočna kartica. Preostanek programa je tisto, kar boš kasneje ponovno uporabil brez sprememb.

import asyncio
import os
from mistralai.client import Mistral
from mistralai.client.models import (
    AudioFormat,
    TranscriptionStreamTextDelta,
    TranscriptionStreamDone
)

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
audio_format = AudioFormat(encoding="pcm_s16le", sample_rate=16000)

async def lire_fichier_pcm(chemin: str, taille_chunk: int = 32000):
    """Bere datoteko PCM v delčkih za simulacijo toka."""
    with open(chemin, "rb") as f:
        while True:
            chunk = f.read(taille_chunk)
            if not chunk:
                break
            yield chunk

async def main():
    flux_audio = lire_fichier_pcm("audio.pcm")

    async for event in client.audio.realtime.transcribe_stream(
        audio_stream=flux_audio,
        model="voxtral-mini-transcribe-realtime-3",
        audio_format=audio_format,
    ):
        if isinstance(event, TranscriptionStreamTextDelta):
            print(event.text, end="", flush=True)
        elif isinstance(event, TranscriptionStreamDone):
            print("\n\nPrepis končan.")

asyncio.run(main())

Če je tvoja izvorna datoteka MP3, je ne moreš poslati takšne, kot je: najprej jo pretvori s FFmpeg in vsili tri značilnosti, ki jih model zahteva.

ffmpeg -i audio.mp3 -f s16le -acodec pcm_s16le -ar 16000 -ac 1 audio.pcm

Kdaj preklopiti na realni čas

Merilo za izbiro je preprosto: realni čas je upravičen, ko nekdo čaka na besedilo, medtem ko se zvok proizvaja. To velja za podnapise v živo za konferenco, spletni seminar ali spletni tečaj, kjer občinstvo bere, medtem ko posluša; za glasovnega pomočnika, ki mora razumeti uporabnika, medtem ko govori, da bi odgovoril brez nerodnih premorov; za narekovanje, kjer govor postane besedilo pred očmi govorca; in nazadnje za prepisovanje konferenc, ko se mora besedilo pojaviti, ko je izgovorjeno. Povsod drugje ostaja način brez povezave bogatejši in preprostejši za implementacijo.

Naslednje lekcije ti bodo pokazale, kako zajeti mikrofon, prilagoditi latenco in zgraditi te primere uporabe od začetka do konca.

Ključne ugotovitve

  • Voxtral Mini Transcribe Realtime 3 prepisuje zvok v načinu pretakanja z nastavljivim zamikom od 80 ms do 1,2 s (ali 2,4 s)
  • Zahtevana zvočna oblika: 16-bitni PCM, 16 kHz, mono
  • Dve vrsti dogodkov: TextDelta (delno besedilo) in Done (konec)
  • Namesti z pip install "mistralai[realtime]"
  • Zahtevano asinhrono programiranje (async/await)
  • Dodeljevanje govorcev (razen zaznavanja konca govora) in pristranskost konteksta sta na voljo v realnem času, brez časovnih žigov segmentov; nastavitve so zaklenjene po prvem zvočnem delčku
  • Generacija 2 modela realtime je odprta utež Apache 2.0, za suvereno namestitev