Uvod u transkripciju u stvarnom vremenu
Na ovoj stranici
Tečaj ažuriran 3. studenoga 2026. za Voxtral 3, na temelju Mistralovog vodiča Migrate from Voxtral 2: modeli Voxtral 2 (
voxtral-mini-2602,voxtral-mini-transcribe-realtime-2602,voxtral-mini-tts-2603), zastarjeli 31. listopada 2026. i povučeni 30. travnja 2027., zamijenjeni su u primjerima modelimavoxtral-mini-transcribe-3,voxtral-mini-transcribe-realtime-3ivoxtral-mini-tts-3-0. Ključne promjene: vremenske oznake dostupne su samo po segmentima (wordvraća pogrešku 400), razdvajanje govornika (diarization) dostupno je u stvarnom vremenu, postavke sesije u stvarnom vremenu zaključane su nakon prvog audio isječka, a unosicontext_biassu slobodnog formata (fraze s razmacima). Izvori: Migrate from Voxtral 2 · Speech to Text.
Nova paradigma: strujanje zvuka (Audio Streaming)
Do sada si radio/la u offline načinu: poslao/la si cijelu audio datoteku, pričekao/la da je model obradi, a zatim iskoristio/la rezultat. Taj tijek rada odgovara postojećim snimkama, poput arhiviranih sastanaka, podcasta ili intervjua. Ne funkcionira kada zvuk stiže kontinuirano: nitko neće čekati kraj dvosatne konferencije da bi vidio/la prve titlove, a glasovni asistent koji razumije pitanje tek nakon duge tišine djeluje pokvareno.
Voxtral Realtime odgovara na tu potrebu arhitekturom strujanja (streaming). Zvuk se transkribira u hodu, riječ po riječ, a kašnjenje između zvuka i teksta postaje postavka kojom upravljaš, a može pasti i na 200 milisekundi. Pomak je jednako mentalan koliko i tehnički: više ne razmišljaš u izoliranim zahtjevima, već u tokovima podataka, a tvoj program mora biti spreman primati tekst u bilo kojem trenutku.
Što nudi model za stvarno vrijeme
Model se poziva pod identifikatorom voxtral-mini-transcribe-realtime-3 i temeljno se razlikuje od svog offline parnjaka. Prima audio isječke i neprestano emitira tekstualne fragmente, nikada ne čekajući kraj snimanja. Njegova latencija kontrolirana je parametrom target_streaming_delay_ms, koji ćeš detaljno istražiti kasnije u ovom tečaju. Pokriva 45 jezika i dijalekata, a jezik može biti fiksiran ili automatski detektiran. Njegov prethodnik iz Generacije 2, voxtral-mini-transcribe-realtime-2602 (4 milijarde parametara), objavljen je kao otvoreni utezi (open weights) pod licencom Apache 2.0 na Hugging Face Hubu za potpuno suverenu instalaciju na tvojim vlastitim poslužiteljima.
S Voxtralom 3, performanse u stvarnom vremenu uvelike su smanjile jaz s offline načinom rada. Razdvajanje govornika (diarization) dostupno je – iako ne u istoj sesiji kao detekcija kraja govora – kao i pristranost konteksta (context biasing) i detekcija kraja govora. Preostale su dvije razlike: segmenti nose oznaku govornika, ali nemaju vrijeme početka ili završetka, a sve postavke sesije (jezik, rječnik, razdvajanje govornika, kašnjenje) moraju se poslati prije prvog audio isječka, nakon čega su zaključane. Ako tvoj slučaj upotrebe zahtijeva precizne vremenske oznake, trebaš offline način rada, eventualno kao nadopunu stvarnom vremenu.
Instalacija
Mistral SDK ne učitava ovisnosti za strujanje prema zadanim postavkama. Moraš eksplicitno zatražiti dodatni paket realtime, koji dodaje podršku za WebSocket veze i asinkronu obradu zvuka:
pip install "mistralai[realtime]"
Potreban audio format
Za razliku od offline načina koji prihvaća širok raspon kontejnera, Voxtral Realtime očekuje sirovi tok u jednom, nepregovaračkom formatu:
- Kodiranje: 16-bitni PCM s predznakom, little-endian (
pcm_s16le) - Frekvencija uzorkovanja: 16 000 Hz (16 kHz)
- Kanali: Mono (1 kanal)
Ovo ograničenje nije prepreka: ovaj format je najstandardniji dostupan format i svi alati za hvatanje zvuka proizvode ga izvorno, bilo da se radi o PyAudiju, FFmpegu ili PulseAudiju. Jednom ga deklariraš klijentu, koji ga koristi za tumačenje bajtova koje prenosiš.
from mistralai.client.models import AudioFormat
# Definiranje audio formata
audio_format = AudioFormat(
encoding="pcm_s16le",
sample_rate=16000
)
Dva događaja u toku
Kada iteriraš kroz transkripciju, SDK vraća dvije vrste objekata. TranscriptionStreamTextDelta emitira se za svaki novi transkribirani fragment i nosi djelomični tekst koji možeš odmah prikazati; to je ono što pokreće korisničko sučelje. TranscriptionStreamDone stiže točno jednom, kada audio tok završi, bilo na kraju datoteke ili kada se mikrofon zatvori; signalizira da više ničega nema i da možeš konsolidirati rezultat. Tvoja cijela logika stoga staje u asinkronu petlju koja razlikuje ova dva slučaja:
from mistralai.client.models import (
TranscriptionStreamTextDelta,
TranscriptionStreamDone
)
async for event in flux_transcription:
if isinstance(event, TranscriptionStreamTextDelta):
# Dostupan novi tekst
print(event.text, end="", flush=True)
elif isinstance(event, TranscriptionStreamDone):
# Transkripcija završena
print("\n[Završeno]")
Prvi cjeloviti primjer
Kako bi se naviknuo/la na mehanizam bez oslanjanja na mikrofon, najjednostavniji pristup je simuliranje toka iz datoteke koja je već pretvorena u PCM. Funkcija lire_fichier_pcm asinkroni je generator: čita datoteku u blokovima i vraća ih jedan po jedan, točno kao što bi to radila zvučna kartica. Ostatak programa je ono što ćeš kasnije ponovno iskoristiti bez izmjena.
import asyncio
import os
from mistralai.client import Mistral
from mistralai.client.models import (
AudioFormat,
TranscriptionStreamTextDelta,
TranscriptionStreamDone
)
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
audio_format = AudioFormat(encoding="pcm_s16le", sample_rate=16000)
async def lire_fichier_pcm(chemin: str, taille_chunk: int = 32000):
"""Čita PCM datoteku u isječcima za simulaciju toka."""
with open(chemin, "rb") as f:
while True:
chunk = f.read(taille_chunk)
if not chunk:
break
yield chunk
async def main():
flux_audio = lire_fichier_pcm("audio.pcm")
async for event in client.audio.realtime.transcribe_stream(
audio_stream=flux_audio,
model="voxtral-mini-transcribe-realtime-3",
audio_format=audio_format,
):
if isinstance(event, TranscriptionStreamTextDelta):
print(event.text, end="", flush=True)
elif isinstance(event, TranscriptionStreamDone):
print("\n\nTranskripcija završena.")
asyncio.run(main())
Ako je tvoja izvorna datoteka MP3, ne može se poslati kakva jest: prvo je pretvori pomoću FFmpga, namećući tri karakteristike koje model zahtijeva.
ffmpeg -i audio.mp3 -f s16le -acodec pcm_s16le -ar 16000 -ac 1 audio.pcm
Kada prijeći na stvarno vrijeme
Kriterij odabira je jednostavan: stvarno vrijeme je opravdano kada netko čeka tekst dok se zvuk proizvodi. To se primjenjuje na titlovanje uživo za konferencije, webinare ili online tečajeve, gdje publika čita dok sluša; na glasovne asistente, koji moraju razumjeti korisnika dok govori kako bi odgovorili bez neugodnih pauza; na diktate, gdje govor postaje tekst pred očima govornika; i konačno, na transkripciju konferencija, kada se tekst mora pojaviti dok se izgovara. Svugdje drugdje, offline način rada ostaje bogatiji i jednostavniji za implementaciju.
Sljedeće lekcije pokazat će ti kako uhvatiti zvuk s mikrofona, podesiti latenciju i izgraditi ove slučajeve upotrebe od početka do kraja.
Ključne točke
- Voxtral Mini Transcribe Realtime 3 transkribira zvuk u načinu strujanja s podesivim kašnjenjem od 80 ms do 1,2 s (ili 2,4 s)
- Potreban audio format: 16-bitni PCM, 16 kHz, mono
- Dvije vrste događaja:
TextDelta(djelomični tekst) iDone(kraj) - Instaliraj s
pip install "mistralai[realtime]" - Potrebno asinkrono programiranje (
async/await) - Razdvajanje govornika (isključujući detekciju kraja govora) i pristranost konteksta dostupni u stvarnom vremenu, bez vremenskih oznaka segmenata; postavke zaključane nakon prvog audio isječka
- Generacija 2 modela za stvarno vrijeme ima otvorene uteze pod licencom Apache 2.0, za suvereno raspoređivanje