Preskoči na glavni sadržaj
Hrvatski— Odaberite jezik
Izbornik

Uvod u transkripciju u stvarnom vremenu

Lekcija 9 od 16 Ažurirano 3. studenoga 2026. Programer
Na ovoj stranici
  1. Nova paradigma: strujanje zvuka (Audio Streaming)
  2. Što nudi model za stvarno vrijeme
  3. Instalacija
  4. Potreban audio format
  5. Dva događaja u toku
  6. Prvi cjeloviti primjer
  7. Kada prijeći na stvarno vrijeme
  8. Ključne točke

Tečaj ažuriran 3. studenoga 2026. za Voxtral 3, na temelju Mistralovog vodiča Migrate from Voxtral 2: modeli Voxtral 2 (voxtral-mini-2602, voxtral-mini-transcribe-realtime-2602, voxtral-mini-tts-2603), zastarjeli 31. listopada 2026. i povučeni 30. travnja 2027., zamijenjeni su u primjerima modelima voxtral-mini-transcribe-3, voxtral-mini-transcribe-realtime-3 i voxtral-mini-tts-3-0. Ključne promjene: vremenske oznake dostupne su samo po segmentima (word vraća pogrešku 400), razdvajanje govornika (diarization) dostupno je u stvarnom vremenu, postavke sesije u stvarnom vremenu zaključane su nakon prvog audio isječka, a unosi context_bias su slobodnog formata (fraze s razmacima). Izvori: Migrate from Voxtral 2 · Speech to Text.

Nova paradigma: strujanje zvuka (Audio Streaming)

Do sada si radio/la u offline načinu: poslao/la si cijelu audio datoteku, pričekao/la da je model obradi, a zatim iskoristio/la rezultat. Taj tijek rada odgovara postojećim snimkama, poput arhiviranih sastanaka, podcasta ili intervjua. Ne funkcionira kada zvuk stiže kontinuirano: nitko neće čekati kraj dvosatne konferencije da bi vidio/la prve titlove, a glasovni asistent koji razumije pitanje tek nakon duge tišine djeluje pokvareno.

Voxtral Realtime odgovara na tu potrebu arhitekturom strujanja (streaming). Zvuk se transkribira u hodu, riječ po riječ, a kašnjenje između zvuka i teksta postaje postavka kojom upravljaš, a može pasti i na 200 milisekundi. Pomak je jednako mentalan koliko i tehnički: više ne razmišljaš u izoliranim zahtjevima, već u tokovima podataka, a tvoj program mora biti spreman primati tekst u bilo kojem trenutku.

Što nudi model za stvarno vrijeme

Model se poziva pod identifikatorom voxtral-mini-transcribe-realtime-3 i temeljno se razlikuje od svog offline parnjaka. Prima audio isječke i neprestano emitira tekstualne fragmente, nikada ne čekajući kraj snimanja. Njegova latencija kontrolirana je parametrom target_streaming_delay_ms, koji ćeš detaljno istražiti kasnije u ovom tečaju. Pokriva 45 jezika i dijalekata, a jezik može biti fiksiran ili automatski detektiran. Njegov prethodnik iz Generacije 2, voxtral-mini-transcribe-realtime-2602 (4 milijarde parametara), objavljen je kao otvoreni utezi (open weights) pod licencom Apache 2.0 na Hugging Face Hubu za potpuno suverenu instalaciju na tvojim vlastitim poslužiteljima.

S Voxtralom 3, performanse u stvarnom vremenu uvelike su smanjile jaz s offline načinom rada. Razdvajanje govornika (diarization) dostupno je – iako ne u istoj sesiji kao detekcija kraja govora – kao i pristranost konteksta (context biasing) i detekcija kraja govora. Preostale su dvije razlike: segmenti nose oznaku govornika, ali nemaju vrijeme početka ili završetka, a sve postavke sesije (jezik, rječnik, razdvajanje govornika, kašnjenje) moraju se poslati prije prvog audio isječka, nakon čega su zaključane. Ako tvoj slučaj upotrebe zahtijeva precizne vremenske oznake, trebaš offline način rada, eventualno kao nadopunu stvarnom vremenu.

Instalacija

Mistral SDK ne učitava ovisnosti za strujanje prema zadanim postavkama. Moraš eksplicitno zatražiti dodatni paket realtime, koji dodaje podršku za WebSocket veze i asinkronu obradu zvuka:

pip install "mistralai[realtime]"

Potreban audio format

Za razliku od offline načina koji prihvaća širok raspon kontejnera, Voxtral Realtime očekuje sirovi tok u jednom, nepregovaračkom formatu:

  • Kodiranje: 16-bitni PCM s predznakom, little-endian (pcm_s16le)
  • Frekvencija uzorkovanja: 16 000 Hz (16 kHz)
  • Kanali: Mono (1 kanal)

Ovo ograničenje nije prepreka: ovaj format je najstandardniji dostupan format i svi alati za hvatanje zvuka proizvode ga izvorno, bilo da se radi o PyAudiju, FFmpegu ili PulseAudiju. Jednom ga deklariraš klijentu, koji ga koristi za tumačenje bajtova koje prenosiš.

from mistralai.client.models import AudioFormat

# Definiranje audio formata
audio_format = AudioFormat(
    encoding="pcm_s16le",
    sample_rate=16000
)

Dva događaja u toku

Kada iteriraš kroz transkripciju, SDK vraća dvije vrste objekata. TranscriptionStreamTextDelta emitira se za svaki novi transkribirani fragment i nosi djelomični tekst koji možeš odmah prikazati; to je ono što pokreće korisničko sučelje. TranscriptionStreamDone stiže točno jednom, kada audio tok završi, bilo na kraju datoteke ili kada se mikrofon zatvori; signalizira da više ničega nema i da možeš konsolidirati rezultat. Tvoja cijela logika stoga staje u asinkronu petlju koja razlikuje ova dva slučaja:

from mistralai.client.models import (
    TranscriptionStreamTextDelta,
    TranscriptionStreamDone
)

async for event in flux_transcription:
    if isinstance(event, TranscriptionStreamTextDelta):
        # Dostupan novi tekst
        print(event.text, end="", flush=True)
    elif isinstance(event, TranscriptionStreamDone):
        # Transkripcija završena
        print("\n[Završeno]")

Prvi cjeloviti primjer

Kako bi se naviknuo/la na mehanizam bez oslanjanja na mikrofon, najjednostavniji pristup je simuliranje toka iz datoteke koja je već pretvorena u PCM. Funkcija lire_fichier_pcm asinkroni je generator: čita datoteku u blokovima i vraća ih jedan po jedan, točno kao što bi to radila zvučna kartica. Ostatak programa je ono što ćeš kasnije ponovno iskoristiti bez izmjena.

import asyncio
import os
from mistralai.client import Mistral
from mistralai.client.models import (
    AudioFormat,
    TranscriptionStreamTextDelta,
    TranscriptionStreamDone
)

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
audio_format = AudioFormat(encoding="pcm_s16le", sample_rate=16000)

async def lire_fichier_pcm(chemin: str, taille_chunk: int = 32000):
    """Čita PCM datoteku u isječcima za simulaciju toka."""
    with open(chemin, "rb") as f:
        while True:
            chunk = f.read(taille_chunk)
            if not chunk:
                break
            yield chunk

async def main():
    flux_audio = lire_fichier_pcm("audio.pcm")

    async for event in client.audio.realtime.transcribe_stream(
        audio_stream=flux_audio,
        model="voxtral-mini-transcribe-realtime-3",
        audio_format=audio_format,
    ):
        if isinstance(event, TranscriptionStreamTextDelta):
            print(event.text, end="", flush=True)
        elif isinstance(event, TranscriptionStreamDone):
            print("\n\nTranskripcija završena.")

asyncio.run(main())

Ako je tvoja izvorna datoteka MP3, ne može se poslati kakva jest: prvo je pretvori pomoću FFmpga, namećući tri karakteristike koje model zahtijeva.

ffmpeg -i audio.mp3 -f s16le -acodec pcm_s16le -ar 16000 -ac 1 audio.pcm

Kada prijeći na stvarno vrijeme

Kriterij odabira je jednostavan: stvarno vrijeme je opravdano kada netko čeka tekst dok se zvuk proizvodi. To se primjenjuje na titlovanje uživo za konferencije, webinare ili online tečajeve, gdje publika čita dok sluša; na glasovne asistente, koji moraju razumjeti korisnika dok govori kako bi odgovorili bez neugodnih pauza; na diktate, gdje govor postaje tekst pred očima govornika; i konačno, na transkripciju konferencija, kada se tekst mora pojaviti dok se izgovara. Svugdje drugdje, offline način rada ostaje bogatiji i jednostavniji za implementaciju.

Sljedeće lekcije pokazat će ti kako uhvatiti zvuk s mikrofona, podesiti latenciju i izgraditi ove slučajeve upotrebe od početka do kraja.

Ključne točke

  • Voxtral Mini Transcribe Realtime 3 transkribira zvuk u načinu strujanja s podesivim kašnjenjem od 80 ms do 1,2 s (ili 2,4 s)
  • Potreban audio format: 16-bitni PCM, 16 kHz, mono
  • Dvije vrste događaja: TextDelta (djelomični tekst) i Done (kraj)
  • Instaliraj s pip install "mistralai[realtime]"
  • Potrebno asinkrono programiranje (async/await)
  • Razdvajanje govornika (isključujući detekciju kraja govora) i pristranost konteksta dostupni u stvarnom vremenu, bez vremenskih oznaka segmenata; postavke zaključane nakon prvog audio isječka
  • Generacija 2 modela za stvarno vrijeme ima otvorene uteze pod licencom Apache 2.0, za suvereno raspoređivanje