Přejít na hlavní obsah
Čeština— Vyberte jazyk
Menu

Úvod do přepisu v reálném čase

Lekce 9 z 16 Aktualizováno 3. listopadu 2026 Vývojář
Na této stránce
  1. Nová paradigma: Streamování zvuku
  2. Co nabízí model Realtime
  3. Instalace
  4. Požadovaný formát zvuku
  5. Dva typy událostí streamu
  6. První kompletní příklad
  7. Kdy přejít na reálný čas
  8. Klíčové poznatky

Kurz aktualizován 3. listopadu 2026 pro Voxtral 3 na základě průvodce Mistralu Migrate from Voxtral 2: Modely Voxtral 2 (voxtral-mini-2602, voxtral-mini-transcribe-realtime-2602, voxtral-mini-tts-2603"), které byly 31. října 2026 označeny jako zastaralé a budou 30. dubna 2027 vyřazeny z provozu, jsou v příkladech nahrazeny modely voxtral-mini-transcribe-3, voxtral-mini-transcribe-realtime-3avoxtral-mini-tts-3-0. Klíčové změny: časová razítka jsou pouze pro segmenty (wordvrací chybu 400), diarizace je dostupná v reálném čase, nastavení relace v reálném čase jsou uzamčena po prvním zvukovém bloku a vstupycontext_bias` jsou volného formátu (fráze s mezerami). Zdroje: Migrate from Voxtral 2 · Speech to Text.

Nová paradigma: Streamování zvuku

Dosud jsi pracoval v režimu offline: odeslal jsi kompletní zvukový soubor, počkal, až jej model zpracuje, a poté využil výsledek. Tento pracovní postup vyhovuje existujícím nahrávkám, jako jsou archivované schůzky, podcasty nebo rozhovory. Selhává však tam, kde zvuk přichází nepřetržitě: nikdo nebude čekat do konce dvouhodinové konference, aby viděl první titulky, a hlasový asistent, který pochopí otázku až po dlouhém tichu, působí jako nefunkční.

Voxtral Realtime tuto potřebu řeší architekturou založenou na streamování. Zvuk je přepisován za běhu, slovo po slově, a prodleva mezi zvukem a textem se stává nastavitelným parametrem, který může klesnout až na 200 milisekund. Posun je stejně tak mentální jako technický: již nemyslíš v izolovaných požadavcích, ale v tocích dat a tvůj program musí být připraven přijímat text kdykoli.

Co nabízí model Realtime

Model je vyvoláván pod identifikátorem voxtral-mini-transcribe-realtime-3 a zásadně se liší od své offline verze. Přijímá zvukové bloky a nepřetržitě vydává textové úryvky, aniž by čekal na konec nahrávky. Jeho latenci řídí parametr target_streaming_delay_ms, který si podrobně probereme později v tomto kurzu. Pokrývá 45 jazyků a dialektů, přičemž jazyk lze buď fixovat, nebo nechat automaticky detekovat. Jeho předchůdce generace 2, voxtral-mini-transcribe-realtime-2602 (4 miliardy parametrů), je publikován jako open weights pod licencí Apache 2.0 na Hugging Face Hub pro plně suverénní instalaci na vlastních serverech.

S Voxtral 3 se výkon v reálném čase téměř vyrovnal režimu offline. K dispozici je diarizace (ačkoli ne ve stejné relaci jako detekce konce projevu), stejně jako kontextové zvýrazňování (context biasing) a detekce konce projevu. Zůstávají dva rozdíly: segmenty nesou označení mluvčího, ale nemají čas začátku ani konce a všechna nastavení relace (jazyk, slovní zásoba, diarizace, prodleva) musí být odeslána před prvním zvukovým blokem, poté jsou uzamčena. Pokud tvůj případ použití vyžaduje přesná časová razítka, potřebuješ režim offline, případně jako doplněk k reálnému času.

Instalace

Mistral SDK nenačítá závislosti pro streamování ve výchozím nastavení. Musíš explicitně požádat o rozšíření realtime, které přidává podporu pro WebSocket připojení a asynchronní zpracování zvuku:

pip install "mistralai[realtime]"

Požadovaný formát zvuku

Na rozdíl od offline režimu, který přijímá širokou škálu kontejnerů, očekává Voxtral Realtime surový proud v jediném, neměnném formátu:

  • Kódování: 16bitové PCM se znaménkem, little-endian (pcm_s16le)
  • Vzorkovací frekvence: 16 000 Hz (16 kHz)
  • Kanály: Mono (1 kanál)

Toto omezení není překážkou: tento formát je nejběžnější dostupný standard a všechny nástroje pro zachytávání jej produkují nativně, ať už jde o PyAudio, FFmpeg nebo PulseAudio. Formát deklaruješ klientovi jednou a ten jej používá k interpretaci bajtů, které přenášíš.

from mistralai.client.models import AudioFormat

# Definice formátu zvuku
audio_format = AudioFormat(
    encoding="pcm_s16le",
    sample_rate=16000
)

Dva typy událostí streamu

Když iteruješ přes přepis, SDK vrací dva typy objektů. TranscriptionStreamTextDelta je emitován pro každý nový přepsaný úryvek a nese částečný text, který můžeš okamžitě zobrazit; to je to, co pohání obrazovku uživatele. TranscriptionStreamDone dorazí právě jednou, když zvukový stream skončí, ať už na konci souboru nebo při vypnutí mikrofonu; signalizuje, že již nic dalšího nepřijde a že můžeš výsledek konsolidovat. Celá tvá logika se tedy vejde do asynchronní smyčky, která rozlišuje tyto dva případy:

from mistralai.client.models import (
    TranscriptionStreamTextDelta,
    TranscriptionStreamDone
)

async for event in flux_transcription:
    if isinstance(event, TranscriptionStreamTextDelta):
        # K dispozici nový text
        print(event.text, end="", flush=True)
    elif isinstance(event, TranscriptionStreamDone):
        # Přepis dokončen
        print("\n[Dokončeno]")

První kompletní příklad

Aby ses s mechanismem seznámil bez reliance na mikrofon, je nejjednodušší přístup simulovat stream ze souboru již převedeného do PCM. Funkce lire_fichier_pcm je asynchronní generátor: čte soubor po blocích a vydává je jeden po druhém, přesně tak, jak by to dělala zvuková karta. Zbytek programu je to, co budeš později znovu používat bez úprav.

import asyncio
import os
from mistralai.client import Mistral
from mistralai.client.models import (
    AudioFormat,
    TranscriptionStreamTextDelta,
    TranscriptionStreamDone
)

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
audio_format = AudioFormat(encoding="pcm_s16le", sample_rate=16000)

async def lire_fichier_pcm(chemin: str, taille_chunk: int = 32000):
    """Čte soubor PCM po blocích pro simulaci streamu."""
    with open(chemin, "rb") as f:
        while True:
            chunk = f.read(taille_chunk)
            if not chunk:
                break
            yield chunk

async def main():
    flux_audio = lire_fichier_pcm("audio.pcm")

    async for event in client.audio.realtime.transcribe_stream(
        audio_stream=flux_audio,
        model="voxtral-mini-transcribe-realtime-3",
        audio_format=audio_format,
    ):
        if isinstance(event, TranscriptionStreamTextDelta):
            print(event.text, end="", flush=True)
        elif isinstance(event, TranscriptionStreamDone):
            print("\n\nPřepis dokončen.")

asyncio.run(main())

Pokud je tvůj zdrojový soubor ve formátu MP3, nelze jej odeslat tak, jak je: nejprve jej musíš převést pomocí FFmpeg s vynucením tří charakteristik požadovaných modelem.

ffmpeg -i audio.mp3 -f s16le -acodec pcm_s16le -ar 16000 -ac 1 audio.pcm

Kdy přejít na reálný čas

Kritérium výběru je jednoduché: reálný čas je opodstatněný, když někdo čeká na text zatímco je zvuk produkován. To platí pro živé titulky na konferenci, webináři nebo online kurzu, kde publikum čte zároveň s poslechem; pro hlasového asistenta, který musí uživatele pochopit během řeči, aby mohl odpovědět bez nepříjemných pauz; pro diktování, kde se řeč mění na text před očima mluvčího; a konečně pro přepis konferencí, kdy se text musí objevit ve chvíli, kdy je vysloven. Všude jinde zůstává offline režim bohatší a jednodušší na implementaci.

Následující lekce ti ukážou, jak zachytit mikrofon, ladit latenci a budovat tyto případy použití od začátku do konce.

Klíčové poznatky

  • Voxtral Mini Transcribe Realtime 3 přepisuje zvuk v režimu streamování s nastavitelnou prodlevou od 80 ms do 1,2 s (nebo 2,4 s)
  • Požadovaný formát zvuku: 16bitové PCM, 16 kHz, mono
  • Dva typy událostí: TextDelta (částečný text) a Done (konec)
  • Instalace pomocí pip install "mistralai[realtime]"
  • Vyžadováno asynchronní programování (async/await)
  • Diarizace (kromě detekce konce projevu) a kontextové zvýrazňování dostupné v reálném čase, bez časových razítek segmentů; nastavení uzamčena po prvním zvukovém bloku
  • Generace 2 modelu realtime je open weights Apache 2.0 pro suverénní nasazení