Przejdź do głównej treści
Polski— Wybierz język
Menu

Wprowadzenie do transkrypcji w czasie rzeczywistym

Lekcja 9 z 16 Zaktualizowano 3 listopada 2026 Programista
Na tej stronie
  1. Nowy paradygmat: strumieniowanie audio
  2. Co oferuje model Realtime
  3. Instalacja
  4. Wymagany format audio
  5. Dwa typy zdarzeń strumienia
  6. Pierwszy kompletny przykład
  7. Kiedy przejść na czas rzeczywisty
  8. Kluczowe wnioski

Kurs zaktualizowany 3 listopada 2026 r. dla Voxtral 3, na podstawie przewodnika Mistral Migrate from Voxtral 2: modele Voxtral 2 (voxtral-mini-2602, voxtral-mini-transcribe-realtime-2602, voxtral-mini-tts-2603'), wycofane 31 października 2026 r. i całkowicie usunięte 30 kwietnia 2027 r., zostały zastąpione w przykładach modelami voxtral-mini-transcribe-3, voxtral-mini-transcribe-realtime-3orazvoxtral-mini-tts-3-0. Kluczowe zmiany: znaczniki czasu dotyczą wyłącznie segmentów (pole wordzwraca błąd 400), diarization jest dostępny w czasie rzeczywistym, ustawienia sesji realtime są blokowane po wysłaniu pierwszego fragmentu audio, a dane wejściowecontext_bias` mają dowolny format (frazy ze spacjami). Źródła: Migrate from Voxtral 2 · Speech to Text.

Nowy paradygmat: strumieniowanie audio

Do tej pory pracowałeś w trybie offline: wysyłałeś gotowy plik audio, czekałeś na przetworzenie go przez model, a następnie korzystałeś z wyniku. Ten przepływ pracy sprawdza się w przypadku istniejących nagrań, takich jak archiwalne spotkania, podcasty czy wywiady. Zawodzi jednak, gdy audio napływa ciągle: nikt nie będzie czekał do końca dwugodzinnej konferencji, aby zobaczyć pierwsze napisy, a asystent głosowy, który rozumie pytanie dopiero po długiej ciszy, wydaje się niesprawny.

Voxtral Realtime odpowiada na tę potrzebę dzięki architekturze strumieniowej. Audio jest transkrybowane na bieżąco, słowo po słowie, a opóźnienie między dźwiękiem a tekstem staje się parametrem, który kontrolujesz – może spaść nawet do 200 milisekund. Zmiana ta dotyczy zarówno warstwy mentalnej, jak i technicznej: nie myślisz już o pojedynczych żądaniach, lecz o strumieniach, a Twój program musi być gotowy na odbiór tekstu w dowolnym momencie.

Co oferuje model Realtime

Model wywołuje się pod identyfikatorem voxtral-mini-transcribe-realtime-3 i różni się fundamentalnie od swojego odpowiednika offline. Otrzymuje on fragmenty audio i nieprzerwanie emituje fragmenty tekstu, nigdy nie czekając na zakończenie nagrania. Jego opóźnienie kontroluje parametr target_streaming_delay_ms, który szczegółowo poznasz później w tym kursie. Model obsługuje 45 języków i dialektów, przy czym język można ustawić sztywno lub pozostawić do automatycznego wykrycia. Jego poprzednik z Generacji 2, voxtral-mini-transcribe-realtime-2602 (4 miliardy parametrów), został udostępniony jako open weights na licencji Apache 2.0 w Hugging Face Hub, co pozwala na w pełni suwerenną instalację na własnych serwerach.

Dzięki Voxtral 3 wydajność w czasie rzeczywistym znacznie zmniejszyła różnicę względem trybu offline. Dostępna jest diarization (choć nie w tej samej sesji co wykrywanie końca wypowiedzi), podobnie jak kontekstowe biasowanie (context biasing) i wykrywanie końca wypowiedzi (turn-end detection). Pozostają dwie różnice: segmenty zawierają etykietę mówcy, ale nie mają czasu rozpoczęcia ani zakończenia, a wszystkie ustawienia sesji (język, słownictwo, diarization, opóźnienie) muszą zostać wysłane przed pierwszym fragmentem audio, po czym są blokowane. Jeśli Twój przypadek użycia wymaga precyzyjnych znaczników czasu, potrzebujesz trybu offline, ewentualnie jako uzupełnienia dla czasu rzeczywistego.

Instalacja

SDK Mistral nie ładuje domyślnie zależności potrzebnych do strumieniowania. Musisz jawnie zażądać dodatkowego pakietu realtime, który dodaje obsługę połączeń WebSocket i asynchronicznego przetwarzania audio:

pip install "mistralai[realtime]"

Wymagany format audio

W przeciwieństwie do trybu offline, który akceptuje szeroki zakres kontenerów, Voxtral Realtime oczekuje surowego strumienia w jednym, niepodważalnym formacie:

  • Kodowanie: 16-bitowe PCM ze znakiem, little-endian (pcm_s16le)
  • Częstotliwość próbkowania: 16 000 Hz (16 kHz)
  • Kanały: Mono (1 kanał)

To ograniczenie nie stanowi problemu: jest to najbardziej standardowy dostępny format i wszystkie narzędzia do przechwytywania generują go natywnie, будь to PyAudio, FFmpeg czy PulseAudio. Deklarujesz go raz w kliencie, który wykorzystuje te informacje do interpretacji przesyłanych bajtów.

from mistralai.client.models import AudioFormat

# Definicja formatu audio
audio_format = AudioFormat(
    encoding="pcm_s16le",
    sample_rate=16000
)

Dwa typy zdarzeń strumienia

Podczas iteracji po transkrypcji SDK zwraca dwa typy obiektów. TranscriptionStreamTextDelta jest emitowany dla każdego nowego fragmentu tekstu i zawiera częściowy wynik, który możesz natychmiast wyświetlić; to właśnie zasila ekran użytkownika. TranscriptionStreamDone pojawia się dokładnie raz, gdy strumień audio się kończy – будь to na końcu pliku, czy po zamknięciu mikrofonu; sygnalizuje, że nic więcej nie nadejdzie i możesz scalony wynik. Cała Twoja logika mieści się więc w pętli asynchronicznej, która rozróżnia te dwa przypadki:

from mistralai.client.models import (
    TranscriptionStreamTextDelta,
    TranscriptionStreamDone
)

async for event in flux_transcription:
    if isinstance(event, TranscriptionStreamTextDelta):
        # Dostępny nowy tekst
        print(event.text, end="", flush=True)
    elif isinstance(event, TranscriptionStreamDone):
        # Transkrypcja zakończona
        print("\n[Zakończono]")

Pierwszy kompletny przykład

Aby oswoić się z mechanizmem bez konieczności używania mikrofonu, najprostszym podejściem jest symulacja strumienia z pliku już przekonwertowanego do PCM. Funkcja lire_fichier_pcm to generator asynchroniczny: odczytuje plik w blokach i zwraca je jeden po drugim, dokładnie tak, jak robiłaby to karta dźwiękowa. Reszta programu to kod, którego będziesz używać później bez żadnych modyfikacji.

import asyncio
import os
from mistralai.client import Mistral
from mistralai.client.models import (
    AudioFormat,
    TranscriptionStreamTextDelta,
    TranscriptionStreamDone
)

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
audio_format = AudioFormat(encoding="pcm_s16le", sample_rate=16000)

async def lire_fichier_pcm(chemin: str, taille_chunk: int = 32000):
    """Odczytuje plik PCM w fragmentach, symulując strumień."""
    with open(chemin, "rb") as f:
        while True:
            chunk = f.read(taille_chunk)
            if not chunk:
                break
            yield chunk

async def main():
    flux_audio = lire_fichier_pcm("audio.pcm")

    async for event in client.audio.realtime.transcribe_stream(
        audio_stream=flux_audio,
        model="voxtral-mini-transcribe-realtime-3",
        audio_format=audio_format,
    ):
        if isinstance(event, TranscriptionStreamTextDelta):
            print(event.text, end="", flush=True)
        elif isinstance(event, TranscriptionStreamDone):
            print("\n\nTranskrypcja zakończona.")

asyncio.run(main())

Jeśli Twój plik źródłowy jest w formacie MP3, nie możesz go wysłać w takiej postaci: najpierw przekonwertuj go za pomocą FFmpeg, wymuszając trzy cechy wymagane przez model.

ffmpeg -i audio.mp3 -f s16le -acodec pcm_s16le -ar 16000 -ac 1 audio.pcm

Kiedy przejść na czas rzeczywisty

Kryterium wyboru jest proste: czas rzeczywisty jest uzasadniony, gdy ktoś oczekuje na tekst w trakcie generowania dźwięku. Dotyczy to napisów na żywo podczas konferencji, webinaru lub kursu online, gdzie odbiorcy czytają równocześnie ze słuchaniem; asystenta głosowego, który musi zrozumieć użytkownika w trakcie mówienia, aby odpowiedzieć bez niezręcznych pauz; dyktowania, gdzie mowa zamienia się w tekst na oczach mówcy; oraz wreszcie transkrypcji konferencyjnej, gdy tekst musi pojawiać się w miarę wypowiadania słów. We wszystkich innych przypadkach tryb offline pozostaje bogatszy i prostszy w implementacji.

Kolejne lekcje pokażą Ci, jak przechwycić dźwięk z mikrofonu, dostroić opóźnienie i zbudować te przypadki użycia od początku do końca.

Kluczowe wnioski

  • Voxtral Mini Transcribe Realtime 3 transkrybuje audio w trybie strumieniowym z regulowanym opóźnieniem od 80 ms do 1,2 s (lub 2,4 s)
  • Wymagany format audio: 16-bitowe PCM, 16 kHz, mono
  • Dwa typy zdarzeń: TextDelta (tekst częściowy) i Done (koniec)
  • Instalacja przez pip install "mistralai[realtime]"
  • Wymagane programowanie asynchroniczne (async/await)
  • Diarization (z wyłączeniem wykrywania końca wypowiedzi) i kontekstowe biasowanie dostępne w czasie rzeczywistym, bez znaczników czasu dla segmentów; ustawienia blokowane po pierwszym fragmencie audio
  • Generacja 2 modelu realtime jest dostępna jako open weights na licencji Apache 2.0, przeznaczona do suwerennego wdrożenia