Премини към основното съдържание
Български— Изберете език
Меню

Въведение в транскрипцията в реално време

Урок 9 от 16 Обновен 3 ноември 2026 г. Програмист
На тази страница
  1. Нова парадигма: Аудио стрийминг
  2. Какво предлага моделът в реално време
  3. Инсталация
  4. Необходимият аудио формат
  5. Двата типа събития в потока
  6. Първи пълен пример
  7. Кога да преминете към реално време
  8. Ключови изводи

Курсът е актуализиран на 3 ноември 2026 г. за Voxtral 3, въз основа на ръководството на Mistral Migrate from Voxtral 2: Моделите Voxtral 2 (voxtral-mini-2602, voxtral-mini-transcribe-realtime-2602, voxtral-mini-tts-2603, деактивирани на 31 октомври 2026 г. и премахнати на 30 април 2027 г.) са заменени в примерите с voxtral-mini-transcribe-3, voxtral-mini-transcribe-realtime-3 и voxtral-mini-tts-3-0. Основни промени: временните марки са само за сегменти (word връща грешка 400), разграничаването на говорещите (diarization) е налично в реално време, настройките на сесията в реално време се заключват след първия аудио чанк, а входовете за context_bias са в свободен формат (фрази с интервали). Източници: Migrate from Voxtral 2 · Speech to Text.

Нова парадигма: Аудио стрийминг

Досега работихте в офлайн режим: изпращате цял аудио файл, изчаквате моделът да го обработи и едва тогава използвате резултата. Този работен поток е подходящ за съществуващи записи, като архивирани срещи, подкасти или интервюта. Той обаче се проваля, когато аудиото пристига непрекъснато: никой няма да чака края на двучасова конференция, за да види първите субтитри, а гласов асистент, който разбира въпроса едва след дълга тишина, изглежда дефектен.

Voxtral Realtime отговаря на тази нужда чрез стрийминг архитектура. Аудиото се транскрибира в движение, дума по дума, а забавянето между звука и текста се превръща в настройка, която контролирате, като то може да спадне до 200 милисекунди. Преходът е толкова ментален, колкото и технически: вече не мислите в отделни заявки, а в потоци и Вашата програма трябва да бъде готова да получава текст във всеки момент.

Какво предлага моделът в реално време

Моделът се извиква под идентификатора voxtral-mini-transcribe-realtime-3 и се различава фундаментално от своя офлайн аналог. Той получава аудио чанкове и излъчва текстови фрагменти непрекъснато, без никога да чака края на записа. Неговата латентност се контролира от параметъра target_streaming_delay_ms, който ще разгледате подробно по-късно в този курс. Той обхваща 45 езика и диалекта, като езикът може да бъде фиксиран или автоматично разпознат. Неговият предшественик от Генерация 2, voxtral-mini-transcribe-realtime-2602 (4 милиарда параметъра), е публикуван като open weights под лиценза Apache 2.0 в Hugging Face Hub за напълно суверенна инсталация на Вашите собствени сървъри.

С Voxtral 3 производителността в реално време значително намали разликата с офлайн режима. Разграничаването на говорещите (Diarization) е налично – макар и не в същата сесия като откриването на края на репликата – както и контекстуалното пристрастяване (context biasing) и откриването на края на репликата (turn-end detection). Остават две разлики: сегментите носят етикета на говорещия, но нямат начално или крайно време, а всички настройки на сесията (език, речник, разграничаване на говорещи, забавяне) трябва да бъдат изпратени преди първия аудио чанк, след което се заключват. Ако Вашият случай на употреба изисква прецизни времеви марки, Ви е необходим офлайн режим, вероятно като допълнение към реалното време.

Инсталация

Mistral SDK не зарежда зависимостите за стрийминг по подразбиране. Трябва изрично да поискате допълнението realtime, което добавя поддръжка за WebSocket връзки и асинхронна обработка на аудио:

pip install "mistralai[realtime]"

Необходимият аудио формат

За разлика от офлайн режима, който приема широк спектър от контейнери, Voxtral Realtime очаква суров поток в един-единствен, неоспорим формат:

  • Кодиране: 16-битов signed little-endian PCM (pcm_s16le)
  • Честота на дискретизация: 16 000 Hz (16 kHz)
  • Канали: Моно (1 канал)

Това ограничение не е пречка: този формат е най-стандартният наличен и всички инструменти за заснемане го произвеждат нативно, било то PyAudio, FFmpeg или PulseAudio. Вие го декларирате веднъж на клиента, който го използва, за да интерпретира байтовете, които предавате.

from mistralai.client.models import AudioFormat

# Дефиниране на аудио формата
audio_format = AudioFormat(
    encoding="pcm_s16le",
    sample_rate=16000
)

Двата типа събития в потока

Когато итерирате през транскрипцията, SDK връща два типа обекти. TranscriptionStreamTextDelta се излъчва за всеки нов транскрибиран фрагмент и носи частичния текст, който можете да покажете незабавно; това е механизмът, който захранва екрана на потребителя. TranscriptionStreamDone пристига точно веднъж, когато аудио потокът приключи, било то в края на файл или при затваряне на микрофона; то сигнализира, че няма да пристигне нищо повече и че можете да консолидирате резултата. Цялата Ви логика следователно се събира в асинхронен цикъл, който разграничава тези два случая:

from mistralai.client.models import (
    TranscriptionStreamTextDelta,
    TranscriptionStreamDone
)

async for event in flux_transcription:
    if isinstance(event, TranscriptionStreamTextDelta):
        # Наличен е нов текст
        print(event.text, end="", flush=True)
    elif isinstance(event, TranscriptionStreamDone):
        # Транскрипцията приключи
        print("\n[Finished]")

Първи пълен пример

За да се запознаете с механизма, без да разчитате на микрофон, най-простият подход е да симулирате поток от файл, вече конвертиран в PCM. Функцията lire_fichier_pcm е асинхронен генератор: тя чете файла на блокове и ги връща един по един, точно както би го направила звукова карта. Останалата част от програмата е това, което ще използвате по-късно без промени.

import asyncio
import os
from mistralai.client import Mistral
from mistralai.client.models import (
    AudioFormat,
    TranscriptionStreamTextDelta,
    TranscriptionStreamDone
)

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
audio_format = AudioFormat(encoding="pcm_s16le", sample_rate=16000)

async def lire_fichier_pcm(chemin: str, taille_chunk: int = 32000):
    """Чете PCM файл на чанкове, за да симулира поток."""
    with open(chemin, "rb") as f:
        while True:
            chunk = f.read(taille_chunk)
            if not chunk:
                break
            yield chunk

async def main():
    flux_audio = lire_fichier_pcm("audio.pcm")

    async for event in client.audio.realtime.transcribe_stream(
        audio_stream=flux_audio,
        model="voxtral-mini-transcribe-realtime-3",
        audio_format=audio_format,
    ):
        if isinstance(event, TranscriptionStreamTextDelta):
            print(event.text, end="", flush=True)
        elif isinstance(event, TranscriptionStreamDone):
            print("\n\nTranscription finished.")

asyncio.run(main())

Ако изходният Ви файл е MP3, той не може да бъде изпратен такъв, какъвто е: първо го конвертирайте с FFmpeg, налагайки трите характеристики, изисквани от модела.

ffmpeg -i audio.mp3 -f s16le -acodec pcm_s16le -ar 16000 -ac 1 audio.pcm

Кога да преминете към реално време

Критерият за избор е прост: реалното време е оправдано, когато някой чака текста, докато звукът се произвежда. Това важи за субтитри на живо за конференция, уебинар или онлайн курс, където аудиторията чете, докато слуша; за гласов асистент, който трябва да разбере потребителя, докато той говори, за да отговори без неудобни паузи; за диктовка, където речта се превръща в текст пред очите на говорещия; и накрая, за транскрипция на конференции, когато текстът трябва да се появява, докато се изговаря. Навсякъде другаде офлайн режимът остава по-богат и по-прост за внедряване.

Следващите уроци ще Ви покажат как да заснемате микрофона, да настройвате латентността и да изградите тези случаи на употреба от начало до край.

Ключови изводи

  • Voxtral Mini Transcribe Realtime 3 транскрибира аудио в стрийминг режим с регулируемо забавяне от 80 ms до 1.2 s (или 2.4 s)
  • Изискван аудио формат: 16-битов PCM, 16 kHz, моно
  • Два типа събития: TextDelta (частичен текст) и Done (край)
  • Инсталира се с pip install "mistralai[realtime]"
  • Изисква се асинхронно програмиране (async/await)
  • Разграничаване на говорещите (без откриване на края на репликата) и контекстуално пристрастяване са налични в реално време, без времеви марки за сегментите; настройките се заключват след първия аудио чанк
  • Генерация 2 на модела за реално време е с open weights Apache 2.0, за суверенно внедряване