Премини към основното съдържание
Български— Изберете език
Меню

Следващи стъпки: Отвъд транскрипцията

Урок 16 от 16 Обновен 3 ноември 2026 г. Програмист
На тази страница
  1. Какво научихте
  2. Voxtral TTS: Даване на глас на текста
  3. Пълният конвейер: STT, LLM, TTS
  4. Какво позволява този конвейер
  5. Напълно суверенен гласов конвейер
  6. Къде да продължите
  7. Обобщение на курса
  8. Ключови изводи
  9. Проверете знанията си

Курсът е актуализиран на 3 ноември 2026 г. за Voxtral 3, въз основа на ръководството на Mistral Migrate from Voxtral 2: Моделите Voxtral 2 (voxtral-mini-2602, voxtral-mini-transcribe-realtime-2602, voxtral-mini-tts-2603, деактивирани на 31 октомври 2026 г. и премахнати на 30 април 2027 г.) са заменени в примерите с voxtral-mini-transcribe-3, voxtral-mini-transcribe-realtime-3 и voxtral-mini-tts-3-0. Основни промени: временните маркери са само на ниво сегмент (word връща грешка 400), поддържа се разграничаване на говорещите в реално време, настройките на сесията в реално време се заключват след първия аудио чанк, а входовете за context_bias са в свободен формат (фрази с интервали). Източници: Migrate from Voxtral 2 · Speech to Text.

Какво научихте

Завършихте пътя си през двата режима на транскрипция на Voxtral. В офлайн режим транскрибирате аудио файлове с разграничаване на говорещите, времеви маркери и контекстуално пристрастяване, използвайки Voxtral Mini Transcribe 3. В режим на реално време транскрибирате непрекъснати потоци с регулируема латентност чрез Voxtral Realtime, улавяте вход от микрофон и използвате модела на двойно забавяне. За всяка от тези възможности вече разполагате с пълен Python код и инстинктите, необходими за преминаване към продукционна среда.

Транскрипцията обаче е само половината от историята. Аудио екосистемата на Mistral AI обработва и обратния път, а комбинирането на двете посоки е това, което позволява създаването на наистина разговорни приложения.

Voxtral TTS: Даване на глас на текста

Voxtral TTS е точният аналог на транскрипцията: той превръща текста в естествена реч. Поддържа клониране на глас с нулеви изстрелвания (zero-shot), което означава, че може да възпроизведе глас само от две до три секунди аудио без предварително обучение. Освен това се основава на принципа „гласът като инструкция“: моделът следва интонацията, ритъма и емоцията на предоставения от Вас гласов промпт, така че не е необходимо да вмъквате тагове за просодия в текста – вместо да описвате желания тон, Вие го показвате. Езиковото покритие включва английски, френски, испански, португалски, италиански, нидерландски, немски, хинди и арабски. Работи и в стрийминг режим, с латентност на модела от около 90 милисекунди и време до първия аудио фрагмент от около 0,8 секунди във формат PCM, което го прави подходящ за разговор на живо.

На практика Voxtral TTS дава глас на Вашите приложения: виртуални асистенти, автоматизиран разказ, инструменти за достъпност и дублаж.

Пълният конвейер: STT, LLM, TTS

Сглобени заедно, тези три компонента формират пълен цикъл. Потребителското аудио става текст, текстът се разбира и обработва от езиков модел, а отговорът отново се превръща в аудио.

User Audio → Voxtral STT → Text
                             ↓
                      Mistral LLM (reasoning)
                             ↓
                   Text Response → Voxtral TTS → Audio Response

Кодът по-долу реализира този конвейер. Първите две стъпки са познати: стрийминг транскрипция при 300 милисекунди за улавяне на въпроса, след което се извиква LLM със системен промпт, който налага разговорен регистър. Третата стъпка остава коментирана, тъй като API за синтез е разгледан в отделен курс; моделът на извикване е включен тук, за да покаже къде се вписва.

import asyncio
import os
from mistralai.client import Mistral
from mistralai.client.models import (
    AudioFormat,
    TranscriptionStreamTextDelta,
    TranscriptionStreamDone
)

async def pipeline_vocal_complet(source_audio_utilisateur):
    """Complete pipeline: listen, understand, respond."""
    client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

    # Step 1: Transcribe user speech (STT)
    audio_format = AudioFormat(encoding="pcm_s16le", sample_rate=16000)
    question_parts = []

    print("Listening...", flush=True)

    async for event in client.audio.realtime.transcribe_stream(
        audio_stream=source_audio_utilisateur,
        model="voxtral-mini-transcribe-realtime-3",
        audio_format=audio_format,
        target_streaming_delay_ms=300,
    ):
        if isinstance(event, TranscriptionStreamTextDelta):
            question_parts.append(event.text)
        elif isinstance(event, TranscriptionStreamDone):
            break

    question = "".join(question_parts).strip()
    print(f"Question: {question}")

    # Step 2: Generate an intelligent response (LLM)
    reponse_llm = client.chat.complete(
        model="mistral-large-latest",
        messages=[
            {
                "role": "system",
                "content": "You are a voice assistant. "
                           "Respond concisely and naturally, "
                           "as in a spoken conversation."
            },
            {"role": "user", "content": question}
        ]
    )

    reponse_texte = reponse_llm.choices[0].message.content
    print(f"Response: {reponse_texte}")

    # Step 3: Synthesize the response into audio (TTS)
    # Note: The TTS API will be covered in a dedicated course
    # Here is the call pattern:
    #
    # audio_response = client.audio.speech.complete(
    #     model="voxtral-mini-tts-3-0",
    #     input=reponse_texte,
    #     voice_id="gb_jane_neutral",
    #     response_format="wav",
    # )
    # Audio arrives base64-encoded in audio_response.audio_data
    #
    # Play audio via a player (PyAudio, sounddevice, etc.)

    return {
        "question": question,
        "reponse": reponse_texte
    }

Какво позволява този конвейер

Корпоративният гласов асистент е най-непосредственото приложение: той разбира въпросите на служителите и отговаря, използвайки вътрешната база знания. Транскрипцията в реално време улавя въпроса, LLM заявява векторна база данни чрез RAG, а TTS произнася отговора на глас.

Агентът за кол център отвежда логиката още по-далеч, като използва двата режима на транскрипция едновременно. По време на обаждането Voxtral Realtime транскрибира разговора на живо; Mistral LLM анализира намерението на клиента; Voxtral TTS формулира гласовия отговор. След приключване на обаждането, офлайн обработка с разграничаване на говорещите произвежда структурирано обобщение, указващо кой какво е казал – точно това, което режимът в реално време не може да осигури.

Инструментът за гласов превод свързва три модела в един поток: Voxtral STT транскрибира изходната реч сред своите 50 езика, Mistral LLM превежда, а Voxtral TTS възпроизвежда резултата на един от своите 9 целеви езика. Накрая, автоматизираното четене превръща статии, доклади или имейли в аудио за слушане на мобилни устройства, като LLM адаптира текста за устно предаване преди синтеза.

Напълно суверенен гласов конвейер

Решаващото предимство на тази екосистема е възможността всичко да се хоства на Ваша собствена инфраструктура. Voxtral Realtime се издава като отворени тегла (open weights) под лиценза Apache 2.0 и се разполага на Вашите собствени сървъри. Mistral Large 3 е достъпен чрез европейски облачни партньори или локално (on-premise). Voxtral TTS също поддържа частно разполагане. С други думи, цялата верига – слушане, разбиране, отговор – може да работи, без никакви данни да напускат Вашата инфраструктура. За здравеопазването, отбраната, финансите или публичната администрация това не е просто удобство; то определя дали проектът изобщо е осъществим.

Къде да продължите

Официалната документация на Mistral отделя страници за аудио и остава референтният източник за проследяване на актуализациите на моделите и API. Hugging Face Hub хоства моделите Voxtral като отворени тегла, заедно с документация и примери. Форумът на Mistral събира доклади от практиката, които често са по-близки до Вашите реални ограничения от официалните демонстрации, а други курсове на Corsen Academy обхващат останалата част от екосистемата на Mistral AI.

Обобщение на курса

Сега познавате моделите Voxtral и техните съответни роли: Mini Transcribe V2 за офлайн, Realtime за стрийминг и Small за аудио чат. Овладяхте офлайн транскрипцията във всичките ѝ измерения – API извиквания, времеви маркери, разграничаване на говорещите, контекстуално пристрастяване – както и транскрипцията в реално време със своя стрийминг, улавяне на микрофон чрез PyAudio, контрол на латентността и модела на двойно забавяне. Изградихте пълни случаи на употреба, от субтитри и протоколи от срещи до диктовка, гласови асистенти и конференции, и знаете как да пуснете всичко това в продукционна среда. Липсва само връщащият глас, за да се затвори цикълът на разговора.

Ключови изводи

  • Voxtral TTS затваря цикъла: STT (транскрипция), след това LLM (разсъждение) и накрая TTS (синтез)
  • Пълният гласов конвейер позволява създаването на гласови асистенти, агенти за кол центрове и преводачи
  • Суверенното разполагане е възможно благодарение на моделите с отворени тегла (Apache 2.0)
  • Транскрипцията е основният градивен елемент за гласовите приложения
  • Продължете обучението си с курсове, посветени на TTS и усъвършенствани гласови конвейери

Проверете знанията си

Офлайн, реално време, продукция: транскрипция от всеки ъгъл.

1. Офлайн или реално време: как да изберете?

Отговор: Офлайн за съществуващи файлове (записани срещи, архиви), където максималната точност е от значение; реално време за сценарии на живо (субтитри, гласови асистенти), където латентността е критична.

2. Какво осигуряват временните маркери и разграничаването на говорещите?

Отговор: Временните маркери локализират всеки сегмент във времето (субтитри, навигация); разграничаването идентифицира кой говори – заедно те превръщат аудиото в действащо обобщение.

3. За какво служи контекстуалното пристрастяване?

Отговор: За да насочи модела към очаквания речник (собствени имена, индустриални термини), за да подобри точността там, където общата транскрипция се проваля.

4. Какви са съставките за работа в реално време с Python?

Отговор: Улавяне на микрофон (PyAudio), стрийминг към API и управление на компромиса между латентност и точност – параметрите за латентност се настройват въз основа на случая на употреба.

5. Какво следите за продукция?

Отговор: Качество на входното аудио, разходи за транскрибиран час, латентност от край до край и грешки в критичния речник – като лостове използвате пристрастяване и тестване.

Изборът между офлайн и реално време структурира всичко останало – ръководството на курса Ви дава рамката, Вашите случаи на употреба движат решението.