Премини към основното съдържание
Български— Изберете език
Меню

Въведение в аудио възможностите на Mistral AI

Урок 1 от 16 Обновен 3 ноември 2026 г. Програмист
На тази страница
  1. Семейството Voxtral: Аудио пакетът на Mistral AI
  2. Два начина за транскрипция
  3. Какво прави Voxtral освен суров текст
  4. Съответствие и суверенитет
  5. Какво ще научите
  6. Ключови изводи

Курсът е актуализиран на 3 ноември 2026 г. за Voxtral 3, въз основа на ръководството на Mistral Миграция от Voxtral 2: Моделите Voxtral 2 (voxtral-mini-2602, voxtral-mini-transcribe-realtime-2602, voxtral-mini-tts-2603, обявени за остарели на 31 октомври 2026 г. и изтеглени от употреба на 30 април 2027 г.) са заменени в примерите с voxtral-mini-transcribe-3, voxtral-mini-transcribe-realtime-3 и voxtral-mini-tts-3-0. Основни промени: маркиране на времето само по сегменти (word връща грешка 400), поддръжка на диаризация в реално време, заключване на настройките за сесия в реално време след първия аудио чанк и входове за context_bias в свободен формат (фрази с интервали). Източници: Миграция от Voxtral 2 · Реч към текст.

Семейството Voxtral: Аудио пакетът на Mistral AI

Mistral AI излезе извън рамките на текста. Със семейството Voxtral френската компания предлага пълен набор от модели, посветени на речта: транскрипция, аудио разбиране и текст към реч (TTS). Този курс ще Ви научи как да използвате тези възможности, за да превърнете звуковите потоци в наистина използваем текст, включително с придружаващия Python код.

Автоматичното разпознаване на реч (ASR) или „Реч към текст“ (STT) захранва ежедневни инструменти, които вероятно използвате. Субтитрите в обучаващи видеоклипове, протоколите от изпълнителни срещи, гласовите асистенти за обслужване на клиенти и цифровата достъпност на публичните уебсайтове разчитат на една и съща основна технология. Mistral AI носи суверенен, високопроизводителен и уважаващ поверителността подход в тази сфера – критично важно, когато Вашите аудио записи съдържат имена на пациенти, данни на клиенти или вътрешни обсъждания.

50
Езика (файлове)
80 ms
Минимална латентност в реално време
3
STT модела на Voxtral

Два начина за транскрипция

Voxtral поддържа два режима, които отговарят на напълно различни ограничения. Първият е офлайн транскрипция, известна още като пакетна обработка: изпращате завършен аудио файл и получавате транскрипцията. Този режим е подходящ за записани подкасти, теренни интервюта, качени по-късно през деня, или архивирани лекции. Voxtral Mini Transcribe 3 и, за по-висока точност, Voxtral Small Transcribe 3 се справят с това, предлагайки диаризация и маркиране на времето на ниво сегменти.

Вторият режим е транскрипция в реално време или стрийминг: аудиото се транскрибира, докато пристига, с конфигурируема латентност между 80 ms и 1.2 секунди (или 2.4 секунди). Нищо не е предварително записано; всичко се случва, докато човекът говори. Този режим захранва субтитрите на уебинари на живо, гласови асистенти или инструменти за диктовка. Моделът Voxtral Mini Transcribe Realtime 3 е създаден точно за това. Имайте предвид това разграничение сега: то определя повечето от Вашите технически избори през остатъка от курса.

Поддържани езици

Моделите за транскрипция на файлове Voxtral 3 обхващат 50 езика, докато моделът за реално време поддържа 45 езика и диалекта, включително френски. Без параметъра language моделът автоматично открива езика на записа; ако го знаете, посочете го, използвайки неговия двубуквен код (напр. fr).

Какво прави Voxtral освен суров текст

Сама по себе си транскрипцията не винаги е достатъчна. Диаризацията автоматично идентифицира говорителите: при среща с петима души моделът различава кой кога е говорил, превръщайки стена от текст в четим обобщен отчет. Контекстуалното пристрастяване (Context biasing) Ви позволява да въведете специализирана лексика – собствени имена, технически термини, акроними – така че „Kubernetes“ или „GDPR“ да не бъдат осакатени по време на инженерно съвещание.

Маркирането на времето на ниво сегменти предоставя началния и крайния час за всеки сегмент от транскрипцията, което позволява генериране на синхронизирани субтитри; Voxtral 3 вече не поддържа маркиране на времето на ниво думи. Устойчивостта на шум запазва точността в предизвикателни акустични среди: фонов шум, ехо в заседателни зали или микрофони на лаптопи. Накрая, можете да изпращате записи като файлове, чрез URL адрес или от предишно качени файлове и да получавате отговори като поток, чанк по чанк.

Съответствие и суверенитет

Предишното поколение на модела за реално време, Voxtral Realtime (voxtral-mini-transcribe-realtime-2602, 4 милиарда параметъра), е издадено като отворени тегла (open weights) под лиценза Apache 2.0: можете да го хоствате самостоятелно, без да разчитате на външен API, дори след извеждането му от API на 30 април 2027 г.

Това е голямо предимство за европейските компании, изправени пред строги регулаторни ограничения относно обработката на аудио данни: записи от срещи, обаждания на клиенти или медицински консултации никога не напускат Вашата инфраструктура.

Какво ще научите

Курсът следва ясна прогресия. Ще започнете с разбиране на трите модела на Voxtral и избора на правилния за Вашия случай на употреба. След това ще се заемете с офлайн транскрипция, обхващаща API, неговите параметри, диаризация и контекстуално пристрастяване. След това ще преминете към транскрипция в реално време: стрийминг, заснемане от микрофон и контрол на латентността. Ще завършите с внедряване в продукционна среда, включително оптимизация, обработка на грешки и управление на разходите. Всеки урок включва пълен, функционален Python код, който можете да стартирате както си е.

Ключови изводи

  • Voxtral е семейството аудио модели на Mistral AI, обхващащо STT и TTS
  • Два режима на транскрипция: офлайн (файлове) и реално време (стрийминг, конфигурируема латентност, започваща от 80 ms)
  • 50 езика за файлове, 45 за реално време, включително френски
  • Разширени функции: диаризация, контекстуално пристрастяване, маркиране на времето на ниво сегменти, устойчивост на шум
  • Възможно е суверенно внедряване с модела за реално време от второ поколение, наличен като отворени тегла под лиценза Apache 2.0