Въведение в аудио възможностите на Mistral AI
На тази страница
Курсът е актуализиран на 3 ноември 2026 г. за Voxtral 3, въз основа на ръководството на Mistral Миграция от Voxtral 2: Моделите Voxtral 2 (
voxtral-mini-2602,voxtral-mini-transcribe-realtime-2602,voxtral-mini-tts-2603, обявени за остарели на 31 октомври 2026 г. и изтеглени от употреба на 30 април 2027 г.) са заменени в примерите сvoxtral-mini-transcribe-3,voxtral-mini-transcribe-realtime-3иvoxtral-mini-tts-3-0. Основни промени: маркиране на времето само по сегменти (wordвръща грешка 400), поддръжка на диаризация в реално време, заключване на настройките за сесия в реално време след първия аудио чанк и входове заcontext_biasв свободен формат (фрази с интервали). Източници: Миграция от Voxtral 2 · Реч към текст.
Семейството Voxtral: Аудио пакетът на Mistral AI
Mistral AI излезе извън рамките на текста. Със семейството Voxtral френската компания предлага пълен набор от модели, посветени на речта: транскрипция, аудио разбиране и текст към реч (TTS). Този курс ще Ви научи как да използвате тези възможности, за да превърнете звуковите потоци в наистина използваем текст, включително с придружаващия Python код.
Автоматичното разпознаване на реч (ASR) или „Реч към текст“ (STT) захранва ежедневни инструменти, които вероятно използвате. Субтитрите в обучаващи видеоклипове, протоколите от изпълнителни срещи, гласовите асистенти за обслужване на клиенти и цифровата достъпност на публичните уебсайтове разчитат на една и съща основна технология. Mistral AI носи суверенен, високопроизводителен и уважаващ поверителността подход в тази сфера – критично важно, когато Вашите аудио записи съдържат имена на пациенти, данни на клиенти или вътрешни обсъждания.
Два начина за транскрипция
Voxtral поддържа два режима, които отговарят на напълно различни ограничения. Първият е офлайн транскрипция, известна още като пакетна обработка: изпращате завършен аудио файл и получавате транскрипцията. Този режим е подходящ за записани подкасти, теренни интервюта, качени по-късно през деня, или архивирани лекции. Voxtral Mini Transcribe 3 и, за по-висока точност, Voxtral Small Transcribe 3 се справят с това, предлагайки диаризация и маркиране на времето на ниво сегменти.
Вторият режим е транскрипция в реално време или стрийминг: аудиото се транскрибира, докато пристига, с конфигурируема латентност между 80 ms и 1.2 секунди (или 2.4 секунди). Нищо не е предварително записано; всичко се случва, докато човекът говори. Този режим захранва субтитрите на уебинари на живо, гласови асистенти или инструменти за диктовка. Моделът Voxtral Mini Transcribe Realtime 3 е създаден точно за това. Имайте предвид това разграничение сега: то определя повечето от Вашите технически избори през остатъка от курса.
Поддържани езици
Моделите за транскрипция на файлове Voxtral 3 обхващат 50 езика, докато моделът за реално време поддържа 45 езика и диалекта, включително френски. Без параметъра language моделът автоматично открива езика на записа; ако го знаете, посочете го, използвайки неговия двубуквен код (напр. fr).
Какво прави Voxtral освен суров текст
Сама по себе си транскрипцията не винаги е достатъчна. Диаризацията автоматично идентифицира говорителите: при среща с петима души моделът различава кой кога е говорил, превръщайки стена от текст в четим обобщен отчет. Контекстуалното пристрастяване (Context biasing) Ви позволява да въведете специализирана лексика – собствени имена, технически термини, акроними – така че „Kubernetes“ или „GDPR“ да не бъдат осакатени по време на инженерно съвещание.
Маркирането на времето на ниво сегменти предоставя началния и крайния час за всеки сегмент от транскрипцията, което позволява генериране на синхронизирани субтитри; Voxtral 3 вече не поддържа маркиране на времето на ниво думи. Устойчивостта на шум запазва точността в предизвикателни акустични среди: фонов шум, ехо в заседателни зали или микрофони на лаптопи. Накрая, можете да изпращате записи като файлове, чрез URL адрес или от предишно качени файлове и да получавате отговори като поток, чанк по чанк.
Съответствие и суверенитет
Предишното поколение на модела за реално време, Voxtral Realtime (voxtral-mini-transcribe-realtime-2602, 4 милиарда параметъра), е издадено като отворени тегла (open weights) под лиценза Apache 2.0: можете да го хоствате самостоятелно, без да разчитате на външен API, дори след извеждането му от API на 30 април 2027 г.
Това е голямо предимство за европейските компании, изправени пред строги регулаторни ограничения относно обработката на аудио данни: записи от срещи, обаждания на клиенти или медицински консултации никога не напускат Вашата инфраструктура.
Какво ще научите
Курсът следва ясна прогресия. Ще започнете с разбиране на трите модела на Voxtral и избора на правилния за Вашия случай на употреба. След това ще се заемете с офлайн транскрипция, обхващаща API, неговите параметри, диаризация и контекстуално пристрастяване. След това ще преминете към транскрипция в реално време: стрийминг, заснемане от микрофон и контрол на латентността. Ще завършите с внедряване в продукционна среда, включително оптимизация, обработка на грешки и управление на разходите. Всеки урок включва пълен, функционален Python код, който можете да стартирате както си е.
Ключови изводи
- Voxtral е семейството аудио модели на Mistral AI, обхващащо STT и TTS
- Два режима на транскрипция: офлайн (файлове) и реално време (стрийминг, конфигурируема латентност, започваща от 80 ms)
- 50 езика за файлове, 45 за реално време, включително френски
- Разширени функции: диаризация, контекстуално пристрастяване, маркиране на времето на ниво сегменти, устойчивост на шум
- Възможно е суверенно внедряване с модела за реално време от второ поколение, наличен като отворени тегла под лиценза Apache 2.0