Случаи на употреба за транскрипция в реално време
На тази страница
Курсът е актуализиран на 3 ноември 2026 г. за Voxtral 3, въз основа на ръководството на Mistral Migrate from Voxtral 2: Моделите Voxtral 2 (
voxtral-mini-2602,voxtral-mini-transcribe-realtime-2602,voxtral-mini-tts-2603, деактивирани на 31 октомври 2026 г. и изтеглени от употреба на 30 април 2027 г.) са заменени в примерите сvoxtral-mini-transcribe-3,voxtral-mini-transcribe-realtime-3иvoxtral-mini-tts-3-0. Основни промени: временните марки са само за сегменти (wordвръща грешка 400), поддържа се диаризация в реално време, настройките на сесията в реално време се заключват след първия аудио чанк, а входовете заcontext_biasса в свободен формат (фрази с интервали). Източници: Migrate from Voxtral 2 · Speech to Text.
Четири конкретни приложения за потоково предаване
Вече разполагате с всички необходими компоненти: потокът, микрофонът и настройката на латентността. В този урок ще ги комбинираме в четири завършени приложения – субтитри на живо, гласов асистент, диктовка и транскрипция на конференции, – които можете да използвате директно като отправна точка. Всяко от тях илюстрира проблем, който офлайн режимът не може да реши, и всяко използва различна настройка на латентността, което Ви дава конкретно усещане за оптимизацията, обсъдена по-рано.
Субтитри на живо
Субтитрирането е най-видимият случай на употреба в реално време и също така най-взискателен по отношение на представянето. Самото транскрибиране не е достатъчно: трябва да разделите текста на кратки редове, да показвате само по два едновременно и да превъртате цялото съдържание, без никога да разделяте дума наполовина. Точно това прави следният клас. Когато текущият ред достигне максималната дължина, той открива последното празно място преди тази граница и прекъсва там; ако не се открие такова – при много дълга дума или диктуван URL адрес – той реже на максималната дължина, вместо да позволи преливане на реда. Настройката от 800 милисекунди отразява приоритета на този случай на употреба: четимият текст е по-добър от мигновения, но прекъснат текст, а аудиторията няма да забележи това леко забавяне.
import asyncio
import os
from mistralai.client import Mistral
from mistralai.client.models import (
AudioFormat,
TranscriptionStreamTextDelta,
TranscriptionStreamDone
)
class LiveCaptioning:
"""Система за субтитри на живо с управление на редовете."""
def __init__(self, max_chars_per_line=50, max_lines=2):
self.max_chars = max_chars_per_line
self.max_lines = max_lines
self.current_line = ""
self.lines = []
async def run(self, audio_source):
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
audio_format = AudioFormat(encoding="pcm_s16le", sample_rate=16000)
async for event in client.audio.realtime.transcribe_stream(
audio_stream=audio_source,
model="voxtral-mini-transcribe-realtime-3",
audio_format=audio_format,
target_streaming_delay_ms=800,
):
if isinstance(event, TranscriptionStreamTextDelta):
self._add_text(event.text)
elif isinstance(event, TranscriptionStreamDone):
self._afficher_final()
def _add_text(self, texte):
self.current_line += texte
if len(self.current_line) >= self.max_chars:
pos = self.current_line.rfind(" ", 0, self.max_chars)
if pos > 0:
self.lines.append(self.current_line[:pos])
self.current_line = self.current_line[pos + 1:]
else:
self.lines.append(self.current_line[:self.max_chars])
self.current_line = self.current_line[self.max_chars:]
if len(self.lines) > self.max_lines:
self.lines = self.lines[-self.max_lines:]
self._afficher()
def _afficher(self):
for ligne in self.lines:
print(f" {ligne}")
print(f" {self.current_line}", end="", flush=True)
def _afficher_final(self):
print("\n\n[Captioning finished]")
Интерактивен гласов асистент
Гласовият асистент не може да си позволи тишина. Той трябва да разбира потребителя докато говори, в противен случай ще остави пауза след всеки въпрос, което веднага издава машинния характер. Транскрипцията в реално време е първата връзка във верига от три стъпки: преобразуване на реч в текст, след това LLM, и накрая преобразуване на текст в реч. Тук латентността спада до 300 милисекунди – най-агресивната стойност в целия урок, – а текстът се показва чрез презаписване на текущия ред с връщане на каретката, създавайки впечатлението, че изречението се дописва пред очите Ви.
Втората половина на функцията преминава към LLM. Отговорът също се заявява като поток, така че първите думи пристигат, преди моделът да е завършил изречението си: responsивността, постигната на етапа на транскрипция, не се губи в следващата стъпка. Системният промпт налага краткост, което е решаващ детайл при гласовото взаимодействие, където отговор от десет реда става невъзможен за слушане.
async def assistant_vocal(audio_source):
"""Транскрибира и след това отговаря чрез LLM."""
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
audio_format = AudioFormat(encoding="pcm_s16le", sample_rate=16000)
# Стъпка 1: Транскрибиране на въпроса
question_parts = []
async for event in client.audio.realtime.transcribe_stream(
audio_stream=audio_source,
model="voxtral-mini-transcribe-realtime-3",
audio_format=audio_format,
target_streaming_delay_ms=300,
):
if isinstance(event, TranscriptionStreamTextDelta):
question_parts.append(event.text)
texte_en_cours = "".join(question_parts)
print(f"\rYou: {texte_en_cours}", end="", flush=True)
elif isinstance(event, TranscriptionStreamDone):
break
question = "".join(question_parts).strip()
print()
if not question:
print("No question detected.")
return
# Стъпка 2: Изпращане към LLM за получаване на отговор
print("Assistant: ", end="", flush=True)
reponse_stream = client.chat.stream(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "You are a concise voice assistant. "
"Respond in 2-3 sentences maximum."
},
{"role": "user", "content": question}
]
)
for chunk in reponse_stream:
texte = chunk.data.choices[0].delta.content
if texte:
print(texte, end="", flush=True)
print("\n")
Гласова диктовка с автоматично запазване
Диктовката поставя проблем, който двата предишни случая игнорират: продължителността. Една сесия може да продължи над час и загубата на текста поради срив или прекъсване би била неприемлива. Оттук идва и автоматичното запазване, задействано приблизително на всеки сто думи, което презаписва изходния файл в реално време. Броячът nb_mots служи и като обратна връзка за потребителя: той Ви показва колко сте произвели – информация, която всеки, диктуващ доклад, очаква. Латентността от 600 милисекунди поставя курсора на страната на прецизността, тъй като човек, който диктува, препрочита текста си и предпочита точната дума пред мигновената.
class DicteeVocale:
"""Гласова диктовка с автоматично запазване."""
def __init__(self, fichier_sortie="dictee.txt"):
self.fichier_sortie = fichier_sortie
self.texte = []
self.nb_mots = 0
async def run(self, audio_source):
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
audio_format = AudioFormat(encoding="pcm_s16le", sample_rate=16000)
print("Dictating... (Ctrl+C to stop)\n")
async for event in client.audio.realtime.transcribe_stream(
audio_stream=audio_source,
model="voxtral-mini-transcribe-realtime-3",
audio_format=audio_format,
target_streaming_delay_ms=600,
):
if isinstance(event, TranscriptionStreamTextDelta):
self.texte.append(event.text)
self.nb_mots += len(event.text.split())
print(event.text, end="", flush=True)
# Автоматично запазване на всеки 100 думи
if self.nb_mots % 100 < 5:
self._sauvegarder()
elif isinstance(event, TranscriptionStreamDone):
break
self._sauvegarder()
print(f"\n\nDictation finished: {self.nb_mots} words")
print(f"File: {self.fichier_sortie}")
def _sauvegarder(self):
contenu = "".join(self.texte)
with open(self.fichier_sortie, "w", encoding="utf-8") as f:
f.write(contenu)
Транскрипция на конференция с метаданни
За дълга конференция суровият текст няма голяма стойност, ако не е идентифицируем. Шест месеца по-късно никой няма да знае от коя сесия или говорител идва файл с име transcription.txt. Следващата функция следователно обгръща транскрипцията в документирана структура – име на конференцията, говорител, начални и крайни времеви марки, брой думи – и я експортира като JSON с име, маркирано с времевия печат, веднага използваемо от вътрешна търсачка или архивен конвейер. Латентността от 1200 милисекунди е напълно комфортна тук: аудиторията слуша говорителя, дисплеят е просто допълнение, а прецизността има приоритет.
import json
from datetime import datetime
async def transcribe_conference(
audio_source,
conference_name: str,
speaker: str = "Inconnu"
):
"""Транскрибира сесия от конференция с метаданни."""
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
audio_format = AudioFormat(encoding="pcm_s16le", sample_rate=16000)
session = {
"conference": conference_name,
"speaker": speaker,
"debut": datetime.now().isoformat(),
"texte": [],
}
print(f"Transcription: {conference_name}")
print(f"Speaker: {speaker}")
print("-" * 50)
async for event in client.audio.realtime.transcribe_stream(
audio_stream=audio_source,
model="voxtral-mini-transcribe-realtime-3",
audio_format=audio_format,
target_streaming_delay_ms=1200,
):
if isinstance(event, TranscriptionStreamTextDelta):
session["texte"].append(event.text)
print(event.text, end="", flush=True)
elif isinstance(event, TranscriptionStreamDone):
break
session["fin"] = datetime.now().isoformat()
session["texte"] = "".join(session["texte"])
session["nb_mots"] = len(session["texte"].split())
filename = f"session_{datetime.now().strftime('%Y%m%d_%H%M%S')}.json"
with open(filename, "w", encoding="utf-8") as f:
json.dump(session, f, ensure_ascii=False, indent=2)
print(f"\n\nSession saved: {filename}")
return session
Прегледайте четирите латентности по ред – 300, 600, 800 и след това 1200 милисекунди – и отбележете, че те следват една единствена логика: колкото повече потребителят очаква реакция от машината, толкова по-късо трябва да бъде забавянето; колкото повече очаква използваем документ, толкова по-дълго може да бъде то. Вземете едно от тези приложения и го свържете с генератора на микрофон от предишния урок: ще разполагате с наистина използваем инструмент само за няколко минути.
Ключови изводи
- Субтитрите на живо използват латентност от 800 мс и управляват дисплея ред по ред
- Гласовият асистент свързва транскрипция в реално време и LLM, за да отговаря на въпроси
- Гласовата диктовка автоматично запазва текста в реално време
- Транскрипцията на конференция добавя метаданни и експортира в JSON
- Всеки случай на употреба има своя оптимална латентност: от 300 мс (асистент) до 1200 мс (конференция), в рамките на приетия диапазон от 80 до 1200 мс или 2400 мс