Отметки за време и темпорална сегментация
На тази страница
Курсът е актуализиран на 3 ноември 2026 г. за Voxtral 3, въз основа на ръководството на Mistral Migrate from Voxtral 2: Моделите Voxtral 2 (
voxtral-mini-2602,voxtral-mini-transcribe-realtime-2602,voxtral-mini-tts-2603, деактивирани на 31 октомври 2026 г. и премахнати на 30 април 2027 г.) са заменени в примерите сvoxtral-mini-transcribe-3,voxtral-mini-transcribe-realtime-3иvoxtral-mini-tts-3-0. Основни промени: отметките за време са само на ниво сегмент (wordвръща грешка 400), диаризацията е възможна в реално време, настройките на сесията в реално време се заключват след първия аудио чанк, а входовете заcontext_biasса в свободен формат (фрази с интервали). Източници: Migrate from Voxtral 2 · Speech to Text.
Структуриране на транскрипцията във времето
Един суров транскрипт е полезен, но транскрипт с отметки за време отваря далеч по-богати възможности: субтитриране, темпорална навигация, синхронизация с видео и извличане на конкретни пасажи. Без отметки за време намирането на момента, в който е обсъден бюджетът в двучасов запис, изисква предположения; с тях това става чрез текстово търсене, последвано от едно кликване. Параметърът timestamp_granularities на Voxtral Ви дава тази сила.
Грануларност на сегмента: Блокът на речта
Сегментът е непрекъснат блок от реч – обикновено изречение или група изречения, произнесени без значителна пауза. Това е грануларността, която ще избирате по подразбиране, тъй като съответства на естествената единица за четене.
import os
from mistralai.client import Mistral
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
with open("conference.mp3", "rb") as f:
response = client.audio.transcriptions.complete(
model="voxtral-mini-transcribe-3",
file={"content": f, "file_name": "conference.mp3"},
timestamp_granularities=["segment"]
)
# Итерация през сегментите
for seg in response.segments:
start = f"{seg.start:.1f}s"
end = f"{seg.end:.1f}s"
print(f"[{start} → {end}] {seg.text}")
Изходът изглежда така:
[0.0s → 4.2s] Hello everyone, thank you for being here today.
[4.5s → 11.8s] We will cover the quarter's results and the outlook for the future.
[12.1s → 18.3s] Let's start with revenue, which has grown by twelve percent.
Тази разбивка подпомага навигацията в дълги записи, показването на блокове със субтитри и индексирането на пасажи: всеки сегмент се превръща в търсима entry точка с нейното начало в аудиото.
А какво става с грануларността на думите?
Voxtral 2 можеше също да поставя отметки за време за всяка дума (timestamp_granularities=["word"]). Voxtral 3 вече не предлага това: грануларността word връща грешка 400, а ръководството за миграция на Mistral инструктира потребителите да преминат към сегменти. Случаите на употреба, изискващи подравняване дума по дума – субтитри в стил караоке, подчертаване на текущата дума, фин анализ на темпото на речта – вече трябва да разчитат на сегменти, потенциално разпределяйки времето на сегмента между думите му чрез оценка от страна на клиента.
def estimer_mots(segment):
"""Разпределя продължителността на сегмента между думите му, пропорционално на тяхната дължина (оценка)."""
mots = segment.text.split()
if not mots or segment.start is None or segment.end is None:
return []
total = sum(len(m) for m in mots)
debut, duree = segment.start, segment.end - segment.start
resultat = []
for mot in mots:
fin = debut + duree * len(mot) / total
resultat.append((round(debut, 2), round(fin, 2), mot))
debut = fin
return resultat
Това е приближение, полезно за прогресивно показване, но не и за просодичен анализ: ако точното подравняване на думите е от съществено значение, специализиран инструмент за принудително подравняване, приложен след транскрипцията, остава решението.
Генериране на SRT субтитри
Форматът SRT не е нищо мистериозно: пореден номер, времеви диапазон във формат HH:MM:SS,mmm, текстът и празен ред. Функцията по-долу итерира през сегментите и разделя тези, които биха надвишили комфортна ширина на дисплея, зададена тук на шестдесет знака.
def generate_srt_from_segments(segments, max_chars=60):
"""Генерира SRT файл от сегменти на Voxtral."""
srt_lines = []
counter = 1
for seg in segments:
words = seg.text.strip()
if not words:
continue
# Разделяне на твърде дълги сегменти
sub_text = words.split()
word = ""
for format_srt_time in sub_text:
if len(word) + len(format_srt_time) + 1 > max_chars and word:
srt_lines.append(str(counter))
srt_lines.append(
f"{seconds(seg.start)} --> "
f"{seconds(seg.end)}"
)
srt_lines.append(word.strip())
srt_lines.append("")
counter += 1
word = format_srt_time
else:
word += " " + format_srt_time
if word.strip():
srt_lines.append(str(counter))
srt_lines.append(
f"{seconds(seg.start)} --> "
f"{seconds(seg.end)}"
)
srt_lines.append(word.strip())
srt_lines.append("")
counter += 1
return "\n".join(srt_lines)
def seconds(secondes):
"""Конвертира секунди във формат SRT (HH:MM:SS,mmm)."""
h = int(secondes // 3600)
m = int((secondes % 3600) // 60)
s = int(secondes % 60)
ms = int((secondes % 1) * 1000)
return f"{h:02d}:{m:02d}:{s:02d},{ms:03d}"
# Употреба
srt_contenu = generate_srt_from_segments(response.segments)
with open("sous_titres.srt", "w", encoding="utf-8") as f:
f.write(srt_contenu)
print("SRT file generated successfully")
Навигация в дълги записи
Друго директно приложение на сегментите е изграждането на темпорално резюме. Следващият скрипт маркира контролна точка на всеки пет минути и показва първите няколко думи, предоставяйки на читателя карта на записа, преди дори да го е изслушал.
def create_temporal_index(segments, interval_minutes=5):
"""Създава индекс на всеки N минути."""
index = []
next_milestone = 0
for seg in segments:
if seg.debut >= next_milestone * 60:
minutes = int(seg.debut // 60)
seconds = int(seg.debut % 60)
preview = seg.text[:80] + "..." if len(seg.text) > 80 else seg.text
index.append(f"[{minutes:02d}:{seconds:02d}] {preview}")
next_milestone = minutes + interval_minutes
return index
# Употреба
for entry in create_temporal_index(response.segments, interval_minutes=5):
print(entry)
При Voxtral 2 timestamp_granularities беше несъвместим с параметъра language. Документацията на Voxtral 3 вече не споменава това ограничение: проверете го с тест, преди да комбинирате двете в производствена обработка.
Ключови изводи
- Само една грануларност с Voxtral 3:
"segment"("word"връща грешка 400) - Подравняването дума по дума, ако е необходимо, се оценява от сегменти или се обработва от инструмент за подравняване
- Отметките за време са в секунди (десетични числа), със
startиendза всеки сегмент - Идеално за субтитриране във формат SRT/VTT, темпорална навигация и индексиране
- Несъвместимостта с
languageот Voxtral 2 вече не е документирана: проверете я с тест