Időbélyegek és időbeli szegmentálás
Ezen az oldalon
A tanfolyam frissítve: 2026. november 3., Voxtral 3 verzió, a Mistral Migrate from Voxtral 2 útmutatója alapján: a 2026. október 31-én elavulttá és 2027. április 30-án véglegesen kivezetett Voxtral 2 modellek (
voxtral-mini-2602,voxtral-mini-transcribe-realtime-2602,voxtral-mini-tts-2603) helyét a példákban avoxtral-mini-transcribe-3, avoxtral-mini-transcribe-realtime-3és avoxtral-mini-tts-3-0veszi át. Főbb változások: az időbélyegek kizárólag szegmensszintűek (awordparaméter 400-as hibát ad vissza), a beszélőazonosítás valós időben is lehetséges, a valós idejű munkamenet beállításai az első hangcsomag után rögzülnek, acontext_biasbemenetek pedig szabad formátumúak (szóközöket tartalmazó kifejezések). Források: Migrate from Voxtral 2 · Speech to Text.
Az átírás időbeli szerkezetbe rendezése
Egy nyers átírás hasznos, de egy időbélyegekkel ellátott átírás sokkal gazdagabb lehetőségeket nyit meg: feliratozás, időbeli navigáció, videoszinkronizálás és konkrét részletek kinyerése. Időbélyegek nélkül találgatnod kell, mikor hangzott el a költségvetés egy kétórás felvételen; velük viszont elég egy szöveges keresés és egy kattintás. A Voxtral timestamp_granularities paramétere adja meg neked ezt a hatalmat.
Szegmensgranularitás: a beszédblokk
A szegmens a beszéd folytonos blokkja – jellemzően egy mondat vagy mondatok csoportja, jelentős szünet nélkül elmondva. Ez az alapértelmezett választásod, mivel ez felel meg az olvasás természetes egységének.
import os
from mistralai.client import Mistral
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
with open("conference.mp3", "rb") as f:
response = client.audio.transcriptions.complete(
model="voxtral-mini-transcribe-3",
file={"content": f, "file_name": "conference.mp3"},
timestamp_granularities=["segment"]
)
# Iterálás a szegmenseken
for seg in response.segments:
start = f"{seg.start:.1f}s"
end = f"{seg.end:.1f}s"
print(f"[{start} → {end}] {seg.text}")
A kimenet így néz ki:
[0.0s → 4.2s] Hello everyone, thank you for being here today.
[4.5s → 11.8s] We will cover the quarter's results and the outlook for the future.
[12.1s → 18.3s] Let's start with revenue, which has grown by twelve percent.
Ez a lebontás támogatja a hosszú felvételek navigációját, a feliratblokkok megjelenítését és a szakaszok indexelését: minden szegmens kereshető bejegyzéssé válik a hanganyagban lévő belépési pontjával együtt.
Mi a helyzet a szószintű granularitással?
A Voxtral 2 képes volt minden egyes szót időbélyeggel ellátni (timestamp_granularities=["word"]). A Voxtral 3 már nem kínálja ezt: a word granularitás 400-as hibát eredményez, és a Mistral migrációs útmutatója arra utasítja a felhasználókat, hogy térjenek át a szegmensekre. Azoknak a használati eseteknek, amelyekhez szóról szóra történő igazítás szükséges – például karaoke-stílusú feliratok, az aktuális szó kiemelése vagy finomhangolt beszédtempó-elemzés –, most a szegmensekre kell támaszkodniuk, potenciálisan ügyféloldali becsléssel elosztva a szegmens idejét a benne lévő szavak között.
def estimer_mots(segment):
"""Elosztja egy szegmens időtartamát a szavai között, azok hosszának arányában (becslés)."""
mots = segment.text.split()
if not mots or segment.start is None or segment.end is None:
return []
total = sum(len(m) for m in mots)
debut, duree = segment.start, segment.end - segment.start
resultat = []
for mot in mots:
fin = debut + duree * len(mot) / total
resultat.append((round(debut, 2), round(fin, 2), mot))
debut = fin
return resultat
Ez egy közelítés, amely hasznos a progresszív megjelenítéshez, de nem alkalmas prozódiai elemzésre: ha a pontos szószintű igazítás elengedhetetlen, az átírás után alkalmazott dedikált kényszerített igazítási (forced alignment) eszköz marad a megoldás.
SRT feliratok generálása
Az SRT formátum nem rejtély: egy sorszám, egy időtartomány HH:MM:SS,mmm formátumban, a szöveg és egy üres sor. Az alábbi függvény végigmegy a szegmenseken, és felosztja azokat, amelyek meghaladnák a kényelmes megjelenítési szélességet, amelyet itt hatvan karakterben állapítottunk meg.
def generate_srt_from_segments(segments, max_chars=60):
"""SRT fájlt generál Voxtral szegmensekből."""
srt_lines = []
counter = 1
for seg in segments:
words = seg.text.strip()
if not words:
continue
# Túl hosszú szegmensek felosztása
sub_text = words.split()
word = ""
for format_srt_time in sub_text:
if len(word) + len(format_srt_time) + 1 > max_chars and word:
srt_lines.append(str(counter))
srt_lines.append(
f"{seconds(seg.start)} --> "
f"{seconds(seg.end)}"
)
srt_lines.append(word.strip())
srt_lines.append("")
counter += 1
word = format_srt_time
else:
word += " " + format_srt_time
if word.strip():
srt_lines.append(str(counter))
srt_lines.append(
f"{seconds(seg.start)} --> "
f"{seconds(seg.end)}"
)
srt_lines.append(word.strip())
srt_lines.append("")
counter += 1
return "\n".join(srt_lines)
def seconds(secondes):
"""Másodperceket SRT formátumra konvertál (HH:MM:SS,mmm)."""
h = int(secondes // 3600)
m = int((secondes % 3600) // 60)
s = int(secondes % 60)
ms = int((secondes % 1) * 1000)
return f"{h:02d}:{m:02d}:{s:02d},{ms:03d}"
# Használat
srt_contenu = generate_srt_from_segments(response.segments)
with open("sous_titres.srt", "w", encoding="utf-8") as f:
f.write(srt_contenu)
print("SRT fájl sikeresen generálva")
Hosszú felvételek navigálása
A szegmensek másik közvetlen alkalmazása egy időbeli összefoglaló készítése. A következő szkript ötpercenként jelöl ki egy ellenőrző pontot, és megjeleníti az első néhány szót, így térképet adva az olvasónak a felvételről, még mielőtt meghallgatná azt.
def create_temporal_index(segments, interval_minutes=5):
"""Indexet hoz létre N percenként."""
index = []
next_milestone = 0
for seg in segments:
if seg.debut >= next_milestone * 60:
minutes = int(seg.debut // 60)
seconds = int(seg.debut % 60)
preview = seg.text[:80] + "..." if len(seg.text) > 80 else seg.text
index.append(f"[{minutes:02d}:{seconds:02d}] {preview}")
next_milestone = minutes + interval_minutes
return index
# Használat
for entry in create_temporal_index(response.segments, interval_minutes=5):
print(entry)
A Voxtral 2 esetében a timestamp_granularities összeférhetetlen volt a language paraméterrel. A Voxtral 3 dokumentációja már nem említi ezt a korlátozást: éles környezetben történő kombinálás előtt teszteld le ezt a funkciót.
Főbb megállapítások
- A Voxtral 3-nál csak egy granularitás létezik:
"segment"(a"word"400-as hibát ad vissza) - A szóról szóra történő igazítás, ha szükséges, szegmensekből becsülhető meg, vagy egy igazítási eszköz végzi
- Az időbélyegek másodpercben (tizedes számok) vannak megadva, minden szegmenshez
startésendértékkel - Ideális SRT/VTT feliratozáshoz, időbeli navigációhoz és indexeléshez
- A Voxtral 2-ből származó, a
languageparaméterrel való összeférhetetlenség már nincs dokumentálva: teszteld le