Käyttötapaukset reaaliaikaiselle litteroinnille
Tällä sivulla
Kurssi päivitetty 3. marraskuuta 2026 Voxtral 3:lle Mistralin Migrate from Voxtral 2 -oppaan pohjalta: Voxtral 2 -mallit (
voxtral-mini-2602,voxtral-mini-transcribe-realtime-2602,voxtral-mini-tts-2603) poistettiin käytöstä 31. lokakuuta 2026 ja ne lopetetaan kokonaan 30. huhtikuuta 2027. Esimerkeissä ne on korvattu malleillavoxtral-mini-transcribe-3,voxtral-mini-transcribe-realtime-3javoxtral-mini-tts-3-0. Keskeiset muutokset: aikaleimat ovat vain jaksojen tasolla (wordpalauttaa 400-virheen), reaaliaikainen puhujan tunnistus on tuettu, reaaliaikaisen istunnon asetukset lukittuvat ensimmäisen äänipaketin jälkeen, jacontext_bias-syötteet ovat vapaamuotoisia (välilyönnillä erotettuja fraaseja). Lähteet: Migrate from Voxtral 2 · Speech to Text.
Neljä konkreettista suoratoistosovellusta
Sinulla on nyt kaikki tarvittavat rakennuspalikat: virta, mikrofoni ja viiveen säätäminen. Tässä oppitunnissa koostamme niistä neljä valmista sovellusta – live-tekstityksen, ääniavustajan, sanelun ja konferenssilitteroinnin – joita voit käyttää sellaisinaan lähtökohtana. Kukin havainnollistaa ongelmaa, jota offline-tila ei pysty ratkaisemaan, ja kukin hyödyntää erilaista viiveasetusta, jotta saat konkreettisen käsityksen aiemmin käsitellystä säätämisestä.
Live-tekstitys
Tekstitys on näkyvin reaaliaikainen käyttötapaus ja samalla esitystavan kannalta vaativin. Pelkkä litterointi ei riitä: sinun on jaettava teksti lyhyisiin riveihin, näytettävä kerrallaan vain kaksi riviä ja vieritettävä sisältöä niin, ettei sana koskaan katkea puolivälissä. Juuri tähän seuraava luokka pystyy. Kun nykyinen rivi saavuttaa enimmäispituuden, koodi etsii viimeisen välilyönnin ennen tätä rajaa ja katkaisee siihen; jos välilyöntiä ei löydy – esimerkiksi hyvin pitkän sanan tai saneltujen URL-osoitteiden kohdalla – se katkaisee enimmäispituuden kohdalta estääkseen rivin ylittymisen. 800 millisekunnin asetus heijastaa tämän käyttötapauksen prioriteetteja: luettava teksti on parempi kuin välitön mutta rikkonainen teksti, eikä yleisö huomaa tätä pientä viivettä.
import asyncio
import os
from mistralai.client import Mistral
from mistralai.client.models import (
AudioFormat,
TranscriptionStreamTextDelta,
TranscriptionStreamDone
)
class LiveCaptioning:
"""Live-tekstitysjärjestelmä rivinhallinnalla."""
def __init__(self, max_chars_per_line=50, max_lines=2):
self.max_chars = max_chars_per_line
self.max_lines = max_lines
self.current_line = ""
self.lines = []
async def run(self, audio_source):
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
audio_format = AudioFormat(encoding="pcm_s16le", sample_rate=16000)
async for event in client.audio.realtime.transcribe_stream(
audio_stream=audio_source,
model="voxtral-mini-transcribe-realtime-3",
audio_format=audio_format,
target_streaming_delay_ms=800,
):
if isinstance(event, TranscriptionStreamTextDelta):
self._add_text(event.text)
elif isinstance(event, TranscriptionStreamDone):
self._afficher_final()
def _add_text(self, texte):
self.current_line += texte
if len(self.current_line) >= self.max_chars:
pos = self.current_line.rfind(" ", 0, self.max_chars)
if pos > 0:
self.lines.append(self.current_line[:pos])
self.current_line = self.current_line[pos + 1:]
else:
self.lines.append(self.current_line[:self.max_chars])
self.current_line = self.current_line[self.max_chars:]
if len(self.lines) > self.max_lines:
self.lines = self.lines[-self.max_lines:]
self._afficher()
def _afficher(self):
for ligne in self.lines:
print(f" {ligne}")
print(f" {self.current_line}", end="", flush=True)
def _afficher_final(self):
print("\n\n[Captioning finished]")
Vuorovaikutteinen ääniavustaja
Ääniavustaja ei voi varaa hiljaisuuteen. Sen on ymmärrettävä käyttäjää samalla kun tämä puhuu, muuten jokaisen kysymyksen jälkeen jäävä aukko paljastaa heti koneen olevan kyseessä. Reaaliaikainen litterointi on kolmivaiheisen ketjun ensimmäinen lenkki: puheesta tekstiksi, sitten LLM ja lopuksi tekstistä puheeksi. Tässä viive pudotetaan 300 millisekuntiin, mikä on koko oppitunnin aggressiivisin arvo, ja teksti näytetään ylikirjoittamalla nykyinen rivi vaununpalautuksella. Tämä luo vaikutelman, että lause täydentyy silmiesi edessä.
Funktion toinen puolisko siirtyy LLM:ään. Vastaus pyydetään myös virtana, jolloin ensimmäiset sanat saapuvat ennen kuin malli on viimeistellyt lauseensa: litterointivaiheessa saavutettu nopeus ei hukku seuraavassa vaiheessa. Järjestelmäkehote pakottaa ytimekkyyteen, mikä on ratkaiseva yksityiskohta puhutussa vuorovaikutuksessa, jossa kymmenen rivin vastaus muuttuu kuuntelemiskelvottomaksi.
async def assistant_vocal(audio_source):
"""Litteroi kysymyksen ja vastaa LLM:n avulla."""
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
audio_format = AudioFormat(encoding="pcm_s16le", sample_rate=16000)
# Vaihe 1: Litteroi kysymys
question_parts = []
async for event in client.audio.realtime.transcribe_stream(
audio_stream=audio_source,
model="voxtral-mini-transcribe-realtime-3",
audio_format=audio_format,
target_streaming_delay_ms=300,
):
if isinstance(event, TranscriptionStreamTextDelta):
question_parts.append(event.text)
texte_en_cours = "".join(question_parts)
print(f"\rYou: {texte_en_cours}", end="", flush=True)
elif isinstance(event, TranscriptionStreamDone):
break
question = "".join(question_parts).strip()
print()
if not question:
print("No question detected.")
return
# Vaihe 2: Lähetä LLM:lle vastauksen saamiseksi
print("Assistant: ", end="", flush=True)
reponse_stream = client.chat.stream(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "You are a concise voice assistant. "
"Respond in 2-3 sentences maximum."
},
{"role": "user", "content": question}
]
)
for chunk in reponse_stream:
texte = chunk.data.choices[0].delta.content
if texte:
print(texte, end="", flush=True)
print("\n")
Äänisanelu automaattisella tallennuksella
Sanelu tuo esiin ongelman, jonka kaksi edellistä tapausta jättivät huomiotta: keston. Istunto voi venyä yli tunnin mittaiseksi, ja tekstin menettäminen kaatumisen tai katkoksen vuoksi olisi hyväksymätöntä. Siksi automaattinen tallennus, joka käynnistyy noin sadan sanan välein ja kirjoittaa tulostustiedoston uudelleen lennossa. nb_mots-laskuri toimii myös käyttäjäpalautteena: se kertoo, kuinka paljon olet tuottanut, mikä on tietoa, jota kuka tahansa raporttia saneltava henkilö odottaa. 600 millisekunnin viive asettaa tarkkuuden etusijalle, sillä sanelua lukeva henkilö haluaa mieluummin tarkan sanan kuin välittömän mutta epätarkan tuloksen.
class DicteeVocale:
"""Äänisanelu automaattisella tallennuksella."""
def __init__(self, fichier_sortie="dictee.txt"):
self.fichier_sortie = fichier_sortie
self.texte = []
self.nb_mots = 0
async def run(self, audio_source):
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
audio_format = AudioFormat(encoding="pcm_s16le", sample_rate=16000)
print("Dictating... (Ctrl+C to stop)\n")
async for event in client.audio.realtime.transcribe_stream(
audio_stream=audio_source,
model="voxtral-mini-transcribe-realtime-3",
audio_format=audio_format,
target_streaming_delay_ms=600,
):
if isinstance(event, TranscriptionStreamTextDelta):
self.texte.append(event.text)
self.nb_mots += len(event.text.split())
print(event.text, end="", flush=True)
# Autotallennus joka 100. sana
if self.nb_mots % 100 < 5:
self._sauvegarder()
elif isinstance(event, TranscriptionStreamDone):
break
self._sauvegarder()
print(f"\n\nDictation finished: {self.nb_mots} words")
print(f"File: {self.fichier_sortie}")
def _sauvegarder(self):
contenu = "".join(self.texte)
with open(self.fichier_sortie, "w", encoding="utf-8") as f:
f.write(contenu)
Konferenssilitterointi metatiedoilla
Pitkässä konferenssissa raaka teksti on arvotonta, jos sitä ei voi tunnistaa. Kuuden kuukauden kuluttua kukaan ei tiedä, mistä istunnosta tai puhujasta transcription.txt-niminen tiedosto on peräisin. Seuraava funktio kääriikin litteroinnin dokumentoituun rakenteeseen – konferenssin nimi, puhuja, aloitus- ja lopetusaikaleimat, sanamäärä – ja vie sen JSON-muodossa aikaleimallisella nimellä. Tämä tekee siitä heti käyttökelpoisen sisäiselle hakukoneelle tai arkistointiputkelle. 1 200 millisekunnin viive on tässä täysin hyväksyttävä: yleisö kuuntelee puhujaa, näyttö on vain lisä, ja tarkkuus on etusijalla.
import json
from datetime import datetime
async def transcribe_conference(
audio_source,
conference_name: str,
speaker: str = "Inconnu"
):
"""Litteroi konferenssi-istunnon metatiedoilla."""
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
audio_format = AudioFormat(encoding="pcm_s16le", sample_rate=16000)
session = {
"conference": conference_name,
"speaker": speaker,
"debut": datetime.now().isoformat(),
"texte": [],
}
print(f"Transcription: {conference_name}")
print(f"Speaker: {speaker}")
print("-" * 50)
async for event in client.audio.realtime.transcribe_stream(
audio_stream=audio_source,
model="voxtral-mini-transcribe-realtime-3",
audio_format=audio_format,
target_streaming_delay_ms=1200,
):
if isinstance(event, TranscriptionStreamTextDelta):
session["texte"].append(event.text)
print(event.text, end="", flush=True)
elif isinstance(event, TranscriptionStreamDone):
break
session["fin"] = datetime.now().isoformat()
session["texte"] = "".join(session["texte"])
session["nb_mots"] = len(session["texte"].split())
filename = f"session_{datetime.now().strftime('%Y%m%d_%H%M%S')}.json"
with open(filename, "w", encoding="utf-8") as f:
json.dump(session, f, ensure_ascii=False, indent=2)
print(f"\n\nSession saved: {filename}")
return session
Käy läpi neljä viivettä järjestyksessä – 300, 600, 800 ja sitten 1 200 millisekuntia – ja huomaa, että niitä ohjaa yksi logiikka: mitä enemmän käyttäjä odottaa koneelta reaktiota, sitä lyhyemmän viiveen on oltava; mitä enemmän hän odottaa käyttökelpoista asiakirjaa, sitä pidempi viive voi olla. Ota jokin näistä sovelluksista ja liitä se edellisen oppitunnin mikrofonigeneraattoriin: sinulla on todella käyttökelpoinen työkalu vain muutamassa minuutissa.
Keskeiset asiat
- Live-tekstitys käyttää 800 ms:n viivettä ja hallitsee näyttöä rivi kerrallaan
- Ääniavustaja ketjuttaa reaaliaikaisen litteroinnin ja LLM:n vastatakseen kysymyksiin
- Äänisanelu tallentaa tekstin automaattisesti lennossa
- Konferenssilitterointi lisää metatiedot ja vie tiedot JSON-muotoon
- Jokaisella käyttötapauksella on optimaalinen viive: 300 ms (avustaja) – 1 200 ms (konferenssi) hyväksytyllä 80–1 200 ms tai 2 400 ms:n alueella