Johdatus reaaliaikaiseen litterointiin
Tällä sivulla
Kurssi päivitetty 3. marraskuuta 2026 Voxtral 3:lle Mistralin Migrate from Voxtral 2 -oppaan pohjalta: Voxtral 2 -mallit (
voxtral-mini-2602,voxtral-mini-transcribe-realtime-2602,voxtral-mini-tts-2603, jotka poistettiin käytöstä 31. lokakuuta 2026 ja ajettiin alas 30. huhtikuuta 2027) on korvattu esimerkeissä malleillavoxtral-mini-transcribe-3,voxtral-mini-transcribe-realtime-3javoxtral-mini-tts-3-0. Keskeiset muutokset: aikaleimat ovat vain segmenttitasolla (wordpalauttaa 400-virheen), puhujantunnistus on käytettävissä reaaliajassa, reaaliaikaisten istuntojen asetukset lukittuvat ensimmäisen äänipaketin jälkeen, jacontext_bias-syötteet ovat vapaamuotoisia (välilyönnillä erotettuja fraaseja). Lähteet: Migrate from Voxtral 2 · Speech to Text.
Uusi paradigma: Äänen suoratoisto
Tähän asti olet työskennellyt offline-tilassa: lähetät valmiin äänitiedoston, odotat mallin käsittelevän sen ja käytät tulosta sitten. Tämä toimintatapa sopii olemassa oleviin tallenteisiin, kuten arkistoituihin kokouksiin, podcasteihin tai haastatteluihin. Se epäonnistuu, kun ääni saapuu jatkuvana virtana: kukaan ei halua odottaa kahden tunnin konferenssin loppua nähdäkseen ensimmäiset tekstitykset, eikä ääniavustaja, joka ymmärtää kysymyksen vasta pitkän hiljaisuuden jälkeen, tunnu toimivalta.
Voxtral Realtime vastaa tähän tarpeeseen suoratoistoarkkitehtuurilla. Ääni litteroidaan lennossa, sana kerrallaan, ja viive äänen ja tekstin välillä muuttuu säädettäväksi parametriksi, joka voi laskea jopa 200 millisekuntiin. Muutos on yhtä paljon mentaalinen kuin tekninen: et enää ajattele erillisinä pyyntöinä vaan virtoina, ja ohjelmasi on oltava valmis vastaanottamaan tekstiä milloin tahansa.
Mitä reaaliaikamalli tarjoaa
Mallia kutsutaan tunnisteella voxtral-mini-transcribe-realtime-3, ja se eroaa perustavanlaatuisesti offline-vastineestaan. Se vastaanottaa äänipaketteja ja lähettää tekstikatkelmia jatkuvasti odottamatta nauhoituksen päättymistä. Sen latenssia ohjataan parametrilla target_streaming_delay_ms, jota tarkastelet myöhemmin tässä kurssissa yksityiskohtaisesti. Se kattaa 45 kieltä ja murretta, ja kieli voidaan joko kiinnittää tai havaita automaattisesti. Sen edeltäjä, sukupolven 2 malli voxtral-mini-transcribe-realtime-2602 (4 miljardia parametria), on julkaistu avoimena painona Apache 2.0 -lisenssillä Hugging Face Hubissa täysin itsenäistä asennusta varten omille palvelimillesi.
Voxtral 3:n myötä reaaliaikainen suorituskyky on kuromut umpeen eron offline-tilaan. Puhujantunnistus on käytettävissä – vaikka ei samassa istunnossa puheenvuoron päättymisen havaitsemisen kanssa – samoin kuin kontekstin painottaminen ja puheenvuoron päättymisen havaitseminen. Kaksi eroa jäävät voimaan: segmentit sisältävät puhujan tunnisteen mutta eivät ala- tai loppuaikaa, ja kaikki istuntoasetukset (kieli, sanasto, puhujantunnistus, viive) on lähetettävä ennen ensimmäistä äänipakettia, minkä jälkeen ne lukittuvat. Jos käyttötapauksesi vaatii tarkkoja aikaleimoja, tarvitset offline-tilan, mahdollisesti reaaliajan täydennyksenä.
Asennus
Mistral SDK ei lataa suoratoistoriippuvuuksia oletusarvoisesti. Sinun on pyydettävä nimenomaisesti realtime-lisäosa, joka lisää tuen WebSocket-yhteyksille ja asynkroniselle äänenkäsittelylle:
pip install "mistralai[realtime]"
Vaadittu äänimuoto
Toisin kuin offline-tila, joka hyväksyy laajan valikoiman säiliömuotoja, Voxtral Realtime odottaa raakavirtaa yhdessä, ei-neuvoteltavassa muodossa:
- Koodaus: 16-bittinen etumerkillinen little-endian PCM (
pcm_s16le) - Näytetaajuus: 16 000 Hz (16 kHz)
- Kanavat: Mono (1 kanava)
Tämä rajoitus ei ole este: tämä muoto on standardoituin saatavilla oleva, ja kaikki kaappaustyökalut tuottavat sitä natiivisti, olipa kyseessä PyAudio, FFmpeg tai PulseAudio. Ilmoitat sen kerran asiakasohjelmalle, joka käyttää sitä tulkitsemaan lähettämäsi tavut.
from mistralai.client.models import AudioFormat
# Määritä äänimuoto
audio_format = AudioFormat(
encoding="pcm_s16le",
sample_rate=16000
)
Kaksi suoratoistotapahtumaa
Kun iteroidaan litteroinnin yli, SDK palauttaa kahden tyyppisiä objekteja. TranscriptionStreamTextDelta emittoituu jokaisesta uudesta litteroidusta fragmentista ja sisältää osittaisen tekstin, jonka voit näyttää välittömästi; tämä on se, mikä päivittää käyttäjän näyttöä. TranscriptionStreamDone saapuu täsmälleen kerran, kun äänivirta päättyy, oli kyseessä sitten tiedoston loppu tai mikrofonin sulkeminen; se signaloi, että mitään ei ole enää tulossa ja että voit konsolidoida tuloksen. Koko logiikkasi mahtuu siis asynkroniseen silmukkaan, joka erottaa nämä kaksi tapausta:
from mistralai.client.models import (
TranscriptionStreamTextDelta,
TranscriptionStreamDone
)
async for event in flux_transcription:
if isinstance(event, TranscriptionStreamTextDelta):
# Uutta tekstiä saatavilla
print(event.text, end="", flush=True)
elif isinstance(event, TranscriptionStreamDone):
# Litterointi valmis
print("\n[Valmis]")
Ensimmäinen kokonaisesimerkki
Jotta pääset sisään mekanismiin luottamatta mikrofoniin, yksinkertaisin lähestymistapa on simuloida virtaa tiedostosta, joka on jo muunnettu PCM-muotoon. Funktio lire_fichier_pcm on asynkroninen generaattori: se lukee tiedoston lohkoissa ja luovuttaa niitä yksi kerrallaan, aivan kuten äänikortti tekisi. Loput ohjelmasta ovat sitä, mitä käytät myöhemmin uudelleen ilman muutoksia.
import asyncio
import os
from mistralai.client import Mistral
from mistralai.client.models import (
AudioFormat,
TranscriptionStreamTextDelta,
TranscriptionStreamDone
)
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
audio_format = AudioFormat(encoding="pcm_s16le", sample_rate=16000)
async def lire_fichier_pcm(chemin: str, taille_chunk: int = 32000):
"""Lukee PCM-tiedoston lohkoissa virran simuloimiseksi."""
with open(chemin, "rb") as f:
while True:
chunk = f.read(taille_chunk)
if not chunk:
break
yield chunk
async def main():
flux_audio = lire_fichier_pcm("audio.pcm")
async for event in client.audio.realtime.transcribe_stream(
audio_stream=flux_audio,
model="voxtral-mini-transcribe-realtime-3",
audio_format=audio_format,
):
if isinstance(event, TranscriptionStreamTextDelta):
print(event.text, end="", flush=True)
elif isinstance(event, TranscriptionStreamDone):
print("\n\nLitterointi valmis.")
asyncio.run(main())
Jos lähdetiedostosi on MP3, sitä ei voi lähettää sellaisenaan: muunna se ensin FFmpegillä pakottaen mallin vaatimat kolme ominaisuutta.
ffmpeg -i audio.mp3 -f s16le -acodec pcm_s16le -ar 16000 -ac 1 audio.pcm
Milloin siirtyä reaaliaikaan
Valintakriteeri on yksinkertainen: reaaliaika on perusteltu, kun joku odottaa tekstiä äänen tuottamisen aikana. Tämä pätee suoratoistotekstitykseen konferenssissa, webinaarissa tai verkkokurssilla, jossa yleisö lukee samalla kun kuuntelee; ääniavustajaan, jonka on ymmärrettävä käyttäjä puhumisen aikana vastatakseen ilman kiusallisia taukoja; saneluun, jossa puhe muuttuu tekstiksi puhujan silmien edessä; ja lopuksi konferenssilitterointiin, kun tekstin on ilmestyttävä puhumisen tahdissa. Kaikkialla muualla offline-tila pysyy rikkaampana ja helpommin toteutettavana.
Seuraavat oppitunnit näyttävät, kuinka kaapata mikrofoni, säätää latenssia ja rakentaa nämä käyttötapaukset alusta loppuun.
Keskeiset asiat
- Voxtral Mini Transcribe Realtime 3 litteroi ääntä suoratoistotilassa säädettävällä viiveellä 80 ms – 1,2 s (tai 2,4 s)
- Vaadittu äänimuoto: 16-bittinen PCM, 16 kHz, mono
- Kaksi tapahtumatyyppiä:
TextDelta(osittainen teksti) jaDone(loppu) - Asenna komennolla
pip install "mistralai[realtime]" - Asynkroninen ohjelmointi vaaditaan (
async/await) - Puhujantunnistus (lukuun ottamatta puheenvuoron päättymisen havaitsemista) ja kontekstin painottaminen käytettävissä reaaliajassa ilman segmenttien aikaleimoja; asetukset lukittuvat ensimmäisen äänipaketin jälkeen
- Reaaliaikamallin sukupolvi 2 on avoin paino Apache 2.0 -lisenssillä itsenäistä käyttöönottoa varten