Siirry pääsisältöön
Suomi— Valitse kieli
Valikko

Johdatus reaaliaikaiseen litterointiin

Oppitunti 9 / 16 Päivitetty 3. marraskuuta 2026 Kehittäjä
Tällä sivulla
  1. Uusi paradigma: Äänen suoratoisto
  2. Mitä reaaliaikamalli tarjoaa
  3. Asennus
  4. Vaadittu äänimuoto
  5. Kaksi suoratoistotapahtumaa
  6. Ensimmäinen kokonaisesimerkki
  7. Milloin siirtyä reaaliaikaan
  8. Keskeiset asiat

Kurssi päivitetty 3. marraskuuta 2026 Voxtral 3:lle Mistralin Migrate from Voxtral 2 -oppaan pohjalta: Voxtral 2 -mallit (voxtral-mini-2602, voxtral-mini-transcribe-realtime-2602, voxtral-mini-tts-2603, jotka poistettiin käytöstä 31. lokakuuta 2026 ja ajettiin alas 30. huhtikuuta 2027) on korvattu esimerkeissä malleilla voxtral-mini-transcribe-3, voxtral-mini-transcribe-realtime-3 ja voxtral-mini-tts-3-0. Keskeiset muutokset: aikaleimat ovat vain segmenttitasolla (word palauttaa 400-virheen), puhujantunnistus on käytettävissä reaaliajassa, reaaliaikaisten istuntojen asetukset lukittuvat ensimmäisen äänipaketin jälkeen, ja context_bias-syötteet ovat vapaamuotoisia (välilyönnillä erotettuja fraaseja). Lähteet: Migrate from Voxtral 2 · Speech to Text.

Uusi paradigma: Äänen suoratoisto

Tähän asti olet työskennellyt offline-tilassa: lähetät valmiin äänitiedoston, odotat mallin käsittelevän sen ja käytät tulosta sitten. Tämä toimintatapa sopii olemassa oleviin tallenteisiin, kuten arkistoituihin kokouksiin, podcasteihin tai haastatteluihin. Se epäonnistuu, kun ääni saapuu jatkuvana virtana: kukaan ei halua odottaa kahden tunnin konferenssin loppua nähdäkseen ensimmäiset tekstitykset, eikä ääniavustaja, joka ymmärtää kysymyksen vasta pitkän hiljaisuuden jälkeen, tunnu toimivalta.

Voxtral Realtime vastaa tähän tarpeeseen suoratoistoarkkitehtuurilla. Ääni litteroidaan lennossa, sana kerrallaan, ja viive äänen ja tekstin välillä muuttuu säädettäväksi parametriksi, joka voi laskea jopa 200 millisekuntiin. Muutos on yhtä paljon mentaalinen kuin tekninen: et enää ajattele erillisinä pyyntöinä vaan virtoina, ja ohjelmasi on oltava valmis vastaanottamaan tekstiä milloin tahansa.

Mitä reaaliaikamalli tarjoaa

Mallia kutsutaan tunnisteella voxtral-mini-transcribe-realtime-3, ja se eroaa perustavanlaatuisesti offline-vastineestaan. Se vastaanottaa äänipaketteja ja lähettää tekstikatkelmia jatkuvasti odottamatta nauhoituksen päättymistä. Sen latenssia ohjataan parametrilla target_streaming_delay_ms, jota tarkastelet myöhemmin tässä kurssissa yksityiskohtaisesti. Se kattaa 45 kieltä ja murretta, ja kieli voidaan joko kiinnittää tai havaita automaattisesti. Sen edeltäjä, sukupolven 2 malli voxtral-mini-transcribe-realtime-2602 (4 miljardia parametria), on julkaistu avoimena painona Apache 2.0 -lisenssillä Hugging Face Hubissa täysin itsenäistä asennusta varten omille palvelimillesi.

Voxtral 3:n myötä reaaliaikainen suorituskyky on kuromut umpeen eron offline-tilaan. Puhujantunnistus on käytettävissä – vaikka ei samassa istunnossa puheenvuoron päättymisen havaitsemisen kanssa – samoin kuin kontekstin painottaminen ja puheenvuoron päättymisen havaitseminen. Kaksi eroa jäävät voimaan: segmentit sisältävät puhujan tunnisteen mutta eivät ala- tai loppuaikaa, ja kaikki istuntoasetukset (kieli, sanasto, puhujantunnistus, viive) on lähetettävä ennen ensimmäistä äänipakettia, minkä jälkeen ne lukittuvat. Jos käyttötapauksesi vaatii tarkkoja aikaleimoja, tarvitset offline-tilan, mahdollisesti reaaliajan täydennyksenä.

Asennus

Mistral SDK ei lataa suoratoistoriippuvuuksia oletusarvoisesti. Sinun on pyydettävä nimenomaisesti realtime-lisäosa, joka lisää tuen WebSocket-yhteyksille ja asynkroniselle äänenkäsittelylle:

pip install "mistralai[realtime]"

Vaadittu äänimuoto

Toisin kuin offline-tila, joka hyväksyy laajan valikoiman säiliömuotoja, Voxtral Realtime odottaa raakavirtaa yhdessä, ei-neuvoteltavassa muodossa:

  • Koodaus: 16-bittinen etumerkillinen little-endian PCM (pcm_s16le)
  • Näytetaajuus: 16 000 Hz (16 kHz)
  • Kanavat: Mono (1 kanava)

Tämä rajoitus ei ole este: tämä muoto on standardoituin saatavilla oleva, ja kaikki kaappaustyökalut tuottavat sitä natiivisti, olipa kyseessä PyAudio, FFmpeg tai PulseAudio. Ilmoitat sen kerran asiakasohjelmalle, joka käyttää sitä tulkitsemaan lähettämäsi tavut.

from mistralai.client.models import AudioFormat

# Määritä äänimuoto
audio_format = AudioFormat(
    encoding="pcm_s16le",
    sample_rate=16000
)

Kaksi suoratoistotapahtumaa

Kun iteroidaan litteroinnin yli, SDK palauttaa kahden tyyppisiä objekteja. TranscriptionStreamTextDelta emittoituu jokaisesta uudesta litteroidusta fragmentista ja sisältää osittaisen tekstin, jonka voit näyttää välittömästi; tämä on se, mikä päivittää käyttäjän näyttöä. TranscriptionStreamDone saapuu täsmälleen kerran, kun äänivirta päättyy, oli kyseessä sitten tiedoston loppu tai mikrofonin sulkeminen; se signaloi, että mitään ei ole enää tulossa ja että voit konsolidoida tuloksen. Koko logiikkasi mahtuu siis asynkroniseen silmukkaan, joka erottaa nämä kaksi tapausta:

from mistralai.client.models import (
    TranscriptionStreamTextDelta,
    TranscriptionStreamDone
)

async for event in flux_transcription:
    if isinstance(event, TranscriptionStreamTextDelta):
        # Uutta tekstiä saatavilla
        print(event.text, end="", flush=True)
    elif isinstance(event, TranscriptionStreamDone):
        # Litterointi valmis
        print("\n[Valmis]")

Ensimmäinen kokonaisesimerkki

Jotta pääset sisään mekanismiin luottamatta mikrofoniin, yksinkertaisin lähestymistapa on simuloida virtaa tiedostosta, joka on jo muunnettu PCM-muotoon. Funktio lire_fichier_pcm on asynkroninen generaattori: se lukee tiedoston lohkoissa ja luovuttaa niitä yksi kerrallaan, aivan kuten äänikortti tekisi. Loput ohjelmasta ovat sitä, mitä käytät myöhemmin uudelleen ilman muutoksia.

import asyncio
import os
from mistralai.client import Mistral
from mistralai.client.models import (
    AudioFormat,
    TranscriptionStreamTextDelta,
    TranscriptionStreamDone
)

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
audio_format = AudioFormat(encoding="pcm_s16le", sample_rate=16000)

async def lire_fichier_pcm(chemin: str, taille_chunk: int = 32000):
    """Lukee PCM-tiedoston lohkoissa virran simuloimiseksi."""
    with open(chemin, "rb") as f:
        while True:
            chunk = f.read(taille_chunk)
            if not chunk:
                break
            yield chunk

async def main():
    flux_audio = lire_fichier_pcm("audio.pcm")

    async for event in client.audio.realtime.transcribe_stream(
        audio_stream=flux_audio,
        model="voxtral-mini-transcribe-realtime-3",
        audio_format=audio_format,
    ):
        if isinstance(event, TranscriptionStreamTextDelta):
            print(event.text, end="", flush=True)
        elif isinstance(event, TranscriptionStreamDone):
            print("\n\nLitterointi valmis.")

asyncio.run(main())

Jos lähdetiedostosi on MP3, sitä ei voi lähettää sellaisenaan: muunna se ensin FFmpegillä pakottaen mallin vaatimat kolme ominaisuutta.

ffmpeg -i audio.mp3 -f s16le -acodec pcm_s16le -ar 16000 -ac 1 audio.pcm

Milloin siirtyä reaaliaikaan

Valintakriteeri on yksinkertainen: reaaliaika on perusteltu, kun joku odottaa tekstiä äänen tuottamisen aikana. Tämä pätee suoratoistotekstitykseen konferenssissa, webinaarissa tai verkkokurssilla, jossa yleisö lukee samalla kun kuuntelee; ääniavustajaan, jonka on ymmärrettävä käyttäjä puhumisen aikana vastatakseen ilman kiusallisia taukoja; saneluun, jossa puhe muuttuu tekstiksi puhujan silmien edessä; ja lopuksi konferenssilitterointiin, kun tekstin on ilmestyttävä puhumisen tahdissa. Kaikkialla muualla offline-tila pysyy rikkaampana ja helpommin toteutettavana.

Seuraavat oppitunnit näyttävät, kuinka kaapata mikrofoni, säätää latenssia ja rakentaa nämä käyttötapaukset alusta loppuun.

Keskeiset asiat

  • Voxtral Mini Transcribe Realtime 3 litteroi ääntä suoratoistotilassa säädettävällä viiveellä 80 ms – 1,2 s (tai 2,4 s)
  • Vaadittu äänimuoto: 16-bittinen PCM, 16 kHz, mono
  • Kaksi tapahtumatyyppiä: TextDelta (osittainen teksti) ja Done (loppu)
  • Asenna komennolla pip install "mistralai[realtime]"
  • Asynkroninen ohjelmointi vaaditaan (async/await)
  • Puhujantunnistus (lukuun ottamatta puheenvuoron päättymisen havaitsemista) ja kontekstin painottaminen käytettävissä reaaliajassa ilman segmenttien aikaleimoja; asetukset lukittuvat ensimmäisen äänipaketin jälkeen
  • Reaaliaikamallin sukupolvi 2 on avoin paino Apache 2.0 -lisenssillä itsenäistä käyttöönottoa varten