Siirry pääsisältöön
Suomi— Valitse kieli
Valikko

Suoratoisto reaaliajassa

Oppitunti 10 / 14 Päivitetty 3. marraskuuta 2026 Kehittäjä
Tällä sivulla
  1. Miksi suoratoisto muuttaa kaiken
  2. Tapahtumaprotokolla
  3. Äänen toistaminen saapumisen yhteydessä
  4. Suoratoiston välittäminen selaimeen
  5. Ratkaiseva asetus: puskuri
  6. Keskeiset asiat

Kurssi päivitetty 3. marraskuuta 2026 Voxtral TTS 3:lle perustuen Migrate from Voxtral 2 -oppaaseen ja Mistralin Text to Speech -sivuihin: voxtral-mini-tts-2603, joka on vanhentunut 31. lokakuuta 2026 ja poistetaan käytöstä 30. huhtikuuta 2027, on korvattu esimerkeissä mallilla voxtral-mini-tts-3-0. Voxtral 2:n esiasetellut äänet (gb_jane_neutral…) ovat edelleen tuettuja; Voxtral 3 lisää tekstiin [emotion=…]- ja [pace=…]-tagit, expressiveness-asetuksen, mukautetun ääntämyksen (phoneme_hints) sekä tuen 35 kielelle. Mistral suosittelee latenssin uudelleenmittausta siirtymän jälkeen. Lähteet: Migrate from Voxtral 2 · Speech generation.

Miksi suoratoisto muuttaa kaiken

Tähän asti olet työskennellyt synkronisessa tilassa: lähetät tekstin, odotat synteesin valmistuvan kokonaan ja vastaanotat vasta sitten koko äänitiedoston. Edellisenä päivänä luodulle valmiiksi generoidulle tervehdykselle tämä odotus ei haittaa. Puhelimessa asiakasta palvelevalle ääniavustajalle se on kuitenkin kohtalokasta – kaksi sekuntia hiljaisuutta kysymyksen jälkeen saa käyttäjän luulemaan yhteyden katkenneen.

Suoratoisto poistaa tämän odotusajan. Ääni lähetetään sitä mukaa kun se generoituu, pala palalta, joten käyttäjä kuulee ensimmäiset sanat mallin vielä tuottaessa lauseen loppua. Kokonaisgenerointiaika ei muutu; se, mikä romahtaa, on viive ennen ensimmäistä ääntä.

Tapahtumaprotokolla

Suoratoisto perustuu Server-Sent Events -tekniikkaan. Jokainen vastaanotettu viesti on tyypitetty tapahtuma, ja niistä kaksi koskee sinua:

  • speech.audio.delta: sisältää äänipalan base64-muodossa. Tämä on päätapahtuma, jota käsittelet.
  • speech.audio.done: lopetussignaali – generointi on valmis.

Koodin puolella siirtyminen suoratoistoon tarkoittaa parametrin stream=True lisäämistä ja vastauksen kuluttamista with-lohkossa. Seuraava esimerkki kerää palat muistiin kirjoittaakseen tiedoston lopussa: tämä ei ole vielä todellista reaaliaikaa, mutta se on silmukkarakenne, jonka varaan loput tunnista rakentuvat.

import base64
from pathlib import Path
from mistralai.client import Mistral

client = Mistral(api_key="your-api-key")

audio_chunks = []

with client.audio.speech.complete(
    model="voxtral-mini-tts-3-0",
    input="Streaming makes voice agents responsive and natural.",
    voice_id="your-voice-id",
    response_format="opus",
    stream=True,
) as stream:
    for event in stream:
        if event.event == "speech.audio.delta":
            chunk = base64.b64decode(event.data.audio_data)
            audio_chunks.append(chunk)
            print(f"Chunk received: {len(chunk)} bytes")

# Assemble all chunks
audio_complet = b"".join(audio_chunks)
Path("streaming-output.opus").write_bytes(audio_complet)
print(f"Final audio: {len(audio_complet)} bytes")

Äänen toistaminen saapumisen yhteydessä

Saavuttaaksesi luvatun responsiivisuuden, lopeta kasaaminen ja kirjoita jokainen pala suoraan äänikortille. pyaudio-kirjastolla muutos vaatii yhden rivin: decoded-palan lisäämisen sijaan listaan, lähetät sen etukäteen avattuun ulostulovirtaan, joka on määritetty mono Float32-muotoon taajuudella 24 000 Hz.

import base64
import pyaudio
from mistralai.client import Mistral

client = Mistral(api_key="your-api-key")

# PCM audio configuration (fastest format)
p = pyaudio.PyAudio()
stream_audio = p.open(
    format=pyaudio.paFloat32,
    channels=1,
    rate=24000,
    output=True,
)

with client.audio.speech.complete(
    model="voxtral-mini-tts-3-0",
    input="You're hearing this sentence while I generate it.",
    voice_id="your-voice-id",
    response_format="pcm",
    stream=True,
) as stream:
    for event in stream:
        if event.event == "speech.audio.delta":
            audio_data = base64.b64decode(event.data.audio_data)
            stream_audio.write(audio_data)

stream_audio.stop_stream()
stream_audio.close()
p.terminate()

Pyydetty formaatti muuttui opus-muodosta pcm-muotoon, ja sillä on väliä. PCM ei vaadi purkamista: vastaanotetut tavut ovat valmiita toistettavaksi välittömästi, mikä tekee siitä suositellun formaatin reaaliaikaiseen käyttöön.

Suoratoiston välittäminen selaimeen

Web-sovelluksessa palvelin ei toista ääntä itse, vaan välittää sen eteenpäin. Klassinen malli käyttää WebSocket-yhteyttä, joka vastaanottaa tekstiä selaimelta, avaa Voxtral-suoratoiston ja työntää jokaisen puretun palan takaisin asiakkaalle. Selaimen puolella Web Audio API ottaa vastuun vastaanotettujen PCM-palojen toistamisesta.

# Server side (FastAPI example)
from fastapi import FastAPI, WebSocket
import base64
from mistralai.client import Mistral

app = FastAPI()
client = Mistral(api_key="your-api-key")

@app.websocket("/ws/tts")
async def tts_websocket(websocket: WebSocket):
    await websocket.accept()
    texte = await websocket.receive_text()

    with client.audio.speech.complete(
        model="voxtral-mini-tts-3-0",
        input=texte,
        voice_id="your-voice-id",
        response_format="pcm",
        stream=True,
    ) as stream:
        for event in stream:
            if event.event == "speech.audio.delta":
                await websocket.send_bytes(
                    base64.b64decode(event.data.audio_data)
                )

    await websocket.close()

Ratkaiseva asetus: puskuri

Palakoot vaihtelevat ja edustavat tyypillisesti vain muutamia millisekunteja ääntä kutakin. Jos toistat ensimmäisen palan heti sen saavuttua, mikä tahansa verkon epäsäännöllisyys aiheuttaa kuultavan mikrokatkon – äänessä esiintyvän takeltelun, joka paljastaa koneen välittömästi. Ratkaisu on puskuroida kaksi tai kolme palaa ennen toiston aloittamista. Tämä maksaa muutaman kymmenen millisekuntia, mutta tasoittaa loput suoratoistosta.

Sitten on formaatin valinta, joka punnitsee latenssia kaistanleveyttä vastaan. PCM toimittaa ensimmäisen äänen nopeimmin – noin 0,7 sekunnissa Voxtral 2:lla tehdyissä mittauksissa (nämä tulee tehdä uudelleen Voxtral TTS 3:lla) – mutta vaatii suurta läpimenoa. Opus häviää hieman latenssissa, mutta pakkaa dataa voimakkaasti, mikä tekee siitä oikean kompromissin, kun käyttäjäsi ovat mobiiliverkossa.

Keskeiset asiat

  • Suoratoisto lähettää ääntä paloina generoinnin aikana
  • Ota se käyttöön lisäämällä stream=True kutsuun audio.speech.complete()
  • speech.audio.delta -tapahtumat sisältävät äänipaloja base64-muodossa
  • PCM-formaatti tarjoaa pienimmän latenssin suoratoistolle (~0,7 s vs ~2 s MP3:lle)
  • Käytä reaaliaikaiseen toistoon pyaudio-kirjastoa tai WebSocket-yhteyksiä yhdistettynä Web Audio API:hun