Léim go dtí an príomhábhar
Gaeilge— Roghnaigh teanga
Roghchlár

Sruthú fíor-ama

Ceacht 10 as 14 Nuashonraithe 3 Samhain 2026 Forbróir
Ar an leathanach seo
  1. Cén fáth a n-athraíonn sruthú gach rud
  2. An prótacal imeachta
  3. Fuaim a sheinm de réir mar a thagann sí
  4. An sruth a athsheoladh chuig brabhsálaí
  5. An socruithe a dhéanann an difríocht: an maolán
  6. Príomhphointí

Nuashonraíodh an cúrsa an 3 Samhain 2026 do Voxtral TTS 3, bunaithe ar an treoir Migrate from Voxtral 2 agus ar leathanaigh Text to Speech ó Mistral: tá voxtral-mini-tts-2603, a d’éag an 31 Deireadh Fómhair 2026 agus a scorfar an 30 Aibreán 2027, curtha in ionad ag voxtral-mini-tts-3-0 sna samplaí. Fanann guthanna réamhshocraithe Voxtral 2 (gb_jane_neutral…) ar fáil; cuireann Voxtral 3 clibeanna [emotion=…] agus [pace=…] sa téacs, an socruithe expressiveness, fuaimniú saincheaptha (phoneme_hints), agus 35 teanga leis. Molann Mistral moill a ath-thomhas tar éis na himirce. Foincí: Migrate from Voxtral 2(https://docs.mistral.ai/studio/audio/migrate-from-voxtral-2) · Speech generation.

Cén fáth a n-athraíonn sruthú gach rud

Go dtí seo, d’oibrigh tú i mód comhtháthach: seolann tú an téacs, fanann tú go mbeidh an sintéis críochnaithe go hiomlán, agus ansin faigheann tú an comhad fuaide iomlán. Do bheannacht a cruthaíodh an lá roimhe ré, ní chiallaíonn an fanacht seo mórán. Do chúntóir gutha atá ag freagairt do chustaiméir ar an nguthán, áfach, is bac mór é—dhá shoicind ciúnais tar éis ceiste, agus ceapfaidh an t-úsáideoir gur briseadh an glao.

Cuireann sruthú deireadh leis an bhfanacht seo. Seoltar an fhuaim de réir mar a ghintear í, blúire ar bhlúire, ionas go gcloiseann an t-úsáideoir na chéad fhocail agus an tsamhail fós ag táirgeadh dheireadh na habairte. Ní athraíonn an t-am giniúna iomlán; is é an mhoill roimh an gcéad fhuaim a thiteann as a chéile.

An prótacal imeachta

Braitheann an sruth ar Imeachtaí Seirbhíse-Seolta (Server-Sent Events). Is imeacht de chineál ar leith gach teachtaireacht a fhaightear, agus tá dhá chineál a bhaineann leatsa:

  • speech.audio.delta: tá blúire fuaide i mbonn64 ann. Seo an príomhimeacht a láimhseálfaidh tú
  • speech.audio.done: comhartha deiridh—tá an ghiniúint críochnaithe

Ar thaobh an chóid, ciallaíonn aistriú chuig sruthú stream=True a chur leis agus an freagra a ídiú i mbloc with. Carnann an sampla seo a leanas blúirí sa chuimhne chun comhad a scríobh ag an deireadh: ní sruthú fíor-ama é seo fós, ach is é seo struchtúr an lúib ar a dtógfar an chuid eile den cheacht.

import base64
from pathlib import Path
from mistralai.client import Mistral

client = Mistral(api_key="your-api-key")

audio_chunks = []

with client.audio.speech.complete(
    model="voxtral-mini-tts-3-0",
    input="Streaming makes voice agents responsive and natural.",
    voice_id="your-voice-id",
    response_format="opus",
    stream=True,
) as stream:
    for event in stream:
        if event.event == "speech.audio.delta":
            chunk = base64.b64decode(event.data.audio_data)
            audio_chunks.append(chunk)
            print(f"Chunk received: {len(chunk)} bytes")

# Assemble all chunks
audio_complet = b"".join(audio_chunks)
Path("streaming-output.opus").write_bytes(audio_complet)
print(f"Final audio: {len(audio_complet)} bytes")

Fuaim a sheinm de réir mar a thagann sí

Chun an fhreagrúlacht gheallta a fháil, stop an carnadh agus scríobh gach blúire go díreach chuig an gcárta fuaime. Le pyaudio, ní ghlacann an t-athrú ach líne amháin: in ionad an blúire díchódaithe a chur le liosta, seolann tú é chuig sruth aschuir a osclaíodh roimh ré, cumraithe do Mono Float32 ag 24,000 Hz.

import base64
import pyaudio
from mistralai.client import Mistral

client = Mistral(api_key="your-api-key")

# PCM audio configuration (fastest format)
p = pyaudio.PyAudio()
stream_audio = p.open(
    format=pyaudio.paFloat32,
    channels=1,
    rate=24000,
    output=True,
)

with client.audio.speech.complete(
    model="voxtral-mini-tts-3-0",
    input="You're hearing this sentence while I generate it.",
    voice_id="your-voice-id",
    response_format="pcm",
    stream=True,
) as stream:
    for event in stream:
        if event.event == "speech.audio.delta":
            audio_data = base64.b64decode(event.data.audio_data)
            stream_audio.write(audio_data)

stream_audio.stop_stream()
stream_audio.close()
p.terminate()

D’athraigh an formáid a iarradh ó opus go pcm, agus tá tábhacht leis sin. Ní gá díchódú le PCM: tá na bearta a fhaightear réidh le seinm láithreach, rud a fhágann gurb é an fhoirmát molta le haghaidh úsáide fíor-ama.

An sruth a athsheoladh chuig brabhsálaí

I bhfeidhmchlár gréasáin, ní sheinneann an freastalaí fuaim: athsheolann sé í. Úsáideann an patrún clasaiceach WebSocket a fhaigheann téacs ón mbrabhsálaí, a osclaíonn sruth Voxtral, agus a bhrúnn gach blúire díchódaithe ar ais chuig an gcliant. Ar thaobh an bhrabhsálaí, glacann an Web Audio API seilbh chun blúirí PCM a fhaightear a sheinm.

# Server side (FastAPI example)
from fastapi import FastAPI, WebSocket
import base64
from mistralai.client import Mistral

app = FastAPI()
client = Mistral(api_key="your-api-key")

@app.websocket("/ws/tts")
async def tts_websocket(websocket: WebSocket):
    await websocket.accept()
    texte = await websocket.receive_text()

    with client.audio.speech.complete(
        model="voxtral-mini-tts-3-0",
        input=texte,
        voice_id="your-voice-id",
        response_format="pcm",
        stream=True,
    ) as stream:
        for event in stream:
            if event.event == "speech.audio.delta":
                await websocket.send_bytes(
                    base64.b64decode(event.data.audio_data)
                )

    await websocket.close()

An socruithe a dhéanann an difríocht: an maolán

Athraíonn méideanna na mblúirí agus is gnách go léiríonn siad cúpla milleasoicind fuaide in aghaidh an blúire. Má sheinneann tú an chéad bhlúire an nóiméad a thagann sé, is cúis le titim mhicreafhuaim inchloiste aon neamhrialtacht líonra—bac i nguth a nochtann an meaisín láithreach. Is é an réiteach ná maolán a dhéanamh de dhá nó trí bhlúire sula dtosaíonn tú an seinm, rud a chosnaíonn cúpla deich míleasoicind agus a réidhíonn an chuid eile den sruth.

Ansin tá rogha na formáide, a mhalartaíonn moill i gcoinne bandaleithid. Soláthraíonn PCM an chéad fhuaim is tapúla—thart ar 0.7 soicind i dtomhais a rinneadh le Voxtral 2, le déanamh arís le Voxtral TTS 3—ar chostas aschuir ard. Cailleann Opus beagán ar mhoill ach comhbhrúnn sé go mór, rud a fhágann gurb é an comhréir cheart é nuair a bhíonn do chuid úsáideoirí ar ghutháin phóca.

Príomhphointí

  • Seolann sruthú fuaime blúire ar bhlúire le linn na giniúna
  • Cumasaigh é le stream=True sa ghlaoch audio.speech.complete()
  • Tá blúirí fuaide i mbonn64 in imeachtaí speech.audio.delta
  • Tairgeann formáid PCM an mhoill is ísle le haghaidh sruthaithe (~0.7s i gcomparáid le ~2s do MP3)
  • Le haghaidh seinm fíor-ama, úsáid pyaudio nó WebSockets + Web Audio API