Sruthú fíor-ama
Ar an leathanach seo
Nuashonraíodh an cúrsa an 3 Samhain 2026 do Voxtral TTS 3, bunaithe ar an treoir
Migrate from Voxtral 2agus ar leathanaigh Text to Speech ó Mistral: távoxtral-mini-tts-2603, a d’éag an 31 Deireadh Fómhair 2026 agus a scorfar an 30 Aibreán 2027, curtha in ionad agvoxtral-mini-tts-3-0sna samplaí. Fanann guthanna réamhshocraithe Voxtral 2 (gb_jane_neutral…) ar fáil; cuireann Voxtral 3 clibeanna[emotion=…]agus[pace=…]sa téacs, an socruitheexpressiveness, fuaimniú saincheaptha (phoneme_hints), agus 35 teanga leis. Molann Mistral moill a ath-thomhas tar éis na himirce. Foincí:Migrate from Voxtral 2(https://docs.mistral.ai/studio/audio/migrate-from-voxtral-2) · Speech generation.
Cén fáth a n-athraíonn sruthú gach rud
Go dtí seo, d’oibrigh tú i mód comhtháthach: seolann tú an téacs, fanann tú go mbeidh an sintéis críochnaithe go hiomlán, agus ansin faigheann tú an comhad fuaide iomlán. Do bheannacht a cruthaíodh an lá roimhe ré, ní chiallaíonn an fanacht seo mórán. Do chúntóir gutha atá ag freagairt do chustaiméir ar an nguthán, áfach, is bac mór é—dhá shoicind ciúnais tar éis ceiste, agus ceapfaidh an t-úsáideoir gur briseadh an glao.
Cuireann sruthú deireadh leis an bhfanacht seo. Seoltar an fhuaim de réir mar a ghintear í, blúire ar bhlúire, ionas go gcloiseann an t-úsáideoir na chéad fhocail agus an tsamhail fós ag táirgeadh dheireadh na habairte. Ní athraíonn an t-am giniúna iomlán; is é an mhoill roimh an gcéad fhuaim a thiteann as a chéile.
An prótacal imeachta
Braitheann an sruth ar Imeachtaí Seirbhíse-Seolta (Server-Sent Events). Is imeacht de chineál ar leith gach teachtaireacht a fhaightear, agus tá dhá chineál a bhaineann leatsa:
speech.audio.delta: tá blúire fuaide i mbonn64 ann. Seo an príomhimeacht a láimhseálfaidh túspeech.audio.done: comhartha deiridh—tá an ghiniúint críochnaithe
Ar thaobh an chóid, ciallaíonn aistriú chuig sruthú stream=True a chur leis agus an freagra a ídiú i mbloc with. Carnann an sampla seo a leanas blúirí sa chuimhne chun comhad a scríobh ag an deireadh: ní sruthú fíor-ama é seo fós, ach is é seo struchtúr an lúib ar a dtógfar an chuid eile den cheacht.
import base64
from pathlib import Path
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
audio_chunks = []
with client.audio.speech.complete(
model="voxtral-mini-tts-3-0",
input="Streaming makes voice agents responsive and natural.",
voice_id="your-voice-id",
response_format="opus",
stream=True,
) as stream:
for event in stream:
if event.event == "speech.audio.delta":
chunk = base64.b64decode(event.data.audio_data)
audio_chunks.append(chunk)
print(f"Chunk received: {len(chunk)} bytes")
# Assemble all chunks
audio_complet = b"".join(audio_chunks)
Path("streaming-output.opus").write_bytes(audio_complet)
print(f"Final audio: {len(audio_complet)} bytes")
Fuaim a sheinm de réir mar a thagann sí
Chun an fhreagrúlacht gheallta a fháil, stop an carnadh agus scríobh gach blúire go díreach chuig an gcárta fuaime. Le pyaudio, ní ghlacann an t-athrú ach líne amháin: in ionad an blúire díchódaithe a chur le liosta, seolann tú é chuig sruth aschuir a osclaíodh roimh ré, cumraithe do Mono Float32 ag 24,000 Hz.
import base64
import pyaudio
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
# PCM audio configuration (fastest format)
p = pyaudio.PyAudio()
stream_audio = p.open(
format=pyaudio.paFloat32,
channels=1,
rate=24000,
output=True,
)
with client.audio.speech.complete(
model="voxtral-mini-tts-3-0",
input="You're hearing this sentence while I generate it.",
voice_id="your-voice-id",
response_format="pcm",
stream=True,
) as stream:
for event in stream:
if event.event == "speech.audio.delta":
audio_data = base64.b64decode(event.data.audio_data)
stream_audio.write(audio_data)
stream_audio.stop_stream()
stream_audio.close()
p.terminate()
D’athraigh an formáid a iarradh ó opus go pcm, agus tá tábhacht leis sin. Ní gá díchódú le PCM: tá na bearta a fhaightear réidh le seinm láithreach, rud a fhágann gurb é an fhoirmát molta le haghaidh úsáide fíor-ama.
An sruth a athsheoladh chuig brabhsálaí
I bhfeidhmchlár gréasáin, ní sheinneann an freastalaí fuaim: athsheolann sé í. Úsáideann an patrún clasaiceach WebSocket a fhaigheann téacs ón mbrabhsálaí, a osclaíonn sruth Voxtral, agus a bhrúnn gach blúire díchódaithe ar ais chuig an gcliant. Ar thaobh an bhrabhsálaí, glacann an Web Audio API seilbh chun blúirí PCM a fhaightear a sheinm.
# Server side (FastAPI example)
from fastapi import FastAPI, WebSocket
import base64
from mistralai.client import Mistral
app = FastAPI()
client = Mistral(api_key="your-api-key")
@app.websocket("/ws/tts")
async def tts_websocket(websocket: WebSocket):
await websocket.accept()
texte = await websocket.receive_text()
with client.audio.speech.complete(
model="voxtral-mini-tts-3-0",
input=texte,
voice_id="your-voice-id",
response_format="pcm",
stream=True,
) as stream:
for event in stream:
if event.event == "speech.audio.delta":
await websocket.send_bytes(
base64.b64decode(event.data.audio_data)
)
await websocket.close()
An socruithe a dhéanann an difríocht: an maolán
Athraíonn méideanna na mblúirí agus is gnách go léiríonn siad cúpla milleasoicind fuaide in aghaidh an blúire. Má sheinneann tú an chéad bhlúire an nóiméad a thagann sé, is cúis le titim mhicreafhuaim inchloiste aon neamhrialtacht líonra—bac i nguth a nochtann an meaisín láithreach. Is é an réiteach ná maolán a dhéanamh de dhá nó trí bhlúire sula dtosaíonn tú an seinm, rud a chosnaíonn cúpla deich míleasoicind agus a réidhíonn an chuid eile den sruth.
Ansin tá rogha na formáide, a mhalartaíonn moill i gcoinne bandaleithid. Soláthraíonn PCM an chéad fhuaim is tapúla—thart ar 0.7 soicind i dtomhais a rinneadh le Voxtral 2, le déanamh arís le Voxtral TTS 3—ar chostas aschuir ard. Cailleann Opus beagán ar mhoill ach comhbhrúnn sé go mór, rud a fhágann gurb é an comhréir cheart é nuair a bhíonn do chuid úsáideoirí ar ghutháin phóca.
Príomhphointí
- Seolann sruthú fuaime blúire ar bhlúire le linn na giniúna
- Cumasaigh é le
stream=Truesa ghlaochaudio.speech.complete() - Tá blúirí fuaide i mbonn64 in imeachtaí
speech.audio.delta - Tairgeann formáid PCM an mhoill is ísle le haghaidh sruthaithe (~0.7s i gcomparáid le ~2s do MP3)
- Le haghaidh seinm fíor-ama, úsáid
pyaudionó WebSockets + Web Audio API