Strimming f'ħin reali
F'din il-paġna
Kors aġġornat fit-3 ta’ Novembru 2026 għal Voxtral TTS 3, ibbażat fuq il-gwida Migrate from Voxtral 2 u l-paġni Text to Speech ta’ Mistral:
voxtral-mini-tts-2603, deprekat fil-31 ta’ Ottubru 2026 u rtirat fit-30 ta’ April 2027, huwa mibdul fl-eżempji b’voxtral-mini-tts-3-0. Il-vuċijiet predefiniti ta’ Voxtral 2 (gb_jane_neutral…) jibqgħu appoġġjati; Voxtral 3 iżid it-tags[emotion=…]u[pace=…]fit-test, is-settingexpressiveness, il-pronunzja personalizzata (phoneme_hints), u 35 lingwa. Mistral jirrakkomanda li tkejjel mill-ġdid il-latency wara l-migrazzjoni. Sorsi: Migrate from Voxtral 2 · Speech generation.
Għaliex l-istrimming jbiddel kollox
S’issa, ħdimt f’modalità sinkrona: tibgħat it-test, tistenna sakemm is-sintesi tispiċċa kompletament, u mbagħad tirċievi l-fajl awdjo sħiħ. Għal tislima ġġenerata minn qabel il-ġurnata ta’ qabel, dan l-istennija ma jimpurtax. Imma għal assistent bil-vuċi li jwieġeb lil klijent bit-telefon, dan huwa fatali—żewġ sekondi silenzju wara mistoqsija, u l-utent jaħseb li ċ-ċamata qatgħet.
L-istrimming jelimina dan l-istennija. L-awdjo jintbagħat hekk kif jiġi ġġenerat, framment wara l-ieħor, sabiex l-utent jisma’ l-ewwel kliem waqt li l-mudell għadu qed jipproduċi t-tmiem tas-sentenza. Il-ħin totali tal-ġenerazzjoni ma jinbidilx; dak li jisparixxi huwa d-dewmien qabel l-ewwel ħoss.
Il-protokoll tal-avvenimenti
L-istrimming jiddependi fuq Server-Sent Events. Kull messaġġ li tirċievi huwa avveniment ittipjat, u żewġ tipi jikkonċernawk:
speech.audio.delta: fih framment awdjo f’base64. Dan huwa l-avveniment prinċipali li se tittrattaspeech.audio.done: sinjal ta’ tmiem—il-ġenerazzjoni tlestiet
Fuq in-naħa tal-kodiċi, il-bidla għall-istrimming tfisser li żżid stream=True u tikkonsma r-risposta f’blokka with. L-eżempju li ġej jakkumula l-frammenti fil-memorja biex jikteb fajl fl-aħħar: dan għadu mhux f’ħin reali, iżda hija l-istruttura tal-linja li fuqha se tinbena l-bqija tal-lezzjoni.
import base64
from pathlib import Path
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
audio_chunks = []
with client.audio.speech.complete(
model="voxtral-mini-tts-3-0",
input="Streaming makes voice agents responsive and natural.",
voice_id="your-voice-id",
response_format="opus",
stream=True,
) as stream:
for event in stream:
if event.event == "speech.audio.delta":
chunk = base64.b64decode(event.data.audio_data)
audio_chunks.append(chunk)
print(f"Chunk received: {len(chunk)} bytes")
# Assemble all chunks
audio_complet = b"".join(audio_chunks)
Path("streaming-output.opus").write_bytes(audio_complet)
print(f"Final audio: {len(audio_complet)} bytes")
Doqq il-ħoss hekk kif jaslu
Biex tikseb ir-reattività wegħda, waqqaf l-akkumulazzjoni u ikteb kull framment direttament fil-kard tal-ħoss. Ma’ pyaudio, il-bidla tieħu linja waħda: minflok ma żżid il-framment dekodifikat ma’ lista, tibgħatu lejn fluss tal-output miftuħ minn qabel, ikkonfigurat għal mono Float32 f’24,000 Hz.
import base64
import pyaudio
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
# PCM audio configuration (fastest format)
p = pyaudio.PyAudio()
stream_audio = p.open(
format=pyaudio.paFloat32,
channels=1,
rate=24000,
output=True,
)
with client.audio.speech.complete(
model="voxtral-mini-tts-3-0",
input="You're hearing this sentence while I generate it.",
voice_id="your-voice-id",
response_format="pcm",
stream=True,
) as stream:
for event in stream:
if event.event == "speech.audio.delta":
audio_data = base64.b64decode(event.data.audio_data)
stream_audio.write(audio_data)
stream_audio.stop_stream()
stream_audio.close()
p.terminate()
Il-format mitlub inbidel minn opus għal pcm, u dan huwa importanti. PCM ma jeħtieġ l-ebda dekodifikazzjoni: il-bytes li jaslu huma lesti biex jindaqqu immedjatament, u jagħmluh il-format rakkomandat għall-użu f’ħin reali.
Għaddi l-istrimming lejn browser
F’applikazzjoni web, is-server ma jdoqqx il-ħoss: huwa jgħaddih. Il-mudell klassiku juża WebSocket li jirċievi t-test mill-browser, jiftaħ l-istrimming ta’ Voxtral, u jimbotta kull framment dekodifikat lura lejn il-klijent. Fuq in-naħa tal-browser, il-Web Audio API tieħu ħsiebha biex tdoqq il-frammenti PCM li jaslu.
# Server side (FastAPI example)
from fastapi import FastAPI, WebSocket
import base64
from mistralai.client import Mistral
app = FastAPI()
client = Mistral(api_key="your-api-key")
@app.websocket("/ws/tts")
async def tts_websocket(websocket: WebSocket):
await websocket.accept()
texte = await websocket.receive_text()
with client.audio.speech.complete(
model="voxtral-mini-tts-3-0",
input=texte,
voice_id="your-voice-id",
response_format="pcm",
stream=True,
) as stream:
for event in stream:
if event.event == "speech.audio.delta":
await websocket.send_bytes(
base64.b64decode(event.data.audio_data)
)
await websocket.close()
Is-setting li jagħmel id-differenza: il-buffer
Id-daqsijiet tal-frammenti jvarjaw u tipikament jirrappreżentaw ftit millisekondi ta’ awdjo kull wieħed. Jekk tdoqq l-ewwel framment hekk kif jasal, kwalunkwe irregolarità fin-netwerk tikkawża qtugħ mikro udibbli—għaksa fil-vuċi li minnufih tiżvela l-magna. Is-soluzzjoni hija li tibbufferja żewġ jew tliet frammenti qabel ma tibda d-doqq, bi spiża ta’ ftit għexieren ta’ millisekondi u li tixxotta l-bqija tal-istrimming.
Imbagħad hemm il-għażla tal-format, li tqabbel il-latency mal-bandwidth. PCM iwassal l-ewwel ħoss l-aktar malajr—madwar 0.7 sekondi f’kejl magħmul ma’ Voxtral 2, li għandu jerġa’ jsir ma’ Voxtral TTS 3—bl-ispiża ta’ throughput għoli. Opus jitlif ftit fil-latency iżda jikkumpressa ħafna, u jagħmluha l-kompromess it-tajjeb meta l-utenti tiegħek ikunu fuq mobbli.
Punti Ewlenin
- L-istrimming jibgħat l-awdjo biċċa biċċa waqt il-ġenerazzjoni
- Attivah b’
stream=Truefis-sejħaaudio.speech.complete() - L-avvenimenti
speech.audio.deltafihom frammenti awdjo f’base64 - Il-format PCM joffri l-inqas latency għall-istrimming (~0.7s vs ~2s għal MP3)
- Għad-doqq f’ħin reali, uża
pyaudiojew WebSockets + Web Audio API