Léim go dtí an príomhábhar
Gaeilge— Roghnaigh teanga
Roghchlár

Optimú an Mhoille

Ceacht 13 as 14 Nuashonraithe 3 Samhain 2026 Forbróir
Ar an leathanach seo
  1. Moill: Namhaid an Chomhrá Nádúrtha
  2. Anatamaíocht na Moille Iomláine
  3. Sruthú vs. Baisc: Na Huimhreacha
  4. Trí Ghiarála Taobh an Fhreastalaí
  5. Dhá Ghiarála Taobh an Chliaint
  6. Tomhas Roimh Optamú
  7. Príomhphointí

An cúrsa nuashonraithe an 3 Samhain 2026 do Voxtral TTS 3, bunaithe ar an treoir Migrate from Voxtral 2 agus ar leathanaigh Text to Speech ó Mistral: tá voxtral-mini-tts-2603, a d’éag an 31 Deireadh Fómhair 2026 agus a scorfar an 30 Aibreán 2027, curtha in ionad ag voxtral-mini-tts-3-0 sna samplaí. Tá guthanna réamhshocraithe Voxtral 2 (gb_jane_neutral…) fós tacaithe; cuireann Voxtral 3 clibeanna [emotion=…] agus [pace=…] sa téacs, an socru expressiveness, fuaimniú saincheaptha (phoneme_hints), agus 35 teanga leis. Molann Mistral an mhoill a aththomhas tar éis na himirce. Foinse: Migrate from Voxtral 2(https://docs.mistral.ai/studio/audio/migrate-from-voxtral-2) · Speech generation.

Moill: Namhaid an Chomhrá Nádúrtha

I gcomhrá daonna, bíonn an t-am freagartha meánach timpeall ar 200 milleasoicind. Thar 500 ms, braithfidh an comhráite moill; thar soicind amháin, ceapfaidh sé nár chuala tú é agus déanfaidh sé an cheist a athrá. Chun go mbeidh cúntóir gutha nádúrtha, ní mór don am idir deireadh na ceiste agus tús na freagra fanacht faoi shoicind amháin.

Tá moill mhóidil thart ar 90 ms á fógra ag Voxtral, agus is ansin a théann go leor foirne amú: ní dhéanann an figiúr sin cur síos ach ar nasc amháin i slabhra i bhfad níos faide. Is é suim gach nasc an rud a mhothaíonn an t-úsáideoir. Dá bhrí sin, teastaíonn eolas ar chostas gach comhpháirte chun optamú a dhéanamh.

Anatamaíocht na Moille Iomláine

Tosaíonn an turas leis an líonra amach: an t-am a thógann sé do d’iarratas a bhealachú go freastalaithe Mistral. Braitheann sé seo ar do shuíomh agus ar cháilíocht do cheangail; ón Eoraip, bí súil le 20 go 80 ms. Ansin tagann moill an mhóidil, na 90 ms cáiliúla sin próiseála roimh an gcéad blúire fuaime—an t-aon chuid nach bhfuil smacht agat air, ós rud é gur leis an mbonneagar Mistral atá sé.

Is é an chéad chéim eile ná ionchódú, agus is ansin atá na hairíonna is measa i bhfolach. Ní chosnaíonn PCM aon rud, nó beagnach aon rud, toisc nach bhfuil aon rud le hionchódú. Cuireann Opus 5 go 10 ms leis, rud atá fós neamhbhríoch. Éilíonn MP3, áfach, 200 go 500 ms: caithfidh a chódóir dóthain sonraí a charnadh sular féidir leis an gcéad fráma a tháirgeadh. I bhfocail eile, cuireann forbróir a fhágann response_format="mp3" de thoradh cleachtais níos mó moille air féin ná mar a dhéanann an múnla iomlán.

Ar deireadh, ní chuireann an líonra fillte mórán leis i sruthú toisc go bhfuil na blúirí beag. Is é an bufer taobh an chliaint an rud atá fágtha: carnann d’iarratas de ghnáth dhá nó trí blúire sula dtosaíonn sé ar sheinm chun micreathitime a sheachaint. Cuir 50 go 150 ms leis – costas d’aon ghno a cheannaíonn réidhacht.

Sruthú vs. Baisc: Na Huimhreacha

MéadrachtBaisc (gan sruthú)PCM SruthaitheMP3 Sruthaithe
An chéad fhuaim1-3 soicind~0.7 soicind~2 shoicind
Moill mhothaitheArdAn-ísealMeánach
BandaleitheadBuaic aonairDáilteDáilte

Taifeadadh na hordú méide seo le Voxtral 2. Fógraíonn Mistral thart ar 90 ms roimh an gcéad fhuaim do Voxtral TTS 3 ar thaobh an mhóidil, agus molann sé an mhoill a aththomhas ó d’iarratas tar éis na himirce: déan na tomhais seo arís le do líonra féin agus le do fhormáid féin.

Laghdaíonn an t-aistriú ó bhaisc go sruthú PCM an mhoill mhothaithe faoi fhachtóir trí nó ceathair. Ní bheidh aon optamú eile sa cheacht seo chomh héifeachtach leis seo: is é seo an chéad rud le hathrú, fiú sula ndéanann tú tomhas.

Trí Ghiarála Taobh an Fhreastalaí

Is é an chéad ghiarála ná an fhormáid. D’aon iarratas comhrá, is é PCM sruthaithe an socru tagartha, agus tarlaíonn an t-aistriú gan do loighic a athscríobh.

with client.audio.speech.complete(
    model="voxtral-mini-tts-3-0",
    input=text,
    voice_id=voice_id,
    response_format="pcm",  # An mhoill is ísle
    stream=True,
) as stream:
    for event in stream:
        if event.event == "speech.audio.delta":
            play_audio(base64.b64decode(event.data.audio_data))

Tá an dara giarála sa rogha idir guth sábháilte agus clónáil ar an toirt. Ainmníonn voice_id guth a próiseáladh cheana ar an bhfreastalaí, ach éigníonn ref_audio an sampla a athphróiseáil ar gach iarratas. Do ghníomhaire a fhreagraíonn céad uair in aghaidh na huaire leis an nguth céanna, sábhálann an mionsonra seo 50 go 100 ms in aghaidh gach casadh cainte.

Is é an tríú giarála ná an méid a iarrann tú a ghiorrú. Dá ghiorra an téacs, is ea is tapúla a thagann an chéad blúire: ciallaíonn freagra cúig shentence a ghiniúint i mbloc amháin ná an t-úsáideoir a choinneáil ag fanacht le hábhar nach gcloisfidh sé ar feadh cúig shoicind déag eile. Roinneann an gineadóir seo an freagra de réir abairt agus táirgeann sé fuaim don chéad cheann agus na cinn eile ag fanacht.

def generate_by_sentence(full_text, voice_id):
    """Gin fuaim abairt ar abairt chun an mhoill a íoslaghdú."""
    sentences = full_text.split(". ")

    for sentence in sentences:
        sentence = sentence.strip()
        if not sentence:
            continue
        if not sentence.endswith("."):
            sentence += "."

        with client.audio.speech.complete(
            model="voxtral-mini-tts-3-0",
            input=sentence,
            voice_id=voice_id,
            response_format="pcm",
            stream=True,
        ) as stream:
            for event in stream:
                if event.event == "speech.audio.delta":
                    yield base64.b64decode(event.data.audio_data)

Dhá Ghiarála Taobh an Chliaint

Is comhréiteach míshuite i gcónaí é bufer seasta: ró-bheag, agus ligfidh sé do mhicreathitime teacht tríd ar líonra lódáilte; ró-mhór, agus cuirfidh sé moill nach gá leis ar cheangal maith. Tosaíonn an rang thíos ar sheinm chomh luath agus atá dhá blúire ar fáil, ansin ligeann sé do na cinn ina dhiaidh sin dul tríd de réir mar a thagann siad, gan riamh níos mó ná cúig a charnadh.

class AdaptiveBuffer:
    def __init__(self):
        self.buffer = []
        self.min_threshold = 2   # Íosmhéid blúirí roimh sheinm
        self.max_threshold = 5   # Ná carn níos mó ná seo
        self.playback_started = False

    def add_chunk(self, chunk):
        self.buffer.append(chunk)

        if not self.playback_started:
            if len(self.buffer) >= self.min_threshold:
                self.playback_started = True
                return self.empty_buffer()
        else:
            return chunk
        return None

    def empty_buffer(self):
        data = b"".join(self.buffer)
        self.buffer = []
        return data

Ní chosnaíonn an dara giarála ach cúpla líne: seol iarratas tástála nuair a thosaíonn d’iarratas. Bunaíonn sé seo an ceangal TCP agus an lámhchruth TLS uair amháin agus go deo, agus ligeann HTTP keep-alive do gach iarratas ina dhiaidh sin tairbhe a bhaint as an mbunús seo. Gan an téamh seo, íocann do chéad úsáideoir den lá an praghas.

Tomhas Roimh Optamú

Ní mór na meastacháin seo go léir a bhailíochtú i do shocrú iarbhír. Is é an tomhas íosta ná uainiú an mhoill go dtí go bhfaightear an chéad blúire, ansin an lúb a scor: is é an figiúr seo, seachas an fad iomlán, a fhreagraíonn don rud a mhothaíonn an t-úsáideoir.

import time

t0 = time.perf_counter()

with client.audio.speech.complete(
    model="voxtral-mini-tts-3-0",
    input="Latency test.",
    voice_id=voice_id,
    response_format="pcm",
    stream=True,
) as stream:
    for event in stream:
        if event.event == "speech.audio.delta":
            t1 = time.perf_counter()
            print(f"First chunk received in {(t1 - t0)*1000:.0f} ms")
            break

Rith an tomhas seo ó do fhreastalaí táirgeachta, ní ó do stáisiún oibre: is minic go leor go mbíonn an difríocht líonra sách mór chun an bhearna idir taispeántas przekta agus imlonnú díomách a mhíniú.

Príomhphointí

  • Áirítear leis an mhoill iomlán an líonra, an múnla (~90 ms), an t-ionchódú, agus bufer an chliaint
  • Tairgeann an fhormáid PCM an mhoill is ísle toisc nach bhfuil aon ionchódú ann
  • Laghdaíonn sruthú an mhoill mhothaithe faoi fhachtóir 3 go 4 i gcomparáid le baisc
  • Úsáid voice_id seachas ref_audio chun 50-100 ms a shábháil
  • Gin abairt ar abairt chun an t-am go dtí an chéad fhuaim a íoslaghdú