Léim go dtí an príomhábhar
Gaeilge— Roghnaigh teanga
Roghchlár

Píblíne Guth Iomlán

Ceacht 14 as 14 Nuashonraithe 3 Samhain 2026 Forbróir
Ar an leathanach seo
  1. Ó Ghuth go Guth: An Phíblíne STT → LLM → TTS
  2. Phíblíne Fheidhmiúil
  3. Ná Fan go mbeidh an Réasúnaíocht Críochnaithe
  4. An Lúb Chomhrá
  5. Cad a Scarann an Protaitíopa Seo ón Táirgeadh
  6. Na Chéad Chéimeanna Eile
  7. Príomhphointí
  8. Do Chuid Eolais a Thástáil

An cúrsa nuashonraithe an 3 Samhain, 2026 do Voxtral TTS 3, bunaithe ar an treoir Migrate from Voxtral 2 agus ar leathanaigh Text to Speech ó Mistral: tá voxtral-mini-tts-2603, a díhógraíodh an 31 Deireadh Fómhair, 2026 agus a scoradh an 30 Aibreán, 2027, curtha in ionad ag voxtral-mini-tts-3-0 sna samplaí. Fanann guthanna réamhshocraithe Voxtral 2 (gb_jane_neutral…) faoi thacaíocht; cuireann Voxtral 3 clibeanna [emotion=…] agus [pace=…] sa téacs, an socruithe expressiveness, fuaimniú saincheaptha (phoneme_hints), agus 35 teanga leis. Molann Mistral moill a ath-thomhas tar éis na himirce. Foinse: Migrate from Voxtral 2(https://docs.mistral.ai/studio/audio/migrate-from-voxtral-2) · Speech generation.

An ceacht ceartaithe an 2 Samhain, 2026 bunaithe ar dhoiciméadú fuaime Mistral: is é client.audio.transcriptions.complete an modh tras-scríofa (seachas create), leis an gcomhad a ritear mar {"file_name": ..., "content": ...}, agus is é voxtral-mini-transcribe-3 an tsamhail reatha. Foinse: Transcribe a file.

Ó Ghuth go Guth: An Phíblíne STT → LLM → TTS

Tá a fhios agat conas guthanna a chruthú, caint a ghiniúint, agus moill a bhainistiú. Cuireann an ceacht deiridh seo na bloic thógála seo le chéile ina chóras iomlán: labhraíonn an t-úsáideoir, éisteann an meaisín, tuigeann sé, déanann sé réasúnaíocht, agus freagraíonn sé i nguth nádúrtha.

Is éard atá san ailtireacht ná trí nasc. Ar dtús, déanann aitheantas cainte caint a thiontú go téacs; cuireann Mistral a shamhail féin ar fáil, ach oibríonn Whisper ó OpenAI nó réiteach eile chomh maith céanna. Téann an téacs seo ansin go dtí samhail mhór teanga (LLM), a léirmhíníonn an t-iarratas agus a dhréachtaíonn freagra—Mistral Large 3, Claude, GPT-5.6, nó Llama; ní dhéanann an phíblíne aon toimhdí faoin soláthraí. Ar deireadh, filleann an freagra ar Voxtral TTS, a thugann é mar chaint a sheoltar trí shruthú.

Phíblíne Fheidhmiúil

Cuireann an cód thíos na trí chéim le chéile. Tá gach ceann leithlisithe ina fheidhm féin, rud a ligeann duit an tsamhail STT nó LLM a mhalartú gan an chuid eile a theagmháil. Tabhair faoi deara go gcuirtear stair an chomhrá isteach i generer_reponse() agus déantar í a shaibhriú ann: is é seo a thugann comhleanúnachas do mhalartuithe leantacha.

import base64
from pathlib import Path
from mistralai.client import Mistral

client = Mistral(api_key="your-api-key")

# Configuration
VOICE_ID = "your-voice-id"
LLM_MODEL = "mistral-large-latest"
TTS_MODEL = "voxtral-mini-tts-3-0"

def transcribe_audio(audio_path: str) -> str:
    """Step 1: Convert audio to text (STT)."""
    path = Path(audio_path)
    with path.open("rb") as audio:
        response = client.audio.transcriptions.complete(
            model="voxtral-mini-transcribe-3",
            file={"file_name": path.name, "content": audio},
        )
    return response.text

def generate_response(question: str, history: list) -> str:
    """Step 2: Generate a response with the LLM."""
    history.append({"role": "user", "content": question})

    response = client.chat.complete(
        model=LLM_MODEL,
        messages=history,
    )

    answer = response.choices[0].message.content
    history.append({"role": "assistant", "content": answer})
    return answer

def synthesize_speech(output_file: str, fichier_sortie: str):
    """Step 3: Convert text to speech (TTS)."""
    audio_chunks = []

    with client.audio.speech.complete(
        model=TTS_MODEL,
        input=output_file,
        voice_id=VOICE_ID,
        response_format="pcm",
        stream=True,
    ) as stream:
        for event in stream:
            if event.event == "speech.audio.delta":
                audio_chunks.append(
                    base64.b64decode(event.data.audio_data)
                )

    Path(fichier_sortie).write_bytes(b"".join(audio_chunks))

def pipeline_vocal(audio_path: str):
    """Complete pipeline: STT → LLM → TTS."""
    history = [
        {
            "role": "system",
            "content": (
                "You are a professional voice assistant. "
                "Respond concisely and naturally, "
                "as in an oral conversation."
            ),
        }
    ]

    # Step 1: Transcribe
    print("Transcribing...")
    question = transcribe_audio(audio_path)
    print(f"Question: {question}")

    # Step 2: Reason
    print("Generating response...")
    answer = generate_response(question, history)
    print(f"Response: {answer}")

    # Step 3: Synthesize
    print("Synthesizing speech...")
    synthesize_speech(answer, "answer.pcm")
    print("Pipeline complete — file answer.pcm generated")

# Run the pipeline
pipeline_vocal("question_utilisateur.wav")

Is fiú focal a rá faoin leid córais: ní gnáthchúram amháin é a iarraidh go sonrach ar fhreagraí gonta, labhartha. Déanann LLM gan srian míreanna struchtúrtha le ceanntásc a tháirgeadh go deonach, rud atá tubaisteach nuair a léitear iad os ard—agus tógann sé níos mó ama fós iad a shintéisiú.

Ná Fan go mbeidh an Réasúnaíocht Críochnaithe

Is seicheamhach an phíblíne roimhe seo: ní thosaíonn an tsintéis go dtí go bhfuil an freagra scríofa go hiomlán ag an LLM. I gcás freagra tríocha focal, cuireann sé seo roinnt soicind ciúnais leis nach féidir leis an úsáideoir a mhíniú. Is é an réiteach ná céimeanna 2 agus 3 a fhorluí: gintear an LLM i sruthú, agus chomh luath agus a bhíonn abairt iomlán ar fáil—is é sin, chomh luath agus a chríochnaíonn comhartha le ponc, comhartha exclamation, nó comhartha ceiste—téann sé go sintéis agus an tsamhail ag dréachtú an chuid eile fós.

def streaming_pipeline(question_text: str):
    """Optimized pipeline: TTS starts as soon as the first
    LLM tokens arrive."""

    # LLM generates in streaming
    partial_response = ""
    phrases_to_synthesize = []

    llm_stream = client.chat.stream(
        model=LLM_MODEL,
        messages=[
            {"role": "system", "content": "Respond briefly."},
            {"role": "user", "content": question_text},
        ],
    )

    for chunk in llm_stream:
        token = chunk.data.choices[0].delta.content or ""
        partial_response += token

        # As soon as a complete sentence is available
        if token.endswith((".", "!", "?")):
            phrases_to_synthesize.append(partial_response)
            partial_response = ""

    # Synthesize each sentence in streaming
    for phrase in phrases_to_synthesize:
        with client.audio.speech.complete(
            model=TTS_MODEL,
            input=phrase,
            voice_id=VOICE_ID,
            response_format="pcm",
            stream=True,
        ) as stream:
            for event in stream:
                if event.event == "speech.audio.delta":
                    yield base64.b64decode(event.data.audio_data)

An Lúb Chomhrá

Ní láimhsíonn fíor-chúntóir ceist aonair: slabhraíonn sé babhtaí cainte agus an snáth á choinneáil aige. Taifeadann an lúb thíos, déanann sí tras-scríobh, seiceálann sí an bhfuil an t-úsáideoir ag iarraidh stopadh, agus ansin freagraíonn sí—ag ath-instealladh an historique céanna ag gach casadh, a fhásann ar fud an mhalartaithe.

def voice_assistant():
    """Complete conversational loop."""
    history = [
        {
            "role": "system",
            "content": "You are a concise voice assistant.",
        }
    ]

    print("Voice assistant ready. Speak!")

    while True:
        # Record the question (via microphone)
        audio_question = record_microphone(duration=10)

        # STT → LLM → TTS pipeline
        question = transcribe_audio(audio_question)
        if question.lower() in ("stop", "arrête", "au revoir"):
            synthesize_speech("Goodbye!", "sortie.pcm")
            break

        answer = generate_response(question, history)
        synthesize_speech(answer, "sortie.pcm")
        play_audio("sortie.pcm")

Cad a Scarann an Protaitíopa Seo ón Táirgeadh

Léiríonn an duree=10 sa taifeadadh an bóthar atá romhainn: cuireann moill sheasta ar úsáideoir comhrách deireadh a chur lena chuid cainte, agus déanann sé fanacht deich soicind le duine a fhreagraíonn “tá”. Réitíonn braiteoir gníomhaíochta gutha (VAD) é seo trí dheireadh na cainte a bhrath go hiarbhír. Ansin, ní mór duit cur isteach a láimhseáil, ós rud é go gcuirfidh úsáideoir isteach go héasca ar chúntóir a labhraíonn ró-fhada: caithfidh do chód a bheith in ann sintéis atá ar siúl a stopadh, rud a dhéanann sruthú indéanta ach nach ndéanann an protaitíopa seo.

Tá trí phointe eile ag brath ar imlonnú. Caithfear teorainn a chur le stair an chomhrá, atá i láthair cheana féin anseo, agus í a mharthanú má mhaireann seisiúin. Tá teipshliabhán riachtanach—má theipeann ar STT nó TTS, taispeáin an téacs seachas ciúnas gan mhíniú a fhágáil. Ar deireadh, déan gach céim a ionstraimiú sa táirgeadh: is é sin an t-aon bhealach chun a fháil amach an dtagann an soicind breise sin ón tras-scríobh, ón LLM, nó ón tsintéis.

Na Chéad Chéimeanna Eile

Tá gach rud atá uait agat anois chun leas a bhaint as Voxtral TTS i do chuid tionscadal. Osclaíonn roinnt treo de réir do chuid srianta: óstáil Voxtral go háitiúil má tá moill nó rialú sonraí ríthábhachtach, comhtháthaigh é i bhfráma oibre atá ann cheana féin cosúil le LangChain, LlamaIndex, nó Haystack, nó tóg feidhmchlár gréasáin iomlán le WebRTC le haghaidh fuaime déthreoch. Is féidir leat iniúchadh a dhéanamh freisin ar shamhlacha ilmhóideacha Mistral, a chumascann téacs, íomhá, agus fuaime, agus teacht isteach i bpobal Mistral ar Discord chun do chuid tógálacha a chur i gcomparáid le cinn daoine eile.

Príomhphointí

  • Slabhraíonn cúntóir gutha iomlán trí chéim: STT → LLM → TTS
  • Laghdaíonn comhthreomharú céimeanna (TTS a ghiniúint agus an LLM ag leanúint ar aghaidh) an mhoill go mór
  • Soláthraíonn formáid PCM i sruthú an freagrúlacht atá ag teastáil le haghaidh comhrá nádúrtha
  • Sa táirgeadh, láimhseáil braiteadh deiridh na cainte, cur isteach, agus teipshliabhán téacs
  • Comhtháthaíonn Voxtral TTS in aon phíblíne gutha a bhuí leis an SDK Python ó Mistral

Do Chuid Eolais a Thástáil

Sintéis, guth, moill: seiceáil deiridh roimh an bpíblíne iomlán.

1. Cad a cheadaíonn an API Guthanna?

Freagra: Bainistigh na guthanna atá ar fáil agus cruthaigh cinn saincheaptha—déantar sócmhainn chumraithe den ghuth, in-athúsáidte ar fud do ghiniúintí go léir.

2. Cé na rialacha eiticiúla a rialaíonn clónáil gutha?

Freagra: Toiliú sainráite ón duine a clónáladh agus úsáid thrédhearcach, dlisteanach—tá clónáil gutha gan údarú as an áireamh; ní chiallaíonn go bhfuil sé indéanta go teicniúil go bhfuil sé ceadaithe.

3. Conas a rialaíonn tú fuaimniú an téacs?

Freagra: Trí an téacs a ullmhú: litrigh téarmaí débhríoch go fónéiteach, láimhseáil aicreainimh agus uimhreacha, poncaigh le haghaidh rithime—léann an TTS an rud a scríobhann tú.

4. Cé na giaráin a laghdaíonn moill?

Freagra: Sruthú fíor-ama (fuaime á tháirgeadh de réir mar a thagann an téacs), formáidí fuaime oiriúnaithe, agus téacs deighilte—tosaíonn an guth sula gcríochnaíonn an ghiniúint.

5. Cén chuma atá ar phíblíne gutha iomlán?

Freagra: Tras-scríobh úsáideora (Voxtral) → próiseáil samhla → sintéis freagra (TTS), sruthú ó cheann go ceann: lúb cúntóra gutha.

Tá an lúb dúnta: ó ghuth isteach go guth amach—cuireann píblíne dheiridh an chúrsa gach rud a d’fhíoraigh tú díreach le chéile.