Píblíne Guth Iomlán
Ar an leathanach seo
An cúrsa nuashonraithe an 3 Samhain, 2026 do Voxtral TTS 3, bunaithe ar an treoir
Migrate from Voxtral 2agus ar leathanaigh Text to Speech ó Mistral: távoxtral-mini-tts-2603, a díhógraíodh an 31 Deireadh Fómhair, 2026 agus a scoradh an 30 Aibreán, 2027, curtha in ionad agvoxtral-mini-tts-3-0sna samplaí. Fanann guthanna réamhshocraithe Voxtral 2 (gb_jane_neutral…) faoi thacaíocht; cuireann Voxtral 3 clibeanna[emotion=…]agus[pace=…]sa téacs, an socruitheexpressiveness, fuaimniú saincheaptha (phoneme_hints), agus 35 teanga leis. Molann Mistral moill a ath-thomhas tar éis na himirce. Foinse:Migrate from Voxtral 2(https://docs.mistral.ai/studio/audio/migrate-from-voxtral-2) · Speech generation.
An ceacht ceartaithe an 2 Samhain, 2026 bunaithe ar dhoiciméadú fuaime Mistral: is é
client.audio.transcriptions.completean modh tras-scríofa (seachascreate), leis an gcomhad a ritear mar{"file_name": ..., "content": ...}, agus is évoxtral-mini-transcribe-3an tsamhail reatha. Foinse: Transcribe a file.
Ó Ghuth go Guth: An Phíblíne STT → LLM → TTS
Tá a fhios agat conas guthanna a chruthú, caint a ghiniúint, agus moill a bhainistiú. Cuireann an ceacht deiridh seo na bloic thógála seo le chéile ina chóras iomlán: labhraíonn an t-úsáideoir, éisteann an meaisín, tuigeann sé, déanann sé réasúnaíocht, agus freagraíonn sé i nguth nádúrtha.
Is éard atá san ailtireacht ná trí nasc. Ar dtús, déanann aitheantas cainte caint a thiontú go téacs; cuireann Mistral a shamhail féin ar fáil, ach oibríonn Whisper ó OpenAI nó réiteach eile chomh maith céanna. Téann an téacs seo ansin go dtí samhail mhór teanga (LLM), a léirmhíníonn an t-iarratas agus a dhréachtaíonn freagra—Mistral Large 3, Claude, GPT-5.6, nó Llama; ní dhéanann an phíblíne aon toimhdí faoin soláthraí. Ar deireadh, filleann an freagra ar Voxtral TTS, a thugann é mar chaint a sheoltar trí shruthú.
Phíblíne Fheidhmiúil
Cuireann an cód thíos na trí chéim le chéile. Tá gach ceann leithlisithe ina fheidhm féin, rud a ligeann duit an tsamhail STT nó LLM a mhalartú gan an chuid eile a theagmháil. Tabhair faoi deara go gcuirtear stair an chomhrá isteach i generer_reponse() agus déantar í a shaibhriú ann: is é seo a thugann comhleanúnachas do mhalartuithe leantacha.
import base64
from pathlib import Path
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
# Configuration
VOICE_ID = "your-voice-id"
LLM_MODEL = "mistral-large-latest"
TTS_MODEL = "voxtral-mini-tts-3-0"
def transcribe_audio(audio_path: str) -> str:
"""Step 1: Convert audio to text (STT)."""
path = Path(audio_path)
with path.open("rb") as audio:
response = client.audio.transcriptions.complete(
model="voxtral-mini-transcribe-3",
file={"file_name": path.name, "content": audio},
)
return response.text
def generate_response(question: str, history: list) -> str:
"""Step 2: Generate a response with the LLM."""
history.append({"role": "user", "content": question})
response = client.chat.complete(
model=LLM_MODEL,
messages=history,
)
answer = response.choices[0].message.content
history.append({"role": "assistant", "content": answer})
return answer
def synthesize_speech(output_file: str, fichier_sortie: str):
"""Step 3: Convert text to speech (TTS)."""
audio_chunks = []
with client.audio.speech.complete(
model=TTS_MODEL,
input=output_file,
voice_id=VOICE_ID,
response_format="pcm",
stream=True,
) as stream:
for event in stream:
if event.event == "speech.audio.delta":
audio_chunks.append(
base64.b64decode(event.data.audio_data)
)
Path(fichier_sortie).write_bytes(b"".join(audio_chunks))
def pipeline_vocal(audio_path: str):
"""Complete pipeline: STT → LLM → TTS."""
history = [
{
"role": "system",
"content": (
"You are a professional voice assistant. "
"Respond concisely and naturally, "
"as in an oral conversation."
),
}
]
# Step 1: Transcribe
print("Transcribing...")
question = transcribe_audio(audio_path)
print(f"Question: {question}")
# Step 2: Reason
print("Generating response...")
answer = generate_response(question, history)
print(f"Response: {answer}")
# Step 3: Synthesize
print("Synthesizing speech...")
synthesize_speech(answer, "answer.pcm")
print("Pipeline complete — file answer.pcm generated")
# Run the pipeline
pipeline_vocal("question_utilisateur.wav")
Is fiú focal a rá faoin leid córais: ní gnáthchúram amháin é a iarraidh go sonrach ar fhreagraí gonta, labhartha. Déanann LLM gan srian míreanna struchtúrtha le ceanntásc a tháirgeadh go deonach, rud atá tubaisteach nuair a léitear iad os ard—agus tógann sé níos mó ama fós iad a shintéisiú.
Ná Fan go mbeidh an Réasúnaíocht Críochnaithe
Is seicheamhach an phíblíne roimhe seo: ní thosaíonn an tsintéis go dtí go bhfuil an freagra scríofa go hiomlán ag an LLM. I gcás freagra tríocha focal, cuireann sé seo roinnt soicind ciúnais leis nach féidir leis an úsáideoir a mhíniú. Is é an réiteach ná céimeanna 2 agus 3 a fhorluí: gintear an LLM i sruthú, agus chomh luath agus a bhíonn abairt iomlán ar fáil—is é sin, chomh luath agus a chríochnaíonn comhartha le ponc, comhartha exclamation, nó comhartha ceiste—téann sé go sintéis agus an tsamhail ag dréachtú an chuid eile fós.
def streaming_pipeline(question_text: str):
"""Optimized pipeline: TTS starts as soon as the first
LLM tokens arrive."""
# LLM generates in streaming
partial_response = ""
phrases_to_synthesize = []
llm_stream = client.chat.stream(
model=LLM_MODEL,
messages=[
{"role": "system", "content": "Respond briefly."},
{"role": "user", "content": question_text},
],
)
for chunk in llm_stream:
token = chunk.data.choices[0].delta.content or ""
partial_response += token
# As soon as a complete sentence is available
if token.endswith((".", "!", "?")):
phrases_to_synthesize.append(partial_response)
partial_response = ""
# Synthesize each sentence in streaming
for phrase in phrases_to_synthesize:
with client.audio.speech.complete(
model=TTS_MODEL,
input=phrase,
voice_id=VOICE_ID,
response_format="pcm",
stream=True,
) as stream:
for event in stream:
if event.event == "speech.audio.delta":
yield base64.b64decode(event.data.audio_data)
An Lúb Chomhrá
Ní láimhsíonn fíor-chúntóir ceist aonair: slabhraíonn sé babhtaí cainte agus an snáth á choinneáil aige. Taifeadann an lúb thíos, déanann sí tras-scríobh, seiceálann sí an bhfuil an t-úsáideoir ag iarraidh stopadh, agus ansin freagraíonn sí—ag ath-instealladh an historique céanna ag gach casadh, a fhásann ar fud an mhalartaithe.
def voice_assistant():
"""Complete conversational loop."""
history = [
{
"role": "system",
"content": "You are a concise voice assistant.",
}
]
print("Voice assistant ready. Speak!")
while True:
# Record the question (via microphone)
audio_question = record_microphone(duration=10)
# STT → LLM → TTS pipeline
question = transcribe_audio(audio_question)
if question.lower() in ("stop", "arrête", "au revoir"):
synthesize_speech("Goodbye!", "sortie.pcm")
break
answer = generate_response(question, history)
synthesize_speech(answer, "sortie.pcm")
play_audio("sortie.pcm")
Cad a Scarann an Protaitíopa Seo ón Táirgeadh
Léiríonn an duree=10 sa taifeadadh an bóthar atá romhainn: cuireann moill sheasta ar úsáideoir comhrách deireadh a chur lena chuid cainte, agus déanann sé fanacht deich soicind le duine a fhreagraíonn “tá”. Réitíonn braiteoir gníomhaíochta gutha (VAD) é seo trí dheireadh na cainte a bhrath go hiarbhír. Ansin, ní mór duit cur isteach a láimhseáil, ós rud é go gcuirfidh úsáideoir isteach go héasca ar chúntóir a labhraíonn ró-fhada: caithfidh do chód a bheith in ann sintéis atá ar siúl a stopadh, rud a dhéanann sruthú indéanta ach nach ndéanann an protaitíopa seo.
Tá trí phointe eile ag brath ar imlonnú. Caithfear teorainn a chur le stair an chomhrá, atá i láthair cheana féin anseo, agus í a mharthanú má mhaireann seisiúin. Tá teipshliabhán riachtanach—má theipeann ar STT nó TTS, taispeáin an téacs seachas ciúnas gan mhíniú a fhágáil. Ar deireadh, déan gach céim a ionstraimiú sa táirgeadh: is é sin an t-aon bhealach chun a fháil amach an dtagann an soicind breise sin ón tras-scríobh, ón LLM, nó ón tsintéis.
Na Chéad Chéimeanna Eile
Tá gach rud atá uait agat anois chun leas a bhaint as Voxtral TTS i do chuid tionscadal. Osclaíonn roinnt treo de réir do chuid srianta: óstáil Voxtral go háitiúil má tá moill nó rialú sonraí ríthábhachtach, comhtháthaigh é i bhfráma oibre atá ann cheana féin cosúil le LangChain, LlamaIndex, nó Haystack, nó tóg feidhmchlár gréasáin iomlán le WebRTC le haghaidh fuaime déthreoch. Is féidir leat iniúchadh a dhéanamh freisin ar shamhlacha ilmhóideacha Mistral, a chumascann téacs, íomhá, agus fuaime, agus teacht isteach i bpobal Mistral ar Discord chun do chuid tógálacha a chur i gcomparáid le cinn daoine eile.
Príomhphointí
- Slabhraíonn cúntóir gutha iomlán trí chéim: STT → LLM → TTS
- Laghdaíonn comhthreomharú céimeanna (TTS a ghiniúint agus an LLM ag leanúint ar aghaidh) an mhoill go mór
- Soláthraíonn formáid PCM i sruthú an freagrúlacht atá ag teastáil le haghaidh comhrá nádúrtha
- Sa táirgeadh, láimhseáil braiteadh deiridh na cainte, cur isteach, agus teipshliabhán téacs
- Comhtháthaíonn Voxtral TTS in aon phíblíne gutha a bhuí leis an SDK Python ó Mistral
Do Chuid Eolais a Thástáil
Sintéis, guth, moill: seiceáil deiridh roimh an bpíblíne iomlán.
1. Cad a cheadaíonn an API Guthanna?
Freagra: Bainistigh na guthanna atá ar fáil agus cruthaigh cinn saincheaptha—déantar sócmhainn chumraithe den ghuth, in-athúsáidte ar fud do ghiniúintí go léir.
2. Cé na rialacha eiticiúla a rialaíonn clónáil gutha?
Freagra: Toiliú sainráite ón duine a clónáladh agus úsáid thrédhearcach, dlisteanach—tá clónáil gutha gan údarú as an áireamh; ní chiallaíonn go bhfuil sé indéanta go teicniúil go bhfuil sé ceadaithe.
3. Conas a rialaíonn tú fuaimniú an téacs?
Freagra: Trí an téacs a ullmhú: litrigh téarmaí débhríoch go fónéiteach, láimhseáil aicreainimh agus uimhreacha, poncaigh le haghaidh rithime—léann an TTS an rud a scríobhann tú.
4. Cé na giaráin a laghdaíonn moill?
Freagra: Sruthú fíor-ama (fuaime á tháirgeadh de réir mar a thagann an téacs), formáidí fuaime oiriúnaithe, agus téacs deighilte—tosaíonn an guth sula gcríochnaíonn an ghiniúint.
5. Cén chuma atá ar phíblíne gutha iomlán?
Freagra: Tras-scríobh úsáideora (Voxtral) → próiseáil samhla → sintéis freagra (TTS), sruthú ó cheann go ceann: lúb cúntóra gutha.
Tá an lúb dúnta: ó ghuth isteach go guth amach—cuireann píblíne dheiridh an chúrsa gach rud a d’fhíoraigh tú díreach le chéile.