Céimeanna Eile: Thar an Tras-scríobh
Ar an leathanach seo
An cúrsa nuashonraithe an 3 Samhain, 2026 do Voxtral 3, bunaithe ar threoir
Migrate from Voxtral 2ó Mistral: Tá samhlacha Voxtral 2 (voxtral-mini-2602,voxtral-mini-transcribe-realtime-2602,voxtral-mini-tts-2603), a díhógraíodh an 31 Deireadh Fómhair, 2026 agus a scoradh an 30 Aibreán, 2027, curtha in ionad sna samplaí agvoxtral-mini-transcribe-3,voxtral-mini-transcribe-realtime-3, agusvoxtral-mini-tts-3-0. Príomhathruithe: níl stampaí ama ach ar leibhéal na míreanna (tugannwordearráid 400), tá diarú fíor-ama tacaithe, tá socruithe seisiúin fíor-ama glasáilte tar éis an chéad smután fuaime, agus tá ionchuircontext_biassaorchruthach (frásaí le spásanna). Foinse:Migrate from Voxtral 2(https://docs.mistral.ai/studio/audio/migrate-from-voxtral-2) · Speech to Text.
Cad atá foghlamtha agat
Tá an turas tríd an dá mhód tras-scríofa Voxtral críochnaithe agat. Sa mhód as líne, déanann tú comhaid fuaime a thras-scríobh le diarú, stampaí ama, agus claonadh comhthéacs ag baint úsáide as Voxtral Mini Transcribe 3. Sa mhód fíor-ama, déanann tú sruthanna leanúnacha a thras-scríobh le moill inchumraithe trí Voxtral Realtime, gabhann tú ionchur micreafóin, agus baineann tú leas as an bpatrún moille dúbailte. Do gach cumas, tá cód Python iomlán agat anois chomh maith leis an intinn a theastaíonn chun bogadh chuig an táirgeadh.
Ní hé an tras-scríobh ach leath an scéil, áfach. Láimhseáiltear an cosán contrártha freisin ag éiceachóras fuaime Mistral AI, agus is é an dá threo a chur le chéile a chumasaíonn feidhmchláir atá fíor-chomhráiteach.
Voxtral TTS: Guth a thabhairt do Théacs
Is comhpháirtí beacht an tras-scríofa é Voxtral TTS: tiontaíonn sé téacs ina chaint nádúrtha. Tacaíonn sé le macasamhlú gutha gan aon sampla (zero-shot), rud a chiallaíonn gur féidir leis guth a atáirgeadh ó dhá go trí shoicind fuaime amháin gan oiliúint roimh ré. Braitheann sé freisin ar an bprionsabal “guth mar threoir”: leanann an tsamhail intanú, rithim, agus mothúchán an leid ghutha a sholáthraíonn tú, mar sin ní gá duit clibeanna prosóide a chur isteach sa téacs—taispeánann tú an tón atá uait in ionad cur síos a dhéanamh air. Áirítear ar an gcumhdach teangacha Béarla, Fraincis, Spáinnis, Portaingéilis, Iodáilis, Ollainnis, Gearmáinis, Hiondúis, agus Araibis. Oibríonn sé i mód sruthúcháin freisin, le moill samhla thart ar 90 milleasoicind agus am go dtí an chéad fhuaime thart ar 0.8 soicind i PCM, rud a fhágann go bhfuil sé oiriúnach do chomhrá beo.
Go praiticiúil, tugann Voxtral TTS guth do d’fheidhmchláir: cúntóirí fíorúla, tráchtanna uathoibrithe, uirlisí inrochtaineachta, agus dubáil.
An Píblíne Iomlán: STT, LLM, TTS
Nuair a chuirtear na trí chomhpháirt seo le chéile, cruthaíonn siad lúb iomlán. Éiríonn téacs d’fhuaime an úsáideora, déantar an téacs a thuiscint agus a phróiseáil ag samhail teanga, agus éiríonn fuaime arís den fhreagra.
Fuaime Úsáideora → Voxtral STT → Téacs
↓
Mistral LLM (réasúnú)
↓
Freagra Téacs → Voxtral TTS → Freagra Fuaime
Cuireann an cód thíos an píblíne seo i bhfeidhm. Tá an chéad dá chéim eolach: tras-scríobh sruthúcháin ag 300 milleasoicind chun an cheist a ghabháil, agus ansin glaow ar an LLM le leid córais a fhorghníomhaíonn clár cainte. Fanann an tríú céim tráchtáilte, toisc go gcumhdaítear an API sintéise i gcúrsa tiomnaithe; tá an patrún glaotha san áireamh anseo chun a thaispeáint cá bhfuil sé oiriúnach.
import asyncio
import os
from mistralai.client import Mistral
from mistralai.client.models import (
AudioFormat,
TranscriptionStreamTextDelta,
TranscriptionStreamDone
)
async def pipeline_vocal_complet(source_audio_utilisateur):
"""Complete pipeline: listen, understand, respond."""
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
# Step 1: Transcribe user speech (STT)
audio_format = AudioFormat(encoding="pcm_s16le", sample_rate=16000)
question_parts = []
print("Listening...", flush=True)
async for event in client.audio.realtime.transcribe_stream(
audio_stream=source_audio_utilisateur,
model="voxtral-mini-transcribe-realtime-3",
audio_format=audio_format,
target_streaming_delay_ms=300,
):
if isinstance(event, TranscriptionStreamTextDelta):
question_parts.append(event.text)
elif isinstance(event, TranscriptionStreamDone):
break
question = "".join(question_parts).strip()
print(f"Question: {question}")
# Step 2: Generate an intelligent response (LLM)
reponse_llm = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "You are a voice assistant. "
"Respond concisely and naturally, "
"as in a spoken conversation."
},
{"role": "user", "content": question}
]
)
reponse_texte = reponse_llm.choices[0].message.content
print(f"Response: {reponse_texte}")
# Step 3: Synthesize the response into audio (TTS)
# Note: The TTS API will be covered in a dedicated course
# Here is the call pattern:
#
# audio_response = client.audio.speech.complete(
# model="voxtral-mini-tts-3-0",
# input=reponse_texte,
# voice_id="gb_jane_neutral",
# response_format="wav",
# )
# Audio arrives base64-encoded in audio_response.audio_data
#
# Play audio via a player (PyAudio, sounddevice, etc.)
return {
"question": question,
"reponse": reponse_texte
}
Cad a chumasaíonn an Píblíne Seo
Is é an cúntóir gutha fiontair an feidhmchlár is láithrí: tuigeann sé ceisteanna fostaithe agus freagraíonn sé ag baint úsáide as an mbunachar eolais inmheánach. Gabhann tras-scríobh fíor-ama an cheist, déanann an LLM ceist ar bhunachar sonraí veicteoireach trí RAG, agus labhraíonn TTS an freagra amach.
Téann an t-ghníomhaire ionaid glaonna níos faide leis an loighic trí úsáid a bhaint as an dá mhód tras-scríofa ag an am céanna. Le linn an ghlaonna, déanann Voxtral Realtime tras-scríobh ar an gcomhrá beo; déanann Mistral LLM anailís ar rún an chustaiméara; cumdaíonn Voxtral TTS an freagra gutha. Nuair a chríochnaíonn an glao, cruthaíonn pas as líne le diarú achoimre struchtúrtha a léiríonn cé a dúirt cad—go díreach an rud nach féidir le fíor-am a sholáthar.
Déanann an uirlis aistriúcháin gutha slabhrú de thrí shamhail ar shruth amháin: déanann Voxtral STT tras-scríobh ar an gcaint fhoinsí i measc a 50 teanga, aistríonn Mistral LLM, agus léiríonn Voxtral TTS an t-aschur i gceann dá 9 dteanga sprioc. Ar deireadh, tiontaíonn an tráchtanna uathoibrithe ailt, tuarascálacha, nó ríomhphoist ina bhfuaime le haghaidh éisteachta soghluaiste, agus déanann an LLM oiriúnú ar an téacs don seachadadh béil roimh shintéis.
Píblíne Gutha atá Lán-Cheannasach
Is é an buntáiste cinntitheach den éiceachóras seo ná an cumas gach rud a óstáil ar do bhonneagar féin. Scaoiltear Voxtral Realtime mar mheáchain oscailte faoi cheadúnas Apache 2.0 agus imlonnaítear é ar do fhreastalaithe féin. Tá rochtain ar Mistral Large 3 trí chomhpháirtithe scamaill Eorpacha nó ar an láthair (on-premise). Tacaíonn Voxtral TTS le himlonnú príobháideach freisin. I mbeagán focal, is féidir leis an slabhra iomlán—éisteacht, tuiscint, freagairt—oibriú gan aon sonraí do bhonneagar a fhágáil. Do chúram sláinte, cosaint, airgeadas, nó riarachán poiblí, ní áisiúlacht amháin é seo; cinntíonn sé an bhfuil an tionscadal indéanta ar chor ar bith.
Cá dtéann tú as seo amach
Tiomnaíonn doiciméadú oifigiúil Mistral leathanaigh d’fhuaime agus fanann sé mar an tagairt chun nuashonruithe samhlacha agus API a rianú. Óstálann Hugging Face Hub samhlacha Voxtral mar mheáchain oscailte, in éineacht le doiciméadú agus samplaí. Bailíonn fóram Mistral tuarascálacha ón réimse atá minic níos gaire do do shrianta sa saol mór ná taispeántais oifigiúla, agus cumhdaíonn cúrsaí eile ó Corsen Academy an chuid eile den éiceachóras Mistral AI.
Achoimre ar an gCúrsa
Tá a fhios agat anois faoi shamhlacha Voxtral agus a róil faoi seach: Mini Transcribe V2 don mhód as líne, Realtime don sruthú, agus Small don chomhrá fuaime. Tá máistreacht bainte amach agat ar thras-scríobh as líne ina ghnéithe uile—glaotha API, stampaí ama, diarú, claonadh comhthéacs—chomh maith le tras-scríobh fíor-ama lena shruthú, gabháil micreafóin trí PyAudio, rialú moille, agus an patrún moille dúbailte. Tá cásanna úsáide iomlána tógtha agat, ó fhotheidliú agus miontuairiscí cruinnithe go dtí foclóireacht, cúntóirí gutha, agus comhdhálacha, agus tá a fhios agat conas é seo go léir a rith sa táirgeadh. Níl ann ach an guth fillteach chun an lúb comhrá a dhúnadh.
Príomhphointí
- Dúnann Voxtral TTS an lúb: STT (tras-scríobh) ansin LLM (réasúnú) ansin TTS (sintéis)
- Cumasaíonn an píblíne gutha iomlán cúntóirí gutha, gníomhairí ionaid glaonna, agus aistritheoirí
- Tá imlonnú ceannasach indéanta buíochas le samhlacha meáchan oscailte (Apache 2.0)
- Is é an tras-scríobh an bunbhloc tógála d’fheidhmchláir gutha
- Lean do chuid foghlama le cúrsaí atá tiomnaithe do TTS agus do phíblíní gutha casta
Tástáil do Chuid Eolais
As líne, fíor-am, táirgeadh: tras-scríobh ó gach uillinn.
1. As líne nó fíor-am: conas roghnú?
Freagra: As líne do chomhaid atá ann cheana (cruinnithe taifeadta, cartlanna) áit a bhfuil tábhacht leis an chruinneas uasta; fíor-am do chásanna beo (fhotheidliú, cúntóirí gutha) áit a bhfuil tábhacht ríthábhachtach leis an moill.
2. Cad a sholáthraíonn stampaí ama agus diarú?
Freagra: Aimsíonn stampaí ama gach mír in am (fhotheidliú, nascleanúint); aithníonn diarú cé atá ag caint—in éineacht, tiontaíonn siad fuaime ina achoimre inghníomhaithe.
3. Cad é cuspóir an chlaonta comhthéacs?
Freagra: Chun leid a thabhairt don tsamhail faoin stór focal a bhfuiltear ag súil leis (ainmneacha dílse, téarmaí tionscail) chun cruinneas a fheabhsú nuair a theipeann ar thras-scríobh ginearálta.
4. Cad iad na comhábhair do fhíor-am i bPython?
Freagra: Gabháil micreafóin (PyAudio), sruthú chuig an API, agus bainistiú an mhalairt idir moill agus cruinneas—déantar paraiméadair moille a thionlacan bunaithe ar an gcás úsáide.
5. Cad a dhéanann tú monatóireacht air don táirgeadh?
Freagra: Cáilíocht fuaime ionchuir, costais in aghaidh na huaire tras-scríofa, moill ó cheann go ceann, agus earráidí ar stór focal criticiúil—le claonadh agus tástáil mar ghiaráin.
Struchtúraíonn an rogha as líne/fíor-am gach rud eile—tugann treoir an chúrsa an creat duit, tiomáineann do chásanna úsáide an cinneadh.