Pipeline Vokali Sħiħ
F'din il-paġna
Kors aġġornat fit-3 ta’ Novembru 2026 għal Voxtral TTS 3, ibbażat fuq il-gwida Migrate from Voxtral 2 u l-paġni Text to Speech ta’ Mistral:
voxtral-mini-tts-2603, deprekat fil-31 ta’ Ottubru 2026 u rtirat fit-30 ta’ April 2027, huwa mibdul fl-eżempji b’voxtral-mini-tts-3-0. Il-vuċijiet predefiniti ta’ Voxtral 2 (gb_jane_neutral…) jibqgħu appoġġjati; Voxtral 3 iżid it-tags[emotion=…]u[pace=…]fit-test, is-settingexpressiveness, il-pronunzja personalizzata (phoneme_hints), u 35 lingwa. Mistral jirrakkomanda li terġa’ tkejjel il-latency wara l-migrazzjoni. Sorsi: Migrate from Voxtral 2 · Speech generation.
Lezzjoni kkoreġuta fit-2 ta’ Novembru 2026 abbażi tad-dokumentazzjoni tal-awdjo ta’ Mistral: il-metodu tat-traskrizzjoni huwa
client.audio.transcriptions.complete(mhuxcreate), bil-fajl mgħoddi bħala{"file_name": ..., "content": ...}, u l-mudell kurrenti huwavoxtral-mini-transcribe-3. Sors: Transcribe a file.
Mill-Vuċi għall-Vuċi: Il-Pipeline STT → LLM → TTS
Inti taf kif toħloq vuċijiet, tiġġenera kliem, u timmaniġġja l-latency. Din il-lezzjoni finali tgħaqqad dawn il-blokki tal-bini f’sistema sħiħa: l-utent jitkellem, il-magna tisma’, tifhem, tirraġuna, u twieġeb b’vuċi naturali.
L-arkitettura tikkonsisti fi tliet rabtiet. L-ewwel, ir-rikonoxximent tal-kliem jikkonverti l-kliem f’test; Mistral joffri l-mudell tiegħu stess, iżda l-Whisper ta’ OpenAI jew soluzzjoni oħra taħdem daqstant tajjeb. Dan it-test imbagħad jgħaddi lil mudell kbir tal-lingwa (LLM), li jinterpreta t-talba u jabbozza tweġiba—Mistral Large 3, Claude, GPT-5.6, jew Llama; il-pipeline ma tagħmel l-ebda preżunzjoni dwar il-fornitur. Fl-aħħar nett, it-tweġiba terġa’ lura lejn Voxtral TTS, li jirrendiha bħala kliem mibgħut permezz ta’ streaming.
Pipeline Funzjonali
Il-kodiċi hawn taħt iħabbat it-tliet passi flimkien. Kull wieħed huwa iżolat fil-funzjoni tiegħu stess, li jippermettilek tibdel il-mudell STT jew LLM mingħajr ma tmiss il-bqija. Innota li l-istorja tal-konversazzjoni tiġi mgħoddija u arrikkitata minn generer_reponse(): dan huwa dak li jagħti koerenza lill-iskambji suċċessivi.
import base64
from pathlib import Path
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
# Configuration
VOICE_ID = "your-voice-id"
LLM_MODEL = "mistral-large-latest"
TTS_MODEL = "voxtral-mini-tts-3-0"
def transcribe_audio(audio_path: str) -> str:
"""Step 1: Convert audio to text (STT)."""
path = Path(audio_path)
with path.open("rb") as audio:
response = client.audio.transcriptions.complete(
model="voxtral-mini-transcribe-3",
file={"file_name": path.name, "content": audio},
)
return response.text
def generate_response(question: str, history: list) -> str:
"""Step 2: Generate a response with the LLM."""
history.append({"role": "user", "content": question})
response = client.chat.complete(
model=LLM_MODEL,
messages=history,
)
answer = response.choices[0].message.content
history.append({"role": "assistant", "content": answer})
return answer
def synthesize_speech(output_file: str, fichier_sortie: str):
"""Step 3: Convert text to speech (TTS)."""
audio_chunks = []
with client.audio.speech.complete(
model=TTS_MODEL,
input=output_file,
voice_id=VOICE_ID,
response_format="pcm",
stream=True,
) as stream:
for event in stream:
if event.event == "speech.audio.delta":
audio_chunks.append(
base64.b64decode(event.data.audio_data)
)
Path(fichier_sortie).write_bytes(b"".join(audio_chunks))
def pipeline_vocal(audio_path: str):
"""Complete pipeline: STT → LLM → TTS."""
history = [
{
"role": "system",
"content": (
"You are a professional voice assistant. "
"Respond concisely and naturally, "
"as in an oral conversation."
),
}
]
# Step 1: Transcribe
print("Transcribing...")
question = transcribe_audio(audio_path)
print(f"Question: {question}")
# Step 2: Reason
print("Generating response...")
answer = generate_response(question, history)
print(f"Response: {answer}")
# Step 3: Synthesize
print("Synthesizing speech...")
synthesize_speech(answer, "answer.pcm")
print("Pipeline complete — file answer.pcm generated")
# Run the pipeline
pipeline_vocal("question_utilisateur.wav")
Il-prompt tas-sistema jistħoqqilu kelma: it-talba espliċita għal tweġibiet konċiżi u mitkellma mhix sempliċiment ġentilezza. LLM mingħajr restrizzjonijiet volontarjament jipproduċi paragrafi strutturati b’intestaturi, li huma diżastrużi meta jinqraw bil-vuċi—u jieħdu aktar żmien biex jiġu sintetizzati.
Ieqaf Tistenna Sakemm Tirraġuna Tintemm
Il-pipeline preċedenti hija sekwenzjali: is-sintesi ma tibdiex sakemm l-LLM ikun kiteb it-tweġiba kollha kemm hi. Għal tweġiba ta’ tletin kelma, dan iżid diversi sekondi ta’ silenzju li l-utent ma jistax jispjega. Is-soluzzjoni hija li tħallat il-passi 2 u 3: l-LLM jiġġenera f’streaming, u hekk kif tkun disponibbli sentenza sħiħa—jiġifieri, hekk kif token jispiċċa b’punt, punt esklamattiv, jew mistoqsija—din tgħaddi għas-sintesi waqt li l-mudell ikompli jabbozza l-bqija.
def streaming_pipeline(question_text: str):
"""Optimized pipeline: TTS starts as soon as the first
LLM tokens arrive."""
# LLM generates in streaming
partial_response = ""
phrases_to_synthesize = []
llm_stream = client.chat.stream(
model=LLM_MODEL,
messages=[
{"role": "system", "content": "Respond briefly."},
{"role": "user", "content": question_text},
],
)
for chunk in llm_stream:
token = chunk.data.choices[0].delta.content or ""
partial_response += token
# As soon as a complete sentence is available
if token.endswith((".", "!", "?")):
phrases_to_synthesize.append(partial_response)
partial_response = ""
# Synthesize each sentence in streaming
for phrase in phrases_to_synthesize:
with client.audio.speech.complete(
model=TTS_MODEL,
input=phrase,
voice_id=VOICE_ID,
response_format="pcm",
stream=True,
) as stream:
for event in stream:
if event.event == "speech.audio.delta":
yield base64.b64decode(event.data.audio_data)
Iċ-Ċiklu Konversazzjonali
Assistent veru ma jittrattax mistoqsija iżolata: iħabbat dawriet ta’ kliem waqt li jżomm il-fil. Iċ-ċiklu hawn taħt jirrekordja, jittraskrivi, jiċċekkja jekk l-utent iridx iwaqqaf, imbagħad iwieġeb—jerġa’ jdaħħal l-istess historique f’kull dawra, li tikber matul l-iskambju.
def voice_assistant():
"""Complete conversational loop."""
history = [
{
"role": "system",
"content": "You are a concise voice assistant.",
}
]
print("Voice assistant ready. Speak!")
while True:
# Record the question (via microphone)
audio_question = record_microphone(duration=10)
# STT → LLM → TTS pipeline
question = transcribe_audio(audio_question)
if question.lower() in ("stop", "arrête", "au revoir"):
synthesize_speech("Goodbye!", "sortie.pcm")
break
answer = generate_response(question, history)
synthesize_speech(answer, "sortie.pcm")
play_audio("sortie.pcm")
X’Jifred Dan il-Prototip mill-Produzzjoni
Id-duree=10 fir-rekordjar juri t-triq li għad hemm quddiemna: dewmien fiss jiforza utent li jitkellem ħafna biex jaqta’ lilu nnifsu u jagħmel lil min iwieġeb “iva” jistenna għaxar sekondi. Detettur tal-attività tal-vuċi (VAD) isolvi dan billi jiskopri verament it-tmiem tal-kliem. Imbagħad trid timmaniġġja l-interruzzjonijiet, peress li utent faċilment jaqta’ assistent li jitkellem wisq: il-kodiċi tiegħek irid ikun kapaċi iwaqqaf is-sintesi li għaddejja, li s-streaming jagħmilha possibbli iżda dan il-prototip ma jagħmilhiex.
Tliet punti oħra jikkundizzjonaw id-dispjegament. L-istorja tal-konversazzjoni, diġà preżenti hawnhekk, trid tkun limitata u ppersistita jekk is-sessjonijiet idumu. Fallback huwa essenzjali—jekk l-STT jew it-TTS ifalli, uri t-test minflok ma tħalli silenzju mhux spjegat. Fl-aħħar nett, strumentalizza kull pass fil-produzzjoni: din hija l-unika mod biex tkun taf jekk dik is-sekonda żejda tiġix mit-traskrizzjoni, mill-LLM, jew mis-sintesi.
Passi Li Jmiss
Issa għandek kollox meħtieġ biex tisfrutta Voxtral TTS fil-proġetti tiegħek. Diversi direzzjonijiet jiftħu skont ir-restrizzjonijiet tiegħek: ospita Voxtral lokalment jekk il-latency jew il-kontroll tad-data huwa paramount, integrah f’framework eżistenti bħal LangChain, LlamaIndex, jew Haystack, jew ibni applikazzjoni web sħiħa b’WebRTC għal awdjo bidirezzjonali. Tista’ wkoll tesplora l-mudelli multimodali ta’ Mistral, li jgħaqqdu test, immaġni, u awdjo, u tingħaqad mal-komunità ta’ Mistral fuq Discord biex tqabbel il-bini tiegħek ma’ ta’ ħaddieħor.
Punti Ewlenin
- Assistent vokali sħiħ iħabbat tliet passi: STT → LLM → TTS
- Il-paralleliżmu tal-passi (li tiġġenera TTS waqt li l-LLM ikompli) inaqqas drastikament il-latency
- Il-format PCM f’streaming jipprovdi r-reattività meħtieġa għal konversazzjoni naturali
- Fil-produzzjoni, immaniġġja d-detezzjoni tat-tmiem tal-kliem, l-interruzzjonijiet, u l-fallback għat-test
- Voxtral TTS jintegra f’kull pipeline vokali grazzi għall-SDK ta’ Mistral għal Python
Ittestja l-Għarfien Tiegħek
Sintesi, vuċi, latency: verifika finali qabel il-pipeline sħiħ.
1. X'jippermetti l-API tal-Vuċijiet?
Tweġiba: Timmaniġġja l-vuċijiet disponibbli u toħloq oħrajn personalizzati—il-vuċi ssir assi kkonfigurat, li jista’ jerġa’ jintuża fil-ġenerazzjonijiet kollha tiegħek.
2. Liema regoli etiċi jirregolaw il-klonazzjoni tal-vuċi?
Tweġiba: Kunsens espliċitu mill-persuna kklonata u użu trasparenti u leġittimu—il-klonazzjoni ta’ vuċi mingħajr awtorizzazzjoni hija barra mit-tabella; teknikament possibbli ma jfissirx permess.
3. Kif tikkontrolla l-pronunzja tat-test?
Tweġiba: Billi tħejji t-test: spelled fonetikament termini ambigwi, immaniġġja akronimi u numri, ipponktwa għar-ritmu—it-TTS jaqra dak li tikteb.
4. Liema lievi jnaqqsu l-latency?
Tweġiba: Streaming f’ħin reali (awdjo prodott hekk kif jaslu t-test), formati tal-awdjo adattati, u test segmentat—il-vuċi tibdel qabel ma tintemm il-ġenerazzjoni.
5. Kif tidher pipeline vokali sħiħa?
Tweġiba: Traskrizzjoni tal-utent (Voxtral) → ipproċessar tal-mudell → sintesi tar-risposta (TTS), streaming minn tarf għal tarf: iċ-ċiklu ta’ assistent vokali.
Iċ-ċiklu ngħalaq: mill-vuċi li tidħol għall-vuċi li toħroġ—il-pipeline finali tal-kors jgħaqqad kollox li għaddek kemm ivvalidajt.