Putki täydelliselle äänelle
Tällä sivulla
Kurssi päivitetty 3. marraskuuta 2026 Voxtral TTS 3:ta varten, perustuen Migrate from Voxtral 2 -oppaaseen ja Mistralin Text to Speech -sivuihin:
voxtral-mini-tts-2603, joka on vanhentunut 31. lokakuuta 2026 ja poistettu käytöstä 30. huhtikuuta 2027, on korvattu esimerkeissä mallillavoxtral-mini-tts-3-0. Voxtral 2:n esiasetellut äänet (gb_jane_neutral…) ovat edelleen tuettuja; Voxtral 3 lisää tekstiin[emotion=…]- ja[pace=…]-tagit,expressiveness-asetuksen, mukautetun ääntämisen (phoneme_hints) sekä tuen 35 kielelle. Mistral suosittelee latenssin uudelleenmittausta siirtymän jälkeen. Lähteet: Migrate from Voxtral 2 · Speech generation.
Oppitunti korjattu 2. marraskuuta 2026 Mistralin audiodokumentaation perusteella: transkriptiomenetelmä on
client.audio.transcriptions.complete(eicreate), ja tiedosto välitetään muodossa{"file_name": ..., "content": ...}. Nykyinen malli onvoxtral-mini-transcribe-3. Lähde: Transcribe a file.
Äänestä ääneen: STT → LLM → TTS -putki
Tiedät jo, miten luodaan ääniä, generoidaan puhetta ja hallitaan latenssia. Tämä viimeinen oppitunti kokoaa nämä rakennuspalikat yhtenäiseksi järjestelmäksi: käyttäjä puhuu, kone kuuntelee, ymmärtää, päättelee ja vastaa luonnollisella äänellä.
Arkkitehtuuri koostuu kolmesta linkistä. Ensinnäkin puheentunnistus muuntaa puheen tekstiksi; Mistral tarjoaa oman mallinsa, mutta myös OpenAI:n Whisper tai jokin muu ratkaisu toimii yhtä hyvin. Tämä teksti syötetään suurelle kielimallille (LLM), joka tulkitsee pyynnön ja laatii vastauksen – olipa kyseessä Mistral Large 3, Claude, GPT-5.6 tai Llama; putki ei oleta mitään tarjoajasta. Lopuksi vastaus palautuu Voxtral TTS:lle, joka renderöi sen puheeksi ja lähettää sen suoratoistona.
Toimiva putki
Alla oleva koodi ketjuttaa nämä kolme vaihetta yhteen. Jokainen on eristetty omaan funktioonsa, joten voit vaihtaa STT- tai LLM-mallia koskematta muuhun koodiin. Huomaa, että keskusteluhistoria välitetään funktiolle generer_reponse() ja rikastuttaa sitä: tämä on se, mikä antaa johdonmukaisuutta peräkkäisille vaihdoille.
import base64
from pathlib import Path
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
# Configuration
VOICE_ID = "your-voice-id"
LLM_MODEL = "mistral-large-latest"
TTS_MODEL = "voxtral-mini-tts-3-0"
def transcribe_audio(audio_path: str) -> str:
"""Step 1: Convert audio to text (STT)."""
path = Path(audio_path)
with path.open("rb") as audio:
response = client.audio.transcriptions.complete(
model="voxtral-mini-transcribe-3",
file={"file_name": path.name, "content": audio},
)
return response.text
def generate_response(question: str, history: list) -> str:
"""Step 2: Generate a response with the LLM."""
history.append({"role": "user", "content": question})
response = client.chat.complete(
model=LLM_MODEL,
messages=history,
)
answer = response.choices[0].message.content
history.append({"role": "assistant", "content": answer})
return answer
def synthesize_speech(output_file: str, fichier_sortie: str):
"""Step 3: Convert text to speech (TTS)."""
audio_chunks = []
with client.audio.speech.complete(
model=TTS_MODEL,
input=output_file,
voice_id=VOICE_ID,
response_format="pcm",
stream=True,
) as stream:
for event in stream:
if event.event == "speech.audio.delta":
audio_chunks.append(
base64.b64decode(event.data.audio_data)
)
Path(fichier_sortie).write_bytes(b"".join(audio_chunks))
def pipeline_vocal(audio_path: str):
"""Complete pipeline: STT → LLM → TTS."""
history = [
{
"role": "system",
"content": (
"You are a professional voice assistant. "
"Respond concisely and naturally, "
"as in an oral conversation."
),
}
]
# Step 1: Transcribe
print("Transcribing...")
question = transcribe_audio(audio_path)
print(f"Question: {question}")
# Step 2: Reason
print("Generating response...")
answer = generate_response(question, history)
print(f"Response: {answer}")
# Step 3: Synthesize
print("Synthesizing speech...")
synthesize_speech(answer, "answer.pcm")
print("Pipeline complete — file answer.pcm generated")
# Run the pipeline
pipeline_vocal("question_utilisateur.wav")
Järjestelmäkehotus ansaitsee maininnan: nimenomainen pyyntö lyhyistä, puhekielellä esitetyistä vastauksista ei ole pelkkä kohteliaisuus. Rajoittamaton LLM tuottaa mielellään jäsenneltyjä kappaleita otsikoineen, mikä on katastrofi luettuna ääneen – ja vie vielä enemmän aikaa syntetisoida.
Lopeta odottaminen päättelyn valmistumista
Edellinen putki on sekventiaalinen: synteesi ei ala ennen kuin LLM on kirjoittanut vastauksen kokonaan. Kolmenkymmenen sanan vastauksessa tämä lisää useita sekunteja hiljaisuutta, jota käyttäjä ei osaa selittää. Ratkaisu on limittää vaiheet 2 ja 3: LLM generoi suoratoistona, ja heti kun kokonainen lause on saatavilla – eli heti kun token päättyy pisteeseen, huutomerkkiin tai kysymysmerkkiin – se ohjataan synteesiin mallin jatkaessa loppuosan laatimista.
def streaming_pipeline(question_text: str):
"""Optimized pipeline: TTS starts as soon as the first
LLM tokens arrive."""
# LLM generates in streaming
partial_response = ""
phrases_to_synthesize = []
llm_stream = client.chat.stream(
model=LLM_MODEL,
messages=[
{"role": "system", "content": "Respond briefly."},
{"role": "user", "content": question_text},
],
)
for chunk in llm_stream:
token = chunk.data.choices[0].delta.content or ""
partial_response += token
# As soon as a complete sentence is available
if token.endswith((".", "!", "?")):
phrases_to_synthesize.append(partial_response)
partial_response = ""
# Synthesize each sentence in streaming
for phrase in phrases_to_synthesize:
with client.audio.speech.complete(
model=TTS_MODEL,
input=phrase,
voice_id=VOICE_ID,
response_format="pcm",
stream=True,
) as stream:
for event in stream:
if event.event == "speech.audio.delta":
yield base64.b64decode(event.data.audio_data)
Keskustelusilmukka
Todellinen avustaja ei käsittele yksittäistä kysymystä: se ketjuttaa vuoroja pitäen langan käsissään. Alla oleva silmukka tallentaa, transkriptoi, tarkistaa haluaako käyttäjä lopettaa, ja vastaa sitten – injektoiden saman historique-muuttujan jokaiselle vuorolle, mikä kasvaa koko vuorovaikutuksen ajan.
def voice_assistant():
"""Complete conversational loop."""
history = [
{
"role": "system",
"content": "You are a concise voice assistant.",
}
]
print("Voice assistant ready. Speak!")
while True:
# Record the question (via microphone)
audio_question = record_microphone(duration=10)
# STT → LLM → TTS pipeline
question = transcribe_audio(audio_question)
if question.lower() in ("stop", "arrête", "au revoir"):
synthesize_speech("Goodbye!", "sortie.pcm")
break
answer = generate_response(question, history)
synthesize_speech(answer, "sortie.pcm")
play_audio("sortie.pcm")
Mikä erottaa tämän prototyypin tuotannosta
Koodin duree=10 havainnollistaa edessä olevaa tietä: kiinteä viive pakottaa puhelias käyttäjä katkaisemaan lauseensa keskeltä ja saa myöntävästi vastaavan odottamaan kymmenen sekuntia. Puheen aktiivisuuden tunnistin (VAD) ratkaisee tämän havaitsemalla todellisen puheen päättymisen. Sen jälkeen on hallittava keskeytykset, sillä käyttäjä keskeyttää helposti liian pitkään puhuvan avustajan: koodisi pystyy pysäyttämään käynnissä olevan synteesin, mikä on mahdollista suoratoiston ansiosta, vaikka tämä prototyyppi ei sitä vielä tee.
Kolme muuta seikkaa ovat edellytyksiä käyttöönotolle. Keskusteluhistoria, joka on jo mukana, on rajattava ja pysytettävä, jos istunnot ovat pitkiä. Varasuunnitelma on välttämätön: jos STT tai TTS epäonnistuu, näytä teksti äläkä jätä selittämätöntä hiljaisuutta. Lopuksi instrumentoi jokainen vaihe tuotannossa: se on ainoa tapa tietää, tuleeko tuo ylimääräinen sekunti transkriptiosta, LLM:stä vai synteesistä.
Seuraavat askeleet
Sinulla on nyt kaikki tarvittava hyödyntääksesi Voxtral TTS:tä projekteissasi. Useita suuntia avautuu rajoitustesi mukaan: isännöi Voxtralia paikallisesti, jos latenssi tai datan hallinta on ensisijaista, integroi se olemassa olevaan kehykseen kuten LangChain, LlamaIndex tai Haystack, tai rakenna täydellinen verkkosovellus WebRTC:llä kaksisuuntaista ääntä varten. Voit myös tutkia Mistralin multimodaalisia malleja, jotka yhdistävät tekstiä, kuvaa ja ääntä, sekä liittyä Mistral-yhteisöön Discordissa vertaillaksesi rakennelmiasi muiden kanssa.
Keskeiset asiat
- Täydellinen ääniavustaja ketjuttaa kolme vaihetta: STT → LLM → TTS
- Vaiheiden rinnakkaistaminen (TTS:n generointi LLM:n jatkaessa) vähentää latenssia dramaattisesti
- PCM-muoto suoratoistona tarjoaa luonnolliseen keskusteluun tarvittavan nopeuden
- Tuotannossa on hallittava puheen päättymisen havaitseminen, keskeytykset ja tekstivarasuunnitelma
- Voxtral TTS integroituu mihin tahansa ääniputkeen Mistral Python SDK:n ansiosta
Testaa tietämyksesi
Synteesi, ääni, latenssi: viimeinen tarkistus ennen kokonaista putkea.
1. Mitä Voices API mahdollistaa?
Vastaus: Hallita saatavilla olevia ääniä ja luoda mukautettuja – äänestä tulee konfiguroitu resurssi, jota voidaan käyttää uudelleen kaikissa generoinneissasi.
2. Mitä eettisiä sääntöjä äänen kloonaus noudattaa?
Vastaus: Kloonattavan henkilön nimenomainen suostumus ja läpinäkyvä, laillinen käyttö – äänen kloonaminen ilman lupaa ei tule kyseeseen; tekninen mahdollisuus ei tarkoita sallittavuutta.
3. Miten hallitset tekstin ääntämistä?
Vastaus: Valmistelemalla tekstiä: kirjoita monitulkintaiset termit fonettisesti, käsittele lyhenteet ja numerot, välimerkitse rytmin vuoksi – TTS lukee sen, mitä kirjoitat.
4. Mitkä vivut vähentävät latenssia?
Vastaus: Reaaliaikainen suoratoisto (ääni tuotetaan tekstin saapuessa), sopivat äänimuodot ja segmentoitu teksti – ääni alkaa ennen generoinnin päättymistä.
5. Miltä täydellinen ääniputki näyttää?
Vastaus: Käyttäjän transkriptio (Voxtral) → mallin käsittely → vastauksen synteesi (TTS),端到端 suoratoistona: ääniavustajan silmukka.
Silmukka on suljettu: saapuvasta äänestä lähtevään ääneen – kurssin viimeinen putki kokoaa kaiken, mitä olet juuri validoinut.