Seuraavat askeleet: transkription tuolla puolen
Tällä sivulla
Kurssi päivitetty 3. marraskuuta 2026 Voxtral 3:lle Mistralin Migrate from Voxtral 2 -oppaan pohjalta: Voxtral 2 -mallit (
voxtral-mini-2602,voxtral-mini-transcribe-realtime-2602,voxtral-mini-tts-2603, vanhentuneet 31. lokakuuta 2026 ja poistuvat käytöstä 30. huhtikuuta 2027) on korvattu esimerkeissä malleillavoxtral-mini-transcribe-3,voxtral-mini-transcribe-realtime-3javoxtral-mini-tts-3-0. Keskeiset muutokset: aikaleimat ovat vain segmenttitasolla (wordpalauttaa 400-virheen), reaaliaikainen puhujantunnistus on tuettu, reaaliaikaisen istunnon asetukset lukittuvat ensimmäisen äänipaketin jälkeen, jacontext_bias-syötteet ovat vapaamuotoisia (välilyönnillä erotettuja fraaseja). Lähteet: Migrate from Voxtral 2 · Speech to Text.
Mitä olet oppinut
Olet suorittanut matkan läpi molempien Voxtral-transkriptiotilojen. Offline-tilassa transkriboit äänitiedostoja puhujantunnistuksella, aikaleimoilla ja kontekstin painotuksella käyttäen Voxtral Mini Transcribe 3 -mallia. Reaaliaikatilassa transkriboit jatkuvia virtauksia säädettävällä viiveellä Voxtral Realtime -mallilla, sieppaat mikrofonisyötteen ja hyödynnät kaksoisviivekuviota. Jokaiseen ominaisuuteen sinulla on nyt täydellinen Python-koodi ja vaadittava tuntuma siirtyäksesi tuotantoympäristöön.
Transkriptio on kuitenkin vain puoli tarinaa. Mistral AI:n ääniekosysteemi hallitsee myös käänteisen suunnan, ja molempien suuntien yhdistäminen mahdollistaa aidosti keskustelevat sovellukset.
Voxtral TTS: Tekstin muuttaminen puheeksi
Voxtral TTS on transkription tarkka vastakohta: se muuntaa tekstin luonnolliseksi puheeksi. Se tukee nollan shotin äänen kloonausta, mikä tarkoittaa, että se pystyy toistamaan äänen vain kahden tai kolmen sekunnin ääninäytteestä ilman erillistä koulutusta. Se perustuu myös “ääni ohjeena” -periaatteeseen: malli seuraa antamasi äänikehotteen intonaatiota, rytmiä ja tunnetta, joten sinun ei tarvitse lisätä tekstiin prosodiatageja – näytät halutun sävyn sen sijaan, että kuvailet sitä. Kielivalikoimaan kuuluvat englanti, ranska, espanja, portugali, italia, hollanti, saksa, hindi ja arabia. Se toimii myös suoratoistotilassa, ja mallin viive on noin 90 millisekuntia ja aika ensimmäiseen ääneen noin 0,8 sekuntia PCM-muodossa, mikä tekee siitä sopivan live-keskusteluihin.
Käytännössä Voxtral TTS antaa äänen sovelluksillesi: virtuaaliset avustajat, automatisoitu kertominen, saavutettavuustyökalut ja dubbaus.
Kokonainen putki: STT, LLM, TTS
Nämä kolme komponenttia muodostavat yhdessä täydellisen silmukan. Käyttäjän äani muuttuu tekstiksi, kielenmalli ymmärtää ja käsittelee tekstin, ja vastaus muuttuu jälleen ääneksi.
User Audio → Voxtral STT → Text
↓
Mistral LLM (reasoning)
↓
Text Response → Voxtral TTS → Audio Response
Alla oleva koodi toteuttaa tämän putken. Kaksi ensimmäistä vaihetta ovat tuttuja: suoratoistotranskriptio 300 millisekunnin viiveellä kysymyksen sieppaamiseksi, sitten LLM:n kutsuminen järjestelmäkehotteella, joka pakottaa puhekielisen rekisterin. Kolmas vaihe on pidetty kommentoituna, koska synteesi-API käsitellään omassa kurssissaan; kutsukuvio on kuitenkin mukana näyttämässä, mihin se sijoittuu.
import asyncio
import os
from mistralai.client import Mistral
from mistralai.client.models import (
AudioFormat,
TranscriptionStreamTextDelta,
TranscriptionStreamDone
)
async def pipeline_vocal_complet(source_audio_utilisateur):
"""Complete pipeline: listen, understand, respond."""
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
# Step 1: Transcribe user speech (STT)
audio_format = AudioFormat(encoding="pcm_s16le", sample_rate=16000)
question_parts = []
print("Listening...", flush=True)
async for event in client.audio.realtime.transcribe_stream(
audio_stream=source_audio_utilisateur,
model="voxtral-mini-transcribe-realtime-3",
audio_format=audio_format,
target_streaming_delay_ms=300,
):
if isinstance(event, TranscriptionStreamTextDelta):
question_parts.append(event.text)
elif isinstance(event, TranscriptionStreamDone):
break
question = "".join(question_parts).strip()
print(f"Question: {question}")
# Step 2: Generate an intelligent response (LLM)
reponse_llm = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "You are a voice assistant. "
"Respond concisely and naturally, "
"as in a spoken conversation."
},
{"role": "user", "content": question}
]
)
reponse_texte = reponse_llm.choices[0].message.content
print(f"Response: {reponse_texte}")
# Step 3: Synthesize the response into audio (TTS)
# Note: The TTS API will be covered in a dedicated course
# Here is the call pattern:
#
# audio_response = client.audio.speech.complete(
# model="voxtral-mini-tts-3-0",
# input=reponse_texte,
# voice_id="gb_jane_neutral",
# response_format="wav",
# )
# Audio arrives base64-encoded in audio_response.audio_data
#
# Play audio via a player (PyAudio, sounddevice, etc.)
return {
"question": question,
"reponse": reponse_texte
}
Mitä tämä putki mahdollistaa
Yrityksen ääniavustaja on välittömin sovellus: se ymmärtää työntekijöiden kysymykset ja vastaa käyttäen sisäistä tietokantaa. Reaaliaikainen transkriptio sieppaa kysymyksen, LLM hakee tietoa vektoritietokannasta RAG:n kautta, ja TTS lukee vastauksen ääneen.
Call center -agentti vie logiikan pidemmälle käyttämällä molempia transkriptiotiloja samanaikaisesti. Puhelun aikana Voxtral Realtime transkriboi keskustelun livenä; Mistral LLM analysoi asiakkaan aikomuksia; Voxtral TTS muotoilee äänivastauksen. Kun puhelu päättyy, offline-kierros puhujantunnistuksella tuottaa jäsennellyn yhteenvedon, joka osoittaa kuka sanoi mitä – täsmälleen sen, mitä reaaliaika ei pysty tarjoamaan.
Äänikäännöstyökalu ketjuttaa kolme mallia yhdelle virralle: Voxtral STT transkriboi lähdepuheen jollakin sen 50 kielestä, Mistral LLM kääntää tekstin, ja Voxtral TTS tuottaa tulosteen jollakin sen 9 kohdekielestä. Lopuksi automatisoitu kertominen muuntaa artikkelit, raportit tai sähköpostit ääneksi mobiilikuuntelua varten, jolloin LLM mukauttaa tekstin suullista esitystä varten ennen synteesiä.
Täysin suvereeni ääniputki
Tämän ekosysteemin ratkaiseva etu on kyky isännöidä kaikkea omassa infrastruktuurissasi. Voxtral Realtime julkaistaan avoimena painona Apache 2.0 -lisenssillä ja se voidaan ottaa käyttöön omilla palvelimillasi. Mistral Large 3 on saatavilla eurooppalaisten pilvikumppaneiden kautta tai paikallisesti (on-premise). Myös Voxtral TTS tukee yksityistä käyttöönottoa. Toisin sanoen koko ketju – kuuntele, ymmärrä, vastaa – voi toimia ilman, että data poistuu infrastruktuuristasi. Terveydenhuollolle, puolustukselle, rahoitukselle tai julkishallinnolle tämä ei ole pelkkä mukavuus; se ratkaisee, onko hanke ylipäätään toteutettavissa.
Minne seuraavaksi
Mistralin virallinen dokumentaatio omistaa sivuja äänelle ja pysyy ensisijaisena lähteenä malli- ja API-päivitysten seuraamiseen. Hugging Face Hub isännöi Voxtral-malleja avoimina painoina dokumentaation ja esimerkkien kera. Mistral-foorumi kokoaa kenttäraportteja, jotka ovat usein lähempänä todellisia rajoitteitasi kuin viralliset demot, ja muut Corsen Academyn kurssit kattavat loput Mistral AI:n ekosysteemistä.
Kurssin yhteenveto
Tunnet nyt Voxtral-mallit ja niiden roolit: Mini Transcribe V2 offline-käyttöön, Realtime suoratoistoon ja Small äänikeskusteluihin. Olet hallinnut offline-transkription kaikissa ulottuvuuksissaan – API-kutsut, aikaleimat, puhujantunnistus, kontekstin painotus – sekä reaaliaikatranskription sen suoratoiston, mikrofonin sieppauksen PyAudion kautta, viiveen hallinnan ja kaksoisviivekuvion kanssa. Olet rakentanut täydellisiä käyttötapauksia tekstityksestä ja kokousmuistioista saneluun, ääniavustajiin ja konferensseihin, ja tiedät, kuinka ajaa kaikki tämä tuotannossa. Puuttuu vain paluuääni keskustelusilmukan sulkemiseksi.
Keskeiset asiat
- Voxtral TTS sulkee silmukan: STT (transkriptio) sitten LLM (päättely) sitten TTS (synteesi)
- Täydellinen ääniputki mahdollistaa ääniavustajat, call center -agentit ja kääntäjät
- Suvereeni käyttöönotto on mahdollista avoimen painon mallien ansiosta (Apache 2.0)
- Transkriptio on äänisovellusten perusrakennuspalikka
- Jatka oppimista TTS:ään ja edistyneisiin ääniputkiin omistetuilla kursseilla
Testaa tietosi
Offline, reaaliaika, tuotanto: transkriptio joka kulmasta.
1. Offline vai reaaliaika: miten valita?
Vastaus: Offline olemassa oleville tiedostoille (tallennetut kokoukset, arkistot), joissa maksimaalinen tarkkuus on tärkeää; reaaliaika live-scenaarioihin (tekstitys, ääniavustajat), joissa viive on kriittinen.
2. Mitä aikaleimat ja puhujantunnistus tarjoavat?
Vastaus: Aikaleimat paikantavat jokaisen segmentin ajassa (tekstitys, navigointi); puhujantunnistus identifioi puhujan – yhdessä ne muuttavat äänen toimintakelpoiseksi yhteenvedoksi.
3. Mihin kontekstin painotusta käytetään?
Vastaus: Vihjaamaan mallille odotettua sanastoa (erisnimet, alan termit) tarkkuuden parantamiseksi kohdissa, joissa yleinen transkriptio epäonnistuu.
4. Mitkä ovat reaaliajan ainesosat Pythonissa?
Vastaus: Mikrofonin sieppaus (PyAudio), suoratoisto API:lle ja viiveen/tarkkuuden kompromissin hallinta – viiveparametrit säädetään käyttötapauksen perusteella.
5. Mitä seurataan tuotannossa?
Vastaus: Syöteäänens laatu, kustannukset transkrioitua tuntia kohden,端到端-viive (end-to-end latency) ja virheet kriittisessä sanastossa – painotus ja testaus vipuina.
Offline/reaaliaika-valinta jäsentää kaiken muun – kurssiopas antaa puitteet, käyttötapauksesi ohjaavat päätöstä.