Næste skridt: Ud over transskription
På denne side
Kurset opdateret 3. november 2026 til Voxtral 3, baseret på Mistral’s Migrate from Voxtral 2-guide: Voxtral 2-modellerne (
voxtral-mini-2602,voxtral-mini-transcribe-realtime-2602,voxtral-mini-tts-2603), der blev udfaset 31. oktober 2026 og trukket tilbage 30. april 2027, erstattes i eksemplerne afvoxtral-mini-transcribe-3,voxtral-mini-transcribe-realtime-3ogvoxtral-mini-tts-3-0. Vigtige ændringer: Tidsstempler findes kun på segmentniveau (wordreturnerer en 400-fejl), realtids-diarrisering understøttes, realtidssessionsindstillinger låses efter det første lydchunk, ogcontext_bias-input er frit format (sætninger med mellemrum). Kilder: Migrate from Voxtral 2 · Speech to Text.
Hvad du har lært
Du har fuldført rejsen gennem begge Voxtral-transskriptionstilstande. I offline-tilstand transskriberer du lydfiler med diarrisering, tidsstempler og kontekstbias ved hjælp af Voxtral Mini Transcribe 3. I realtidstilstand transskriberer du kontinuerlige streams med konfigurerbar ventetid via Voxtral Realtime, optager mikrofoninput og udnytter mønsteret med dobbelt forsinkelse. For hver funktion har du nu komplet Python-kode og den intuition, der kræves for at gå i produktion.
Transskription er dog kun halvdelen af historien. Mistral AI’s økosystem til lyd håndterer også den modsatte vej, og det er kombinationen af begge retninger, der muliggør virkelig konversationelle applikationer.
Voxtral TTS: At give tekst en stemme
Voxtral TTS er den præcise modpart til transskription: Det transformerer tekst til naturlig tale. Det understøtter zero-shot stemmekloning, hvilket betyder, at det kan reproducere en stemme ud fra blot to til tre sekunders lyd uden forudgående træning. Det baserer sig også på princippet om „stemme som instruktion”: Modellen følger intonation, rytme og følelse i det vocale prompt, du giver, så du ikke behøver indsætte prosodi-tags i teksten – du viser den ønskede tone i stedet for at beskrive den. Sprogdækningen omfatter engelsk, fransk, spansk, portugisisk, italiensk, hollandsk, tysk, hindi og arabisk. Det fungerer også i streaming-tilstand med en modellatency på omkring 90 millisekunder og en „time-to-first-audio” på ca. 0,8 sekunder i PCM, hvilket gør det velegnet til live-samtaler.
I praksis giver Voxtral TTS dine applikationer en stemme: Virtuelle assistenter, automatiseret oplæsning, tilgængelighedsværktøjer og dubbing.
Den komplette pipeline: STT, LLM, TTS
Sammenføjet danner disse tre komponenter en komplet løkke. Brugerens lyd bliver til tekst, teksten forstås og behandles af en sprogmodel, og svaret bliver til lyd igen.
User Audio → Voxtral STT → Text
↓
Mistral LLM (reasoning)
↓
Text Response → Voxtral TTS → Audio Response
Koden nedenfor implementerer denne pipeline. De første to trin er velkendte: Streaming-transskription ved 300 millisekunder for at fange spørgsmålet, derefter kaldes LLM’en med et system-prompt, der håndhæver et talt register. Det tredje trin forbliver udkommenteret, da syntese-API’en dækkes i et dedikeret kursus; kaldmønsteret er inkluderet her for at vise, hvor det passer ind.
import asyncio
import os
from mistralai.client import Mistral
from mistralai.client.models import (
AudioFormat,
TranscriptionStreamTextDelta,
TranscriptionStreamDone
)
async def pipeline_vocal_complet(source_audio_utilisateur):
"""Complete pipeline: listen, understand, respond."""
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
# Step 1: Transcribe user speech (STT)
audio_format = AudioFormat(encoding="pcm_s16le", sample_rate=16000)
question_parts = []
print("Listening...", flush=True)
async for event in client.audio.realtime.transcribe_stream(
audio_stream=source_audio_utilisateur,
model="voxtral-mini-transcribe-realtime-3",
audio_format=audio_format,
target_streaming_delay_ms=300,
):
if isinstance(event, TranscriptionStreamTextDelta):
question_parts.append(event.text)
elif isinstance(event, TranscriptionStreamDone):
break
question = "".join(question_parts).strip()
print(f"Question: {question}")
# Step 2: Generate an intelligent response (LLM)
reponse_llm = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "You are a voice assistant. "
"Respond concisely and naturally, "
"as in a spoken conversation."
},
{"role": "user", "content": question}
]
)
reponse_texte = reponse_llm.choices[0].message.content
print(f"Response: {reponse_texte}")
# Step 3: Synthesize the response into audio (TTS)
# Note: The TTS API will be covered in a dedicated course
# Here is the call pattern:
#
# audio_response = client.audio.speech.complete(
# model="voxtral-mini-tts-3-0",
# input=reponse_texte,
# voice_id="gb_jane_neutral",
# response_format="wav",
# )
# Audio arrives base64-encoded in audio_response.audio_data
#
# Play audio via a player (PyAudio, sounddevice, etc.)
return {
"question": question,
"reponse": reponse_texte
}
Hvad denne pipeline muliggør
Den virksomhedsinterne stemmeassistent er den mest umiddelbare applikation: Den forstår medarbejdernes spørgsmål og svarer ved hjælp af den interne vidensbase. Realtidstransskription fanger spørgsmålet, LLM’en spørger en vektordatabase via RAG, og TTS’en læser svaret højt.
Callcenter-agenten tager logikken et skridt videre ved at bruge begge transskriptionstilstande samtidigt. Under opkaldet transskriberer Voxtral Realtime samtalen live; Mistral LLM analyserer kundens intention; Voxtral TTS formulerer det vocale svar. Når opkaldet er slut, producerer et offline-gennemløb med diarrisering et struktureret referat, der angiver, hvem der sagde hvad – præcis det, som realtid ikke kan levere.
Værktøjet til stemmeoversættelse kæder tre modeller sammen på en enkelt stream: Voxtral STT transskriberer kildetalen blandt sine 50 sprog, Mistral LLM oversætter, og Voxtral TTS gengiver outputtet på et af sine 9 målsprog. Endelig gør automatiseret oplæsning artikler, rapporter eller e-mails til lyd til mobil lytning, hvor LLM’en tilpasser teksten til mundtlig levering før syntese.
En fuldt suveræn stemme-pipeline
Den afgørende fordel ved dette økosystem er muligheden for at hoste alt på din egen infrastruktur. Voxtral Realtime udgives som „open weights” under Apache 2.0-licensen og kan deployes på dine egne servere. Mistral Large 3 er tilgængelig via europæiske cloud-partnere eller on-premise. Voxtral TTS understøtter også privat deployment. Med andre ord kan hele kæden – lyt, forstå, svar – operere uden at nogen data forlader din infrastruktur. For sundhedsvæsenet, forsvaret, finanssektoren eller den offentlige forvaltning er dette ikke blot en bekvemmelighed; det afgør, om projektet overhovedet er gennemførligt.
Hvor du skal hen næste gang
Mistrals officielle dokumentation dedikerer sider til lyd og forbliver referencen for at spore model- og API-opdateringer. Hugging Face Hub hoster Voxtral-modeller som „open weights” sammen med dokumentation og eksempler. Mistral-forummet samler rapporter fra marken, der ofte er tættere på dine virkelige begrænsninger end officielle demoer, og andre kurser hos Corsen Academy dækker resten af Mistral AI-økosystemet.
Opsamling på kurset
Du kender nu Voxtral-modellerne og deres respektive roller: Mini Transcribe V2 til offline, Realtime til streaming og Small til lydchat. Du har mestret offline-transskription i alle dens dimensioner – API-kald, tidsstempler, diarrisering, kontekstbias – såvel som realtidstransskription med dens streaming, mikrofonoptagelse via PyAudio, latensstyring og mønsteret med dobbelt forsinkelse. Du har bygget komplette brugscases, fra undertekster og mødereferater til diktering, stemmeassistenter og konferencer, og du ved, hvordan du kører alt dette i produktion. Det eneste, der mangler, er den returnerende stemme for at lukke samtaleløkken.
Vigtige pointer
- Voxtral TTS lukker løkken: STT (transskription) derefter LLM (ræsonnement) derefter TTS (syntese)
- Den komplette stemme-pipeline muliggør stemmeassistenter, callcenter-agenter og oversættere
- Suveræn deployment er mulig takket være „open weights”-modeller (Apache 2.0)
- Transskription er den grundlæggende byggesten for stemmeapplikationer
- Fortsæt din læring med kurser dedikeret til TTS og avancerede stemme-pipelines
Test din viden
Offline, realtid, produktion: Transskription fra alle vinkler.
1. Offline eller realtid: Hvordan vælger man?
Svar: Offline til eksisterende filer (optagede møder, arkiver), hvor maksimal nøjagtighed er afgørende; realtid til live-scenarier (undertekster, stemmeassistenter), hvor latens er kritisk.
2. Hvad giver tidsstempler og diarrisering?
Svar: Tidsstempler placerer hvert segment i tiden (undertekster, navigation); diarrisering identificerer, hvem der taler – sammen gør de lyd til et handlingsorienteret referat.
3. Hvad bruges kontekstbias til?
Svar: Til at vejlede modellen om forventet ordforråd (egennavne, brancheudtryk) for at forbedre nøjagtigheden, hvor generel transskription fejler.
4. Hvad er ingredienserne til realtid i Python?
Svar: Mikrofonoptagelse (PyAudio), streaming til API’en og styring af afvejningen mellem latens og nøjagtighed – latensparametre justeres baseret på brugscaset.
5. Hvad overvåger du i produktion?
Svar: Inputlydkvalitet, omkostninger per transskriberet time, end-to-end-latens og fejl på kritisk ordforråd – med biasing og test som løftestænger.
Valget mellem offline og realtid strukturerer alt andet – kursusguiden giver dig rammen, dine brugscases driver beslutningen.