Introduktion till transkribering i realtid
På denna sida
Kursen uppdaterad den 3 november 2026 för Voxtral 3, baserat på Mistral:s guide Migrate from Voxtral 2: Voxtral 2-modeller (
voxtral-mini-2602,voxtral-mini-transcribe-realtime-2602,voxtral-mini-tts-2603), avvecklade den 31 oktober 2026 och helt borttagna den 30 april 2027, ersätts i exemplen avvoxtral-mini-transcribe-3,voxtral-mini-transcribe-realtime-3ochvoxtral-mini-tts-3-0. Viktiga ändringar: tidsstämplar finns endast för segment (wordreturnerar ett 400-fel), talardifferentiering är tillgänglig i realtid, inställningar för realtidssessioner låses efter det första ljudklippet och inmatningar förcontext_biasär fritext (fraser med mellanslag). Källor: Migrate from Voxtral 2 · Speech to Text.
Ett nytt paradigm: Ljudströmning
Hittills har du arbetat i offline-läge: du skickar en komplett ljudfil, väntar på att modellen ska bearbeta den och använder sedan resultatet. Detta arbetsflöde passar befintliga inspelningar, såsom arkiverade möten, poddar eller intervjuer. Det fungerar dock inte när ljudet anländer kontinuerligt: ingen vill vänta tills slutet av en två timmar lång konferens för att se de första undertexterna, och en röstassistent som bara förstår en fråga efter en lång tystnad verkar trasig.
Voxtral Realtime möter detta behov med en arkitektur för strömning. Ljudet transkriberas löpande, ord för ord, och fördröjningen mellan ljud och text blir en inställning du kan styra, ner till så lite som 200 millisekunder. Förändringen är lika mycket mental som teknisk: du tänker inte längre i isolerade förfrågningar utan i strömmar, och ditt program måste vara redo att ta emot text när som helst.
Vad realtidsmodellen erbjuder
Modellen anropas under identifieraren voxtral-mini-transcribe-realtime-3 och skiljer sig fundamentalt från sin motsvarighet för offline-läge. Den tar emot ljudklipp och sänder ut textfragment kontinuerligt, utan att någonsin vänta på att inspelningen ska avslutas. Dess latens styrs av parametern target_streaming_delay_ms, vilket du kommer att utforska i detalj senare i denna kurs. Den täcker 45 språk och dialekter, och språket kan vara fixerat eller automatiskt identifierat. Dess föregångare i generation 2, voxtral-mini-transcribe-realtime-2602 (4 miljarder parametrar), publiceras som öppna vikter under Apache 2.0-licensen på Hugging Face Hub för fullt suverän installation på dina egna servrar.
Med Voxtral 3 har prestandan i realtid i stor utsträckning minskat gapet jämfört med offline-läge. Talardifferentiering är tillgänglig – även om inte i samma session som detektering av talarskifte – liksom kontextuell bias och detektering av talarskifte. Två skillnader återstår: segmenten bär talarens etikett men ingen start- eller sluttid, och alla sessionsinställningar (språk, vokabulär, talardifferentiering, fördröjning) måste skickas innan det första ljudklippet, varefter de låses. Om ditt användningsfall kräver exakta tidsstämplar behöver du offline-läge, eventuellt som ett komplement till realtid.
Installation
Mistral SDK laddar inte beroenden för strömning som standard. Du måste explicit begära tillägget realtime, vilket lägger till stöd för WebSocket-anslutningar och asynkron ljudbearbetning:
pip install "mistralai[realtime]"
Det erforderliga ljudformatet
Till skillnad från offline-läge, som accepterar en mängd olika containrar, förväntar sig Voxtral Realtime en rå ström i ett enda, icke-förhandlingsbart format:
- Kodning: 16-bitars signerad little-endian PCM (
pcm_s16le) - Samplingsfrekvens: 16 000 Hz (16 kHz)
- Kanaler: Mono (1 kanal)
Denna begränsning är inget hinder: detta format är det mest standardiserade som finns, och alla inspelningsverktyg producerar det nativt, oavsett om det är PyAudio, FFmpeg eller PulseAudio. Du deklarerar det en gång för klienten, som använder det för att tolka de byte du skickar.
from mistralai.client.models import AudioFormat
# Definiera ljudformatet
audio_format = AudioFormat(
encoding="pcm_s16le",
sample_rate=16000
)
De två strömhändelserna
När du itererar över transkriberingen returnerar SDK två typer av objekt. TranscriptionStreamTextDelta emitteras för varje nytt transkriberat fragment och bär den partiella text du kan visa omedelbart; detta är vad som driver användarens skärm. TranscriptionStreamDone anländer exakt en gång, när ljudströmmen avslutas, oavsett om det är vid slutet av en fil eller när mikrofonen stängs; det signalerar att inget mer kommer och att du kan sammanställa resultatet. Hela din logik ryms därför i en asynkron loop som särskiljer dessa två fall:
from mistralai.client.models import (
TranscriptionStreamTextDelta,
TranscriptionStreamDone
)
async for event in flux_transcription:
if isinstance(event, TranscriptionStreamTextDelta):
# Ny text tillgänglig
print(event.text, end="", flush=True)
elif isinstance(event, TranscriptionStreamDone):
# Transkribering avslutad
print("\n[Avslutad]")
Första kompletta exempel
För att bekanta dig med mekanismen utan att förlita dig på en mikrofon är det enklaste tillvägagångssättet att simulera en ström från en fil som redan konverterats till PCM. Funktionen lire_fichier_pcm är en asynkron generator: den läser filen i block och yieldar dem ett efter ett, precis som ett ljudkort skulle göra. Resten av programmet är vad du kommer att återanvända senare utan modifiering.
import asyncio
import os
from mistralai.client import Mistral
from mistralai.client.models import (
AudioFormat,
TranscriptionStreamTextDelta,
TranscriptionStreamDone
)
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
audio_format = AudioFormat(encoding="pcm_s16le", sample_rate=16000)
async def lire_fichier_pcm(chemin: str, taille_chunk: int = 32000):
"""Läser en PCM-fil i bitar för att simulera en ström."""
with open(chemin, "rb") as f:
while True:
chunk = f.read(taille_chunk)
if not chunk:
break
yield chunk
async def main():
flux_audio = lire_fichier_pcm("audio.pcm")
async for event in client.audio.realtime.transcribe_stream(
audio_stream=flux_audio,
model="voxtral-mini-transcribe-realtime-3",
audio_format=audio_format,
):
if isinstance(event, TranscriptionStreamTextDelta):
print(event.text, end="", flush=True)
elif isinstance(event, TranscriptionStreamDone):
print("\n\nTranskribering avslutad.")
asyncio.run(main())
Om din källfil är en MP3 kan den inte skickas som den är: konvertera den först med FFmpeg och tvinga fram de tre egenskaper som modellen kräver.
ffmpeg -i audio.mp3 -f s16le -acodec pcm_s16le -ar 16000 -ac 1 audio.pcm
När du ska byta till realtid
Urvalskriteriet är enkelt: realtid är motiverat när någon väntar på texten medan ljudet produceras. Detta gäller live-undertextning för en konferens, ett webinarium eller en onlinekurs, där publiken läser medan de lyssnar; för en röstassistent, som måste förstå användaren medan denne talar för att svara utan besvärande pauser; för diktering, där tal blir text framför talarens ögon; och slutligen för konferenstranskribering, när texten måste visas i takt med att den uttalas. Överallt annars förblir offline-läge rikare och enklare att implementera.
Följande lektioner visar dig hur du fångar ljud från mikrofonen, finjusterar latensen och bygger dessa användningsfall från början till slut.
Viktiga punkter
- Voxtral Mini Transcribe Realtime 3 transkriberar ljud i strömningsläge med en justerbar fördröjning från 80 ms till 1,2 s (eller 2,4 s)
- Krävt ljudformat: 16-bitars PCM, 16 kHz, mono
- Två händelsetyper:
TextDelta(partiell text) ochDone(slut) - Installera med
pip install "mistralai[realtime]" - Asynkron programmering krävs (
async/await) - Talardifferentiering (exklusive detektering av talarskifte) och kontextuell bias tillgängliga i realtid, utan tidsstämplar för segment; inställningar låsta efter första ljudklippet
- Generation 2 av realtidsmodellen har öppna vikter under Apache 2.0 för suverän distribution