Zum Hauptinhalt springen
Deutsch— Sprache auswählen
Menü

Einführung in die Echtzeit-Transkription

Lektion 9 von 16 Aktualisiert am 3. November 2026 Entwickler
Auf dieser Seite
  1. Ein neues Paradigma: Audio-Streaming
  2. Was das Echtzeit-Modell bietet
  3. Installation
  4. Das erforderliche Audio-Format
  5. Die zwei Stream-Ereignisse
  6. Erster vollständiger Beispielcode
  7. Wann auf Echtzeit umschalten
  8. Kernaussagen

Kurs aktualisiert am 3. November 2026 für Voxtral 3, basierend auf Mistrals Leitfaden Migrate from Voxtral 2: Die Voxtral 2-Modelle (voxtral-mini-2602, voxtral-mini-transcribe-realtime-2602, voxtral-mini-tts-2603), die am 31. Oktober 2026 veraltet und am 30. April 2027 zurückgezogen wurden, werden in den Beispielen durch voxtral-mini-transcribe-3, voxtral-mini-transcribe-realtime-3 und voxtral-mini-tts-3-0 ersetzt. Wesentliche Änderungen: Zeitstempel sind segmentbasiert (die Rückgabe von word führt zu einem Fehlercode 400), Diarisierung ist in Echtzeit verfügbar, Echtzeit-Sitzungseinstellungen werden nach dem ersten Audio-Chunk gesperrt, und context_bias-Eingaben sind frei formatiert (Phrasen mit Leerzeichen). Quellen: Migrate from Voxtral 2 · Speech to Text.

Ein neues Paradigma: Audio-Streaming

Bisher haben Sie im Offline-Modus gearbeitet: Sie senden eine vollständige Audiodatei, warten auf die Verarbeitung durch das Modell und nutzen dann das Ergebnis. Dieser Workflow eignet sich für bestehende Aufnahmen wie archivierten Meetings, Podcasts oder Interviews. Er versagt jedoch, wenn Audio kontinuierlich eingeht: Niemand wird warten, bis eine zweistündige Konferenz zu Ende ist, um die ersten Untertitel zu sehen, und eine Sprachassistentin, die erst nach einer langen Stille eine Frage versteht, wirkt defekt.

Voxtral Realtime begegnet diesem Bedarf mit einer Streaming-Architektur. Audio wird auf dem Laufenden transkribiert, Wort für Wort, und die Verzögerung zwischen Ton und Text wird zu einer Einstellung, die Sie steuern können, und sinkt bis auf 200 Millisekunden. Der Wandel ist ebenso mental wie technisch: Sie denken nicht mehr in isolierten Anfragen, sondern in Streams, und Ihr Programm muss bereit sein, Text jederzeit zu empfangen.

Was das Echtzeit-Modell bietet

Das Modell wird unter der Identifizierung voxtral-mini-transcribe-realtime-3 aufgerufen und unterscheidet sich grundlegend von seinem Offline-Gegenstück. Es empfängt Audio-Chunks und emittiert Textfragmente kontinuierlich, ohne auf das Ende der Aufnahme zu warten. Seine Latenz wird durch den Parameter target_streaming_delay_ms gesteuert, den Sie später in diesem Kurs im Detail erkunden werden. Es unterstützt 45 Sprachen und Dialekte, und die Sprache kann festgelegt oder automatisch erkannt werden. Sein Vorgänger der Generation 2, voxtral-mini-transcribe-realtime-2602 (4 Milliarden Parameter), wird als offene Gewichte unter der Apache 2.0-Lizenz auf dem Hugging Face Hub veröffentlicht, um eine vollständig souveräne Installation auf Ihren eigenen Servern zu ermöglichen.

Mit Voxtral 3 hat sich die Echtzeit-Leistung weitgehend der Offline-Modus angenähert. Diarisierung ist verfügbar – obwohl nicht in derselben Sitzung wie die Erkennung von Gesprächsenden –, ebenso wie Kontext-Biasing und Erkennung von Gesprächsenden. Zwei Unterschiede bleiben bestehen: Segmente tragen das Sprecherlabel, aber keine Start- oder Endzeit, und alle Sitzungseinstellungen (Sprache, Vokabular, Diarisierung, Verzögerung) müssen vor dem ersten Audio-Chunk gesendet werden, wonach sie gesperrt werden. Wenn Ihr Anwendungsfall präzise Zeitstempel erfordert, benötigen Sie den Offline-Modus, möglicherweise als Ergänzung zur Echtzeit.

Installation

Das Mistral SDK lädt Streaming-Abhängigkeiten nicht standardmäßig. Sie müssen explizit das realtime-Extra anfordern, das Unterstützung für WebSocket-Verbindungen und asynchrone Audioverarbeitung hinzufügt:

pip install "mistralai[realtime]"

Das erforderliche Audio-Format

Im Gegensatz zum Offline-Modus, der eine breite Palette von Containern akzeptiert, erwartet Voxtral Realtime einen Rohstrom in einem einzigen, nicht verhandelbaren Format:

  • Kodierung: 16-Bit signed little-endian PCM (pcm_s16le)
  • Abtastrate: 16.000 Hz (16 kHz)
  • Kanäle: Mono (1 Kanal)

Diese Einschränkung ist kein Hindernis: Dieses Format ist das am weitesten verbreitete verfügbare, und alle Erfassungswerkzeuge produzieren es nativ, sei es PyAudio, FFmpeg oder PulseAudio. Sie deklarieren es einmal beim Client, der es verwendet, um die Bytes zu interpretieren, die Sie übertragen.

from mistralai.client.models import AudioFormat

# Definition des Audio-Formats
audio_format = AudioFormat(
    encoding="pcm_s16le",
    sample_rate=16000
)

Die zwei Stream-Ereignisse

Wenn Sie über die Transkription iterieren, gibt das SDK zwei Arten von Objekten zurück. TranscriptionStreamTextDelta wird für jedes neu transkribierte Fragment emittiert und trägt den Teiltext, den Sie sofort anzeigen können; dies ist das, was den Bildschirm des Benutzers antreibt. TranscriptionStreamDone kommt genau einmal, wenn der Audio-Stream endet, sei es am Ende einer Datei oder wenn das Mikrofon geschlossen wird; es signalisiert, dass nichts mehr kommt und Sie das Ergebnis konsolidieren können. Ihre gesamte Logik passt daher in einen asynchronen Loop, der diese beiden Fälle unterscheidet:

from mistralai.client.models import (
    TranscriptionStreamTextDelta,
    TranscriptionStreamDone
)

async for event in flux_transcription:
    if isinstance(event, TranscriptionStreamTextDelta):
        # Neuer Text verfügbar
        print(event.text, end="", flush=True)
    elif isinstance(event, TranscriptionStreamDone):
        # Transkription abgeschlossen
        print("\n[Finished]")

Erster vollständiger Beispielcode

Um sich mit dem Mechanismus vertraut zu machen, ohne auf ein Mikrofon angewiesen zu sein, ist der einfachste Ansatz, einen Strom aus einer Datei zu simulieren, die bereits in PCM konvertiert wurde. Die Funktion lire_fichier_pcm ist ein asynchroner Generator: Sie liest die Datei in Blöcken und gibt sie nacheinander aus, genau wie eine Soundkarte. Der Rest des Programms ist das, was Sie später ohne Änderung wiederverwenden werden.

import asyncio
import os
from mistralai.client import Mistral
from mistralai.client.models import (
    AudioFormat,
    TranscriptionStreamTextDelta,
    TranscriptionStreamDone
)

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
audio_format = AudioFormat(encoding="pcm_s16le", sample_rate=16000)

async def lire_fichier_pcm(chemin: str, taille_chunk: int = 32000):
    """Liest eine PCM-Datei in Chunks, um einen Strom zu simulieren."""
    with open(chemin, "rb") as f:
        while True:
            chunk = f.read(taille_chunk)
            if not chunk:
                break
            yield chunk

async def main():
    flux_audio = lire_fichier_pcm("audio.pcm")

    async for event in client.audio.realtime.transcribe_stream(
        audio_stream=flux_audio,
        model="voxtral-mini-transcribe-realtime-3",
        audio_format=audio_format,
    ):
        if isinstance(event, TranscriptionStreamTextDelta):
            print(event.text, end="", flush=True)
        elif isinstance(event, TranscriptionStreamDone):
            print("\n\nTranskription abgeschlossen.")

asyncio.run(main())

Wenn Ihre Quelldatei ein MP3 ist, kann sie nicht so gesendet werden: Konvertieren Sie sie zunächst mit FFmpeg und erzwingen Sie die drei Merkmale, die das Modell erfordert.

ffmpeg -i audio.mp3 -f s16le -acodec pcm_s16le -ar 16000 -ac 1 audio.pcm

Wann auf Echtzeit umschalten

Das Auswahlkriterium ist einfach: Echtzeit ist gerechtfertigt, wenn jemand auf den Text wartet, während der Ton erzeugt wird. Dies gilt für Live-Untertitelung bei Konferenzen, Webinaren oder Online-Kursen, bei denen das Publikum liest, während es hört; für eine Sprachassistentin, die den Benutzer verstehen muss, während er spricht, um ohne unangenehme Pausen zu antworten; für Diktat, bei dem Sprache vor den Augen des Sprechers zu Text wird; und schließlich für Konferenztranskription, wenn der Text erscheinen muss, während er gesprochen wird. Überall sonst bleibt der Offline-Modus reichhaltiger und einfacher zu implementieren.

Die folgenden Lektionen zeigen Ihnen, wie Sie das Mikrofon erfassen, die Latenz einstellen und diese Anwendungsfälle von Grund auf aufbauen.

Kernaussagen

  • Voxtral Mini Transcribe Realtime 3 transkribiert Audio im Streaming-Modus mit einer einstellbaren Verzögerung von 80 ms bis 1,2 s (oder 2,4 s)
  • Erforderliches Audio-Format: 16-Bit PCM, 16 kHz, Mono
  • Zwei Ereignistypen: TextDelta (Teiltext) und Done (Ende)
  • Installation mit pip install "mistralai[realtime]"
  • Asynchrone Programmierung erforderlich (async/await)
  • Diarisierung (ohne Erkennung von Gesprächsenden) und Kontext-Biasing in Echtzeit verfügbar, ohne Segment-Zeitstempel; Einstellungen werden nach dem ersten Audio-Chunk gesperrt
  • Generation 2 des Echtzeit-Modells ist offene Gewichte Apache 2.0 für souveräne Bereitstellung