Einführung in Audio bei Mistral AI
Auf dieser Seite
Kurs aktualisiert am 3. November 2026 für Voxtral 3, basierend auf dem Mistral-Leitfaden Migrate from Voxtral 2: Die Voxtral-2-Modelle (
voxtral-mini-2602,voxtral-mini-transcribe-realtime-2602,voxtral-mini-tts-2603), die am 31. Oktober 2026 deprecated wurden und am 30. April 2027 aus dem Dienst genommen werden, werden in den Beispielen durchvoxtral-mini-transcribe-3,voxtral-mini-transcribe-realtime-3undvoxtral-mini-tts-3-0ersetzt. Wesentliche Änderungen: Zeitstempelung nur auf Segmentebene (wordführt zu einem 400-Fehler), Echtzeit-Diarisierung unterstützt, Echtzeit-Sitzungseinstellungen werden nach dem ersten Audio-Chunk gesperrt und freiecontext_bias-Eingaben (Phrasen mit Leerzeichen). Quellen: Migrate from Voxtral 2 · Speech to Text.
Die Voxtral-Familie: Audiosuite von Mistral AI
Mistral AI hat sich über den reinen Text hinaus entwickelt. Mit der Voxtral-Familie bietet das französische Unternehmen eine vollständige Suite von Modellen, die sich auf Sprache spezialisiert haben: Transkription, Audio-Verständnis und Text-zu-Sprache. In diesem Kurs lernen Sie, diese Fähigkeiten zu nutzen, um Audiostreame in wirklich nutzbaren Text zu verwandeln, inklusive des begleitenden Python-Codes.
Die automatische Spracherkennung (ASR), auch Speech-to-Text (STT) genannt, treibt Alltagswerkzeuge an, die Sie wahrscheinlich bereits nutzen. Untertitel bei Schulungsvideos, Protokolle von Führungskräfte-Meetings, Sprachassistenten im Kundenservice und digitale Barrierefreiheit auf öffentlichen Websites basieren alle auf derselben Kerntechnologie. Mistral AI bringt einen souveränen, leistungsfähigen und datenschutzkonformen Ansatz in diesen Bereich mit – ein entscheidender Faktor, wenn Ihre Audiodaten Patientennamen, Kundendaten oder interne Beratungen enthalten.
Zwei Wege zur Transkription
Voxtral unterstützt zwei Modi, die ganz unterschiedliche Anforderungen adressieren. Der erste ist die Offline-Transkription, auch als Batch-Verarbeitung bekannt: Sie senden eine vollständige Audiodatei und erhalten das Transkript. Dieser Modus eignet sich für aufgezeichnete Podcasts, Feldinterviews, die später im Tag hochgeladen werden, oder archivierten Vorlesungen. Voxtral Mini Transcribe 3 und für höhere Genauigkeit Voxtral Small Transcribe 3 übernehmen dies und bieten Diarisierung sowie Zeitstempelung auf Segmentebene.
Der zweite ist die Echtzeit-Transkription, oder Streaming: Audio wird transkribiert, während es eingeht, mit einer konfigurierbaren Latenz zwischen 80 ms und 1,2 Sekunden (oder 2,4 Sekunden). Nichts wird vorab aufgezeichnet; alles geschieht, während die Person spricht. Dieser Modus treibt Untertitel für Live-Webinare, Sprachassistenten oder Diktierwerkzeuge an. Das Modell Voxtral Mini Transcribe Realtime 3 ist dafür ausgelegt. Halten Sie diesen Unterschied im Hinterkopf: Er bestimmt die meisten Ihrer technischen Entscheidungen im weiteren Verlauf des Kurses.
Unterstützte Sprachen
Die Voxtral-3-Modelle für Datei-Transkription decken 50 Sprachen ab, während das Echtzeit-Modell 45 Sprachen und Dialekte unterstützt, einschließlich Französisch. Ohne language-Parameter erkennt das Modell die Sprache der Aufnahme automatisch; wenn Sie diese kennen, geben Sie sie mit dem zweistelligen Code an (z. B. fr).
Was Voxtral über den rohen Text hinaus leistet
Eine reine Transkription reicht nicht immer aus. Diarisierung identifiziert Sprecher automatisch: In einem Meeting mit fünf Personen unterscheidet das Modell, wer gesprochen hat und wann, und verwandelt eine Wand aus Text in ein lesbares Zusammenfassung. Kontext-Biasing ermöglicht es Ihnen, spezialisierten Vokabular einzufügen – Eigennamen, Fachbegriffe, Akronyme –, sodass Begriffe wie „Kubernetes” oder „DSGVO” in einem Engineering-Meeting nicht verfälscht werden.
Zeitstempelung auf Segmentebene liefert Start- und Endzeit für jedes Transkriptionssegment und ermöglicht die Generierung synchronisierter Untertitel; Voxtral 3 unterstützt keine Wortebene-Zeitstempelung mehr. Robustheit gegenüber Störgeräuschen sorgt für Genauigkeit in herausfordernden akustischen Umgebungen: Hintergrundgeräusche, Nachhall in Besprechungsräumen oder Laptop-Mikrofone. Schließlich können Sie Aufnahmen als Dateien, über URLs oder aus zuvor hochgeladenen Dateien einreichen und erhalten Antworten als Stream, Stück für Stück.
Compliance und Souveränität
Die vorherige Generation des Echtzeit-Modells, Voxtral Realtime (voxtral-mini-transcribe-realtime-2602, 4 Milliarden Parameter), wird als offene Gewichte unter der Apache 2.0-Lizenz veröffentlicht: Sie können es selbst hosten, ohne auf eine externe API angewiesen zu sein, auch nach seinem Rückzug aus der API am 30. April 2027.
Dies ist ein wesentlicher Vorteil für europäische Unternehmen, die strengen regulatorischen Beschränkungen bei der Verarbeitung von Audiodaten ausgesetzt sind: Meeting-Aufnahmen, Kundenanrufe oder medizinische Konsultationen verlassen Ihre Infrastruktur nie.
Was Sie lernen werden
Der Kurs folgt einer klaren Progression. Sie beginnen damit, die drei Voxtral-Modelle zu verstehen und das richtige Modell für Ihren Anwendungsfall auszuwählen. Anschließend befassen Sie sich mit der Offline-Transkription, einschließlich der API, ihrer Parameter, der Diarisierung und dem Kontext-Biasing. Danach wechseln Sie zur Echtzeit-Transkription: Streaming, Mikrofon-Erfassung und Latenzkontrolle. Sie beenden den Kurs mit der Produktionsbereitstellung, einschließlich Optimierung, Fehlerbehandlung und Kostenmanagement. Jeder Lektion ist vollständiger, funktionierender Python-Code beigefügt, den Sie so verwenden können, wie er ist.
Kernaussagen
- Voxtral ist die Audio-Modellfamilie von Mistral AI und umfasst STT und TTS
- Zwei Transkriptionsmodi: Offline (Dateien) und Echtzeit (Streaming, konfigurierbare Latenz beginnend bei 80 ms)
- 50 Sprachen für Dateien, 45 für Echtzeit, einschließlich Französisch
- Erweiterte Funktionen: Diarisierung, Kontext-Biasing, Zeitstempelung auf Segmentebene, Robustheit gegenüber Störgeräuschen
- Souveräne Bereitstellung möglich mit dem zweiten Generation Echtzeit-Modell, verfügbar als offene Gewichte unter Apache 2.0