Einführung in die Audio-Fähigkeiten von Mistral
Auf dieser Seite
Update vom 2. November 2026 — Le Chat ist nun Vibe. Seit dem 28. Mai 2026 wurde Le Chat in Vibe umbenannt (nach wie vor unter chat.mistral.ai): eine einzelne Agentur für Arbeit und Code, die Ihre Gespräche, Einstellungen und Abonnements übernimmt. Die klassische Le Chat-Erfahrung bleibt im Chat-Modus zugänglich; im Work-Modus sind Agenten zu Fähigkeiten geworden (mit
@aufrufbar), Erinnerungen sind nun die Wissensbasis und die tiefe Recherche ist die Fähigkeit Deep Research. Die Pläne heißen nun Mistral Free, Pro, Team und Enterprise. Diese Lektion verwendet den Namen Vibe; beachten Sie, dass einige hier beschriebene Menüs andere Namen oder Standorte haben können.
Wenn KI zu hören und sprechen lernt
Nach der Vision stellt Audio die zweite große multimodale Revolution bei Mistral AI dar. Mit der Modellfamilie Voxtral kann Vibe nicht mehr nur Text lesen und schreiben – es kann nun Sprache transkribieren, in Sprachgesprächen teilnehmen und Sprache aus Text generieren. Kurz gesagt: Der Kreislauf ist geschlossen: Die KI hört Ihnen zu, versteht Sie und antwortet Ihnen lautstark. Diese Lektion führt alle diese Fähigkeiten ein, bevor nachfolgende Lektionen sie einzeln detailliert beschreiben.
Die Voxtral-Familie
Mistral hat unter der Marke Voxtral eine umfassende Suite von Audio-Modellen entwickelt, wobei jedes Modell eine spezifische Rolle in der Audio-Pipeline erfüllt. Voxtral Mini Transcribe ist das Batch-Transkriptionsmodell (Speech-to-Text): Sie geben ihm eine Audiodatei, und es liefert geschriebenen Text mit bemerkenswerter Genauigkeit – dies ist das Modell im Einsatz, wenn Sie eine Besprechungsaufnahme hochladen. Voxtral Realtime ist sein Echtzeit-Gegenstück: Es ist für Sprachgespräche konzipiert, transkribiert Sprache, während sie stattfindet, mit extrem niedriger Latenz, konfigurierbar unter 200 Millisekunden – dies macht den flüssigen Sprachmodus von Vibe erst möglich. Schließlich geht Voxtral TTS den anderen Weg: Die Text-zu-Sprach-Synthese verwandelt Text in eine natürliche Stimme, mit der Fähigkeit, eine Stimme aus nur wenigen Sekunden einer Aufnahme zu klonen.
| Feature | Modell | Sprachen | Latenz |
|---|---|---|---|
| Transkription (STT Batch) | Voxtral Mini Transcribe V2 | 13 Sprachen | Einige Sekunden pro Datei |
| Echtzeit-Transkription (STT) | Voxtral Realtime | 13 Sprachen | Unter 200 ms |
| Text-zu-Sprache (TTS) | Voxtral TTS | 9+ Sprachen | ~90 ms (Modell) |
Speech-to-Text: Von Stimme zu Text
Die Audio-Transkription ist die Fähigkeit, eine Sprachaufnahme in geschriebenen Text umzuwandeln, und Voxtral Mini Transcribe hebt sich an mehreren Fronten hervor. Erstens seine Genauigkeit: Die Wortfehlerquote bleibt auch bei Aufnahmen mittlerer Qualität niedrig – der Art von Datei, die von einem Handy aufgenommen wird, das in der Mitte eines Besprechungstisches liegt. Zweitens führt es Diarisierung durch, was bedeutet, dass es automatisch verschiedene Sprecher in einem Gespräch identifiziert: Die Transkription unterscheidet zwischen „Sprecher 1” und „Sprecher 2”, was für Besprechungsprotokolle alles ändert. Drittens ermöglicht seine Rauschrobustheit, auch in schwierigen Umgebungen eine gute Genauigkeit aufrechtzuerhalten – Cafés, Straßen, Besprechungen mit mehreren Stimmen. Schließlich verarbeitet es lange Aufnahmen, bis zu 3 Stunden Audio in einer einzigen Anfrage, genug, um eine gesamte Besprechung abzudecken.
Auf der Sprachseite werden 13 unterstützt: Englisch, Französisch, Spanisch, Deutsch, Italienisch, Portugiesisch, Niederländisch, Chinesisch, Hindi, Arabisch, Russisch, Japanisch und Koreanisch. Für gängige europäische Anwendungsfälle sind Sie gut abgedeckt.
Text-zu-Sprache: Von Text zu Stimme
Text-zu-Sprache funktioniert in die entgegengesetzte Richtung: Sie liefern Text, und Voxtral TTS liest ihn laut mit einer natürlichen Stimme vor. Seine spektakulärste Funktion ist das Stimmenklonen: Aus nur 2 bis 3 Sekunden Ihrer Sprachaufnahme kann das Modell Sprache generieren, die wie Sie klingt. Dieses Klonen stützt sich auf das Prinzip Stimme als Anweisung: Das Modell reproduziert die Intonation, den Rhythmus und die Emotion der Referenzstimprobe, ohne dass der Text mit Prosodie-Tags annotiert werden muss – die Probe selbst dient als Anweisung.
Das Modell ist mehrsprachig – Englisch, Französisch, Spanisch, Portugiesisch, Italienisch, Niederländisch, Deutsch, Hindi, Arabisch – und kann sogar Sprachen innerhalb eines einzigen Abschnitts mischen. Schließlich arbeitet es im Streaming-Modus: Die Sprachgenerierung beginnt in etwa 90 Millisekunden, was nahezu sofortige Interaktionen ermöglicht, statt einer Wartezeit zwischen Ihrer Frage und der gesprochenen Antwort.
Wofür wird Audio in Vibe verwendet?
Konkret übersetzen sich diese Fähigkeiten für einen Vibe-Nutzer in vier alltägliche Aktionen. Sie können eine Besprechung transkribieren: Laden Sie die Aufnahme hoch und erhalten Sie eine Textzusammenfassung in Sekunden. Sie können per Sprache sprechen, indem Sie den Sprachmodus aktivieren, für ein natürliches Gespräch ohne Tastatur. Sie können Antworten anhören, indem Sie Vibe bitten, seinen Text laut vorzulesen – praktisch beim Gehen oder Kochen. Und Sie können Ihre Nachrichten diktieren, indem Sie sprechen statt tippen.
In den folgenden Lektionen werden wir jeden dieser Einsätze Schritt für Schritt detaillieren: zuerst die Dateitranskription, dann den Echtzeit-Sprachmodus und schließlich die Text-zu-Sprach-Synthese.
Kernaussagen
- Voxtral ist die Modellfamilie von Mistral für Audio, die Transkription, Echtzeitverarbeitung und Text-zu-Sprache abdeckt
- Die Transkription unterstützt 13 Sprachen, Diarisierung und Aufnahmen bis zu 3 Stunden
- Text-zu-Sprache kann eine Stimme in Sekunden klonen und in 9+ Sprachen sprechen
- In Vibe ist alles integriert: Sie können transkribieren, sprechen und anhören, ohne externe Tools