Voxtral — Mistrals lydmodeller
På denne side
Lyd: Den nye frontlinje inden for AI
Kunstig intelligens er ikke længere begrænset til tekst. At forstå og producere tale er blevet en konkret udfordring for mange applikationer: stemmeassistenter, transskription af møder, dubbing og tilgængelighed. Mistral har udviklet Voxtral-familien til at dække hele denne kæde. De fire modeller, vi skal se på, er ikke udskiftelige: Hver enkelt indtager et specifikt punkt i kæden, og at forveksle deres roller er den mest almindelige fejl, når man designer en applikation.
Voxtral TTS — Talesyntese i næste generation
Lanceret i marts 2026 er Voxtral TTS modellen til tekst-til-tale-syntese (text-to-speech). Det er en af årets mest bemærkelsesværdige udgivelser, primært på grund af én evne: zero-shot stemmekloning.
Princippet er enkelt at formulere og har betydelige konsekvenser. Du leverer en lydprøve af en stemme – få sekunder er nok – og modellen genererer derefter enhver tekst med den stemme uden yderligere træning. Klangfarve, rytme og karakteristika fra kildestemmen fanges i et enkelt gennemløb: Der er ikke behov for at finansiere dataindsamling eller træningssessioner mellem det tidspunkt, hvor du hører en stemme, og det tidspunkt, hvor du kan bruge den.
Fire anvendelsesområder træder straks frem. Dubbing og lokalisering giver dig mulighed for at oversætte lydindhold, mens den originale stemme bevares, hvilket opretholder mærke- eller taleridentitet på tværs af sprog. Tilgængelighed drager fordel af grænseflader udstyret med en naturlig, personlig stemme frem for upersonlig syntese. Uddannelsesindhold finder konsistent fortælling fra modul til modul uden genindspilning. Og stemmeassistenter kan endelig få en distinkt lydmæssig identitet.
Teknisk set er modellen flersproget og understøtter fransk. Den fungerer i realtids-streaming: Stemmen produceres løbende uden at vente på, at hele teksten er tilgængelig, hvilket muliggør flydende samtaler. Outputtet ligger tæt på menneskelig tale med styring af intonation og følelser. Modellen tilhører Open-tieret, og vægtene er offentliggjort på Hugging Face.
Denne kraft kræver disciplin. Mistral anbefaler systematisk at indhente samtykke fra den person, hvis stemme klones, aldrig at bruge denne teknologi til at udgive sig for at være en anden identitet og tydeligt at identificere AI-genereret indhold. Disse tre regler er ikke teoretiske forholdsregler: Et dubbingprojekt, der forsømmer dem, udsætter sin kunde lige så meget, som det udsætter den person, hvis stemme tjente som model.
Voxtral Mini Transcribe 2 — Lydtransskription
Udgivet i februar 2026 går Voxtral Mini Transcribe 2 den modsatte vej: Det er Mistrals model til lydtransskription, altså tale-til-tekst (speech-to-text), og den konverterer tale til tekst med høj nøjagtighed. Den falder ind under Premier-tieret, så der sker adgang via API’en.
Fire evner adskiller den fra en basal transskribent. Transskriptionen er flersproget med automatisk sprogdetektering, hvilket undgår at skulle konfigurere hver fil på forhånd. Diarisering identificerer forskellige talere i en samtale – uden den forbliver en møderapport med seks deltagere en blok af ubrugelig tekst. Context biasing giver dig mulighed for at forsyne modellen med specialiseret ordforråd, egennavne eller tekniske termer, så den holder op med at fordreje de referencer, der betyder noget i dit felt. Tidsstempler endelig synkroniserer transskriptionen ord-for-ord med lydsporet.
Disse egenskaber skitserer brugstilfældene: Møderapporter med identifikation af deltagere, synkroniseret undertekstning, analyse af opkald til kundesupport og indeksering af talt indhold for at gøre et tidligere usøgbart arkiv af optagelser søgbart.
Voxtral Mini Transcribe Realtime — Realtidsbehandling
Når lav latency har førsteprioritet frem for finesser, transskriberer Voxtral Mini Transcribe Realtime i en kontinuerlig strøm: Teksten vises, mens personen taler, uden at vente på slutningen af sætningen. Denne model falder ind under Open-tieret, hvilket muliggør lokal hosting – et afgørende argument for følsomme applikationer, hvor lyd ikke må forlade din infrastruktur.
| Funktion | Transcribe 2 | Transcribe Realtime |
|---|---|---|
| Latency | Batch (efterbehandling) | Realtid (streaming) |
| Nøjagtighed | Højere | Lidt lavere |
| Diarisering | Ja | Begrænset |
| Tier | Premier | Open |
| Typisk brug | Filtransskription | Live-undertekstning |
Læs denne tabel som en afvejning, ikke som en rangering: Du vælger ikke Realtime, fordi den er bedre, men fordi live-undertekstning ikke tolererer nogen efterbehandling.
Voxtral Small — Lydinput
Voxtral Small, udgivet i juli 2025, spiller en anden rolle end de tidligere modeller. Den accepterer lyd som input til instruktionsopgaver: Du sender den en fil og beder den om at opsummere den, besvare spørgsmål om dens indhold eller analysere den. Det er altså ikke en transskribent, som du kæder sammen med en tekstmodel, men en multimodal instruktionsmodel til lyd, der arbejder direkte på lydsignalet.
Vigtige pointer
- Voxtral TTS (marts 2026) er talesyntesemodellen med zero-shot stemmekloning
- Voxtral Mini Transcribe 2 tilbyder nøjagtig transskription med diarisering og context biasing
- Voxtral Realtime muliggør streaming-transskription og er open source
- Voxtral Small er en multimodal instruktionsmodel, der forstår lydinput
- Voxtral-familien dækker hele kæden: tekst → stemme (TTS), stemme → tekst (transskription) og stemme → forståelse (instruktionslyd)