Pașii următori: Dincolo de transcriere
Pe această pagină
Curs actualizat la 3 noiembrie 2026 pentru Voxtral 3, pe baza ghidului Migrate from Voxtral 2 de la Mistral: modelele Voxtral 2 (
voxtral-mini-2602,voxtral-mini-transcribe-realtime-2602,voxtral-mini-tts-2603), depreciate la 31 octombrie 2026 și retrase la 30 aprilie 2027, sunt înlocuite în exemple devoxtral-mini-transcribe-3,voxtral-mini-transcribe-realtime-3șivoxtral-mini-tts-3-0. Modificări cheie: marcajele temporale sunt disponibile doar la nivel de segment (wordreturnează o eroare 400), diarizarea în timp real este suportată, setările sesiunii în timp real sunt blocate după primul fragment audio, iar intrărilecontext_biassunt în format liber (fraze cu spații). Surse: Migrate from Voxtral 2 · Speech to Text.
Ce ați învățat
Ați parcurs întregul proces al celor două moduri de transcriere Voxtral. În modul offline, transcrieți fișiere audio cu diarizare, marcaje temporale și bias de context folosind Voxtral Mini Transcribe 3. În modul timp real, transcrieți fluxuri continue cu latență configurabilă prin Voxtral Realtime, capturați inputul de la microfon și utilizați modelul cu dublă întârziere. Pentru fiecare capacitate, dispuneți acum de cod Python complet și de intuiția necesară pentru a trece la producție.
Transcrierea reprezintă însă doar jumătate din poveste. Ecosistemul audio al Mistral AI gestionează și calea inversă, iar combinarea ambelor direcții este cea care permite aplicații cu adevărat conversaționale.
Voxtral TTS: Dând voce textului
Voxtral TTS este exact contrapartea transcrierii: transformă textul în vorbire naturală. Suportă clonarea vocii zero-shot, ceea ce înseamnă că poate reproduce o voce doar pe baza a două-trei secunde de audio, fără antrenament prealabil. Se bazează, de asemenea, pe principiul „vocea ca instrucțiune“: modelul urmează intonația, ritmul și emoția promptului vocal pe care îl furnizați, astfel încât nu trebuie să inserați tag-uri de prozodie în text – arătați tonul dorit în loc să îl descrieți. Acoperirea lingvistică include engleza, franceza, spaniola, portugheza, italiana, olandeza, germana, hindi și araba. Funcționează și în mod streaming, cu o latență a modelului de aproximativ 90 de milisecunde și un timp până la primul audio de aproximativ 0,8 secunde în PCM, fiind astfel potrivit pentru conversații live.
În practică, Voxtral TTS oferă o voce aplicațiilor dumneavoastră: asistenți virtuali, narare automatizată, instrumente de accesibilitate și dublaj.
Fluxul complet: STT, LLM, TTS
Asamblate împreună, aceste trei componente formează o buclă completă. Audio-ul utilizatorului devine text, textul este înțeles și procesat de un model lingvistic, iar răspunsul devine din nou audio.
User Audio → Voxtral STT → Text
↓
Mistral LLM (reasoning)
↓
Text Response → Voxtral TTS → Audio Response
Codul de mai jos implementează acest flux. Primii doi pași vă sunt familiari: transcrierea streaming la 300 de milisecunde pentru a captura întrebarea, apoi apelarea LLM cu un prompt de sistem care impune un registru vorbit. Al treilea pas rămâne comentat, deoarece API-ul de sinteză este acoperit într-un curs dedicat; modelul de apel este inclus aici pentru a arăta unde se integrează.
import asyncio
import os
from mistralai.client import Mistral
from mistralai.client.models import (
AudioFormat,
TranscriptionStreamTextDelta,
TranscriptionStreamDone
)
async def pipeline_vocal_complet(source_audio_utilisateur):
"""Complete pipeline: listen, understand, respond."""
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
# Step 1: Transcribe user speech (STT)
audio_format = AudioFormat(encoding="pcm_s16le", sample_rate=16000)
question_parts = []
print("Listening...", flush=True)
async for event in client.audio.realtime.transcribe_stream(
audio_stream=source_audio_utilisateur,
model="voxtral-mini-transcribe-realtime-3",
audio_format=audio_format,
target_streaming_delay_ms=300,
):
if isinstance(event, TranscriptionStreamTextDelta):
question_parts.append(event.text)
elif isinstance(event, TranscriptionStreamDone):
break
question = "".join(question_parts).strip()
print(f"Question: {question}")
# Step 2: Generate an intelligent response (LLM)
reponse_llm = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "You are a voice assistant. "
"Respond concisely and naturally, "
"as in a spoken conversation."
},
{"role": "user", "content": question}
]
)
reponse_texte = reponse_llm.choices[0].message.content
print(f"Response: {reponse_texte}")
# Step 3: Synthesize the response into audio (TTS)
# Note: The TTS API will be covered in a dedicated course
# Here is the call pattern:
#
# audio_response = client.audio.speech.complete(
# model="voxtral-mini-tts-3-0",
# input=reponse_texte,
# voice_id="gb_jane_neutral",
# response_format="wav",
# )
# Audio arrives base64-encoded in audio_response.audio_data
#
# Play audio via a player (PyAudio, sounddevice, etc.)
return {
"question": question,
"reponse": reponse_texte
}
Ce permite acest flux
Asistentul vocal pentru întreprinderi este aplicația cea mai imediată: înțelege întrebările angajaților și răspunde folosind baza de cunoștințe internă. Transcrierea în timp real capturează întrebarea, LLM interoghează o bază de date vectorială prin RAG, iar TTS rostește răspunsul cu voce tare.
Agentul de call center duce logica mai departe, utilizând ambele moduri de transcriere simultan. În timpul apelului, Voxtral Realtime transcrie conversația live; Mistral LLM analizează intenția clientului; Voxtral TTS formulează răspunsul vocal. Odată încheiat apelul, o trecere offline cu diarizare produce un rezumat structurat care indică cine a spus ce – exact ceea ce timpul real nu poate oferi.
Instrumentul de traducere vocală înlănțuie trei modele pe un singur flux: Voxtral STT transcrie discursul sursă printre cele 50 de limbi ale sale, Mistral LLM traduce, iar Voxtral TTS redă ieșirea într-una dintre cele 9 limbi țintă. În final, nararea automatizată transformă articole, rapoarte sau e-mailuri în audio pentru ascultare pe mobil, LLM adaptând textul pentru livrarea orală înainte de sinteză.
Un flux vocal complet suveran
Avantajul decisiv al acestui ecosistem este capacitatea de a găzdui totul pe propria infrastructură. Voxtral Realtime este lansat ca open weights sub licența Apache 2.0 și se implementează pe serverele dumneavoastră. Mistral Large 3 este accesibil prin parteneri de cloud europeni sau on-premise. Voxtral TTS suportă, de asemenea, implementarea privată. Cu alte cuvinte, întregul lanț – ascultare, înțelegere, răspuns – poate opera fără ca niciun date să părăsească infrastructura dumneavoastră. Pentru sănătate, apărare, finanțe sau administrație publică, aceasta nu este doar o conveniență; determină dacă proiectul este fezabil deloc.
Încotro mai departe
Documentația oficială Mistral dedică pagini audio și rămâne referința pentru urmărirea actualizărilor modelelor și API-urilor. Hugging Face Hub găzduiește modelele Voxtral ca open weights, împreună cu documentație și exemple. Forumul Mistral reunește rapoarte din teren, adesea mai apropiate de constrângerile dumneavoastră reale decât demo-urile oficiale, iar alte cursuri Corsen Academy acoperă restul ecosistemului Mistral AI.
Recapitularea cursului
Cunoașteți acum modelele Voxtral și rolurile lor respective: Mini Transcribe V2 pentru offline, Realtime pentru streaming și Small pentru chat audio. Ați stăpânit transcrierea offline în toate dimensiunile sale – apeluri API, marcaje temporale, diarizare, bias de context – precum și transcrierea în timp real cu streaming-ul său, capturarea microfonului prin PyAudio, controlul latenței și modelul cu dublă întârziere. Ați construit cazuri de utilizare complete, de la subtitrare și minute ale ședințelor până la dictare, asistenți vocali și conferințe, și știți cum să rulați toate acestea în producție. Tot ce lipsește este vocea de întoarcere pentru a închide bucla conversațională.
Puncte cheie
- Voxtral TTS închide bucla: STT (transcriere), apoi LLM (raționament), apoi TTS (sinteză)
- Fluxul vocal complet permite asistenți vocali, agenți de call center și traducători
- Implementarea suverană este posibilă datorită modelelor open weights (Apache 2.0)
- Transcrierea este blocul de fundație pentru aplicațiile vocale
- Continuați-vă învățarea cu cursuri dedicate TTS și fluxurilor vocale avansate
Testați-vă cunoștințele
Offline, timp real, producție: transcrierea din toate unghiurile.
1. Offline sau timp real: cum să alegeți?
Răspuns: Offline pentru fișiere existente (ședințe înregistrate, arhive) unde acuratețea maximă contează; timp real pentru scenarii live (subtitrare, asistenți vocali) unde latența este critică.
2. Ce oferă marcajele temporale și diarizarea?
Răspuns: Marcajele temporale localizează fiecare segment în timp (subtitrări, navigare); diarizarea identifică cine vorbește – împreună, transformă audio-ul într-un rezumat acționabil.
3. La ce servește biasul de context?
Răspuns: Pentru a orienta modelul către vocabularul așteptat (nume proprii, termeni din industrie) pentru a îmbunătăți acuratețea acolo unde transcrierea generică eșuează.
4. Care sunt ingredientele pentru timpul real în Python?
Răspuns: Capturarea microfonului (PyAudio), streaming către API și gestionarea compromisului latență/acuratețe – parametrii de latență sunt ajustați în funcție de cazul de utilizare.
5. Ce monitorizați pentru producție?
Răspuns: Calitatea audio de intrare, costurile pe oră transcrisă, latența end-to-end și erorile la vocabularul critic – cu biasing și testare ca pârghii.
Alegerea offline/timp real structurează totul restul – ghidul cursului vă oferă cadrul, cazurile dumneavoastră de utilizare dictează decizia.