Passi Li Jmiss: Lil Hinn mit-Traskrizzjoni
F'din il-paġna
Kors aġġornat fit-3 ta’ Novembru 2026 għal Voxtral 3, ibbażat fuq il-gwida Migrate from Voxtral 2 ta’ Mistral: Il-mudelli Voxtral 2 (
voxtral-mini-2602,voxtral-mini-transcribe-realtime-2602,voxtral-mini-tts-2603, iddeprekati fil-31 ta’ Ottubru 2026 u rtirati fit-30 ta’ April 2027, huma mibdula fl-eżempji b’voxtral-mini-transcribe-3,voxtral-mini-transcribe-realtime-3, uvoxtral-mini-tts-3-0. Bidliet ewlenin: it-timstamps huma biss fil-livell tas-segmenti (wordjirritorna żball 400), id-dijarizzazzjoni f’ħin reali hija appoġġjata, is-settings tas-sessjoni f’ħin reali jissakkaw wara l-ewwel biċċa awdjo, u l-inputs ta’context_biashuma f’forma ħielsa (frażijiet b’ispazji). Sorsi: Migrate from Voxtral 2 · Speech to Text.
X’Għallimt
Ikkomplejt il-vjaġġ tiegħek permezz taż-żewġ modalitajiet ta’ traskrizzjoni ta’ Voxtral. Fil-modalità offline, traskrivi fajls tal-awdjo b’dijarizzazzjoni, timestamps, u bias tal-kuntest bl-użu ta’ Voxtral Mini Transcribe 3. Fil-modalità f’ħin reali, traskrivi flussi kontinwi b’latenza konfigurabbli permezz ta’ Voxtral Realtime, taqbad l-input tal-mikrofonu, u tisfrutta l-mudell tad-dewmien doppju. Għal kull kapaċità, issa għandek kodu Python sħiħ u l-istinti meħtieġa biex tgħaddi għall-produzzjoni.
Madankollu, it-traskrizzjoni hija biss nofs l-istorja. L-ekosistema tal-awdjo ta’ Mistral AI tittratta wkoll il-mogħdija inversa, u l-għaqda taż-żewġ direzzjonijiet hija dak li jippermetti applikazzjonijiet verament konversazzjonali.
Voxtral TTS: Tagħti Vleġġa lit-Test
Voxtral TTS huwa l-kontroparti eżatta għat-traskrizzjoni: jibdel it-test f’kelma naturali. Jappoġġja l-klonazzjoni tal-vleġġa zero-shot, jiġifieri jista’ jirriproduċi vleġġa minn biss żewġ sa tliet sekondi ta’ awdjo mingħajr taħriġ minn qabel. Jiddependi wkoll fuq il-prinċipju tal-vleġġa bħala istruzzjoni: il-mudell isegwi l-intonazzjoni, ir-ritmu u l-emozzjoni tal-prompt vokali li tipprovdi, allura m’għandekx bżonn tdaħħal tags tal-prosodija fit-test—turi t-ton mixtieq minflok ma tiddeskrivih. Il-kopertura tal-lingwi tinkludi l-Ingliż, il-Franċiż, l-Ispanjol, il-Portugiż, it-Taljan, l-Olandiż, il-Ġermaniż, l-Hindi u l-Għarbi. Jaħdem ukoll f’modalità ta’ streaming, b’latenza tal-mudell ta’ madwar 90 millisekonda u ħin għall-ewwel awdjo ta’ madwar 0.8 sekondi f’PCM, u b’hekk huwa adattat għal konversazzjonijiet ħajjin.
Fil-prattika, Voxtral TTS jagħti vleġġa lill-applikazzjonijiet tiegħek: assistenti virtwali, narrazzjoni awtomatizzata, għodod għall-aċċessibbiltà u d-dubbing.
Il-Pipeline Sħiħa: STT, LLM, TTS
Meta jingħaqdu flimkien, dawn it-tliet komponenti jiffurmaw ċiklu sħiħ. L-awdjo tal-utent isir test, it-test jinftiehem u jiġi pproċessat minn mudell tal-lingwa, u r-risposta terġa’ ssir awdjo.
User Audio → Voxtral STT → Text
↓
Mistral LLM (reasoning)
↓
Text Response → Voxtral TTS → Audio Response
Il-kodu hawn taħt jimplimenta din il-pipeline. L-ewwel żewġ passi huma familjari: traskrizzjoni f’ħin reali f’300 millisekonda biex taqbad il-mistoqsija, imbagħad sejħa lill-LLM b’prompt tas-sistema li jinfurza reġistru mitkellem. It-tielet pass jibqa’ kkummentat, peress li l-API tas-sinteżi hija koperta f’kors iddedikat; il-mudell tas-sejħa huwa inkluż hawnhekk biex juri fejn jidħol.
import asyncio
import os
from mistralai.client import Mistral
from mistralai.client.models import (
AudioFormat,
TranscriptionStreamTextDelta,
TranscriptionStreamDone
)
async def pipeline_vocal_complet(source_audio_utilisateur):
"""Complete pipeline: listen, understand, respond."""
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
# Step 1: Transcribe user speech (STT)
audio_format = AudioFormat(encoding="pcm_s16le", sample_rate=16000)
question_parts = []
print("Listening...", flush=True)
async for event in client.audio.realtime.transcribe_stream(
audio_stream=source_audio_utilisateur,
model="voxtral-mini-transcribe-realtime-3",
audio_format=audio_format,
target_streaming_delay_ms=300,
):
if isinstance(event, TranscriptionStreamTextDelta):
question_parts.append(event.text)
elif isinstance(event, TranscriptionStreamDone):
break
question = "".join(question_parts).strip()
print(f"Question: {question}")
# Step 2: Generate an intelligent response (LLM)
reponse_llm = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "You are a voice assistant. "
"Respond concisely and naturally, "
"as in a spoken conversation."
},
{"role": "user", "content": question}
]
)
reponse_texte = reponse_llm.choices[0].message.content
print(f"Response: {reponse_texte}")
# Step 3: Synthesize the response into audio (TTS)
# Note: The TTS API will be covered in a dedicated course
# Here is the call pattern:
#
# audio_response = client.audio.speech.complete(
# model="voxtral-mini-tts-3-0",
# input=reponse_texte,
# voice_id="gb_jane_neutral",
# response_format="wav",
# )
# Audio arrives base64-encoded in audio_response.audio_data
#
# Play audio via a player (PyAudio, sounddevice, etc.)
return {
"question": question,
"reponse": reponse_texte
}
X’Tippermetti Din il-Pipeline
L-assistent vokali għall-intrapriża hija l-applikazzjoni l-aktar immedjata: jifhem il-mistoqsijiet tal-impjegati u jwieġeb bl-użu tal-bażi tal-għarfien interna. It-traskrizzjoni f’ħin reali taqbad il-mistoqsija, l-LLM jistaqsi bażi tad-data vettorjali permezz ta’ RAG, u t-TTS jitkellem ir-risposta b’leħen għoli.
L-aġent taċ-ċentru tas-sejħiet jieħu l-loġika pass ‘il quddiem billi juża ż-żewġ modalitajiet ta’ traskrizzjoni fl-istess ħin. Matul is-sejħa, Voxtral Realtime jittraskrivi l-konversazzjoni ħajja; Mistral LLM janalizza l-intenzjoni tal-klijent; Voxtral TTS jifformula r-risposta vokali. Ladarba tispiċċa s-sejħa, pass offline b’dijarizzazzjoni jipproduċi sommarju strutturat li jindika min qal x’eżattament—preċiżament dak li l-ħin reali ma jistax jipprovdi.
L-għodda tat-traduzzjoni vokali tgħaqqad tliet mudelli fuq fluss wieħed: Voxtral STT jittraskrivi d-diskors tas-sors fost il-50 lingwa tiegħu, Mistral LLM jittraduċi, u Voxtral TTS jippreżenta l-output f’waħda mid-9 lingwi fil-mira tiegħu. Fl-aħħar nett, in-narrazzjoni awtomatizzata tbiddel artikoli, rapporti jew emails f’awdjo għas-smigħ fuq apparati mobbli, bl-LLM jadatta t-test għall-konsenja orali qabel is-sinteżi.
Pipeline Vokali kompletament Sovrana
Il-vantaġġ deċiżiv ta’ dan l-ekosistema hija l-kapaċità li tospita kollox fuq l-infrastruttura tiegħek stess. Voxtral Realtime jinħareġ bħala piżijiet miftuħa (open weights) taħt il-liċenzja Apache 2.0 u jista’ jiġi dispjegat fuq is-servers tiegħek stess. Mistral Large 3 huwa aċċessibbli permezz ta’ sħab Ewropej jew on-premise. Voxtral TTS jappoġġja wkoll id-dispjegament privat. Fi kliem ieħor, iċ-ċirkwit kollu—isma’, ifhem, wieġeb—jista’ jopera mingħajr ma ebda data toħroġ mill-infrastruttura tiegħek. Għas-saħħa, id-difiża, il-finanzi jew l-amministrazzjoni pubblika, dan mhux sempliċiment konvenjenza; jiddetermina jekk il-proġett huwiex fattibbli affattu.
Fejn Imur Minn Hawn
Id-dokumentazzjoni uffiċjali ta’ Mistral tiddedika paġni għall-awdjo u tibqa’ r-referenza biex issegwi l-aġġornamenti tal-mudelli u tal-API. Hugging Face Hub tospita mudelli Voxtral bħala piżijiet miftuħa, flimkien ma’ dokumentazzjoni u eżempji. Il-forum ta’ Mistral jiġbor rapporti mill-kamp spiss eqreb lejn il-vinċoli reali tiegħek milli d-demos uffiċjali, u korsijiet oħra tal-Corsen Academy jkopru l-bqija tal-ekosistema ta’ Mistral AI.
Sommarju tal-Kors
Issa taf il-mudelli Voxtral u r-rwoli rispettivi tagħhom: Mini Transcribe V2 għall-offline, Realtime għall-streaming, u Small għaċ-chat tal-awdjo. Ippadronejt it-traskrizzjoni offline fid-dimensjonijiet kollha tagħha—sejħiet tal-API, timestamps, dijarizzazzjoni, bias tal-kuntest—kif ukoll it-traskrizzjoni f’ħin reali bl-istreaming tagħha, il-qbid tal-mikrofonu permezz ta’ PyAudio, il-kontroll tal-latenza u l-mudell tad-dewmien doppju. Bnejt każijiet ta’ użu sħaħ, mis-sottotitli u l-minuti tal-laqgħat għad-dettatura, l-assistenti vokali u l-konferenzi, u taf kif tħaddem dan kollu fil-produzzjoni. Dak li jifqad biss huwa r-ritorn tal-vleġġa biex tingħalaq iċ-ċiklu tal-konversazzjoni.
Punti Ewlenin
- Voxtral TTS jagħlaq iċ-ċiklu: STT (traskrizzjoni) imbagħad LLM (raġunament) imbagħad TTS (sinteżi)
- Il-pipeline vokali sħiħa tippermetti assistenti vokali, aġenti taċ-ċentru tas-sejħiet u tradutturi
- Id-dispjegament sovran huwa possibbli grazzi għal mudelli b’piżijiet miftuħa (Apache 2.0)
- It-traskrizzjoni hija l-blokka fundamentali għall-applikazzjonijiet vokali
- Kompli t-tagħlim tiegħek b’korsijiet iddedikati għat-TTS u pipelines vokali avvanzati
Ittestja l-Għarfien Tiegħek
Offline, f’ħin reali, produzzjoni: it-traskrizzjoni minn kull angolu.
1. Offline jew f'ħin reali: kif tagħżel?
Tweġiba: Offline għal fajls eżistenti (laqgħat irreġistrati, arkivji) fejn l-akbar preċiżjoni hija importanti; f’ħin reali għal xenarji ħajjin (sottotitli, assistenti vokali) fejn il-latenza hija kritika.
2. X'jipprovdu t-timestamps u d-dijarizzazzjoni?
Tweġiba: It-timestamps jillokalizzaw kull segment fil-ħin (sottotitli, navigazzjoni); id-dijarizzazzjoni tidentifika min qed jitkellem—flimkien, ibiddlu l-awdjo f’sommarju azzjonabbli.
3. Għal xiex jintuża l-bias tal-kuntest?
Tweġiba: Biex tgħarraf lill-mudell dwar il-vokabolarju mistenni (ismijiet proprji, termini tal-industrija) biex ittejjeb il-preċiżjoni fejn it-traskrizzjoni ġenerika tfalli.
4. X'inhuma l-ingredjenti għall-ħin reali f'Python?
Tweġiba: Il-qbid tal-mikrofonu (PyAudio), l-istreaming lejn l-API, u l-ġestjoni tal-kompromess bejn il-latenza u l-preċiżjoni—il-parametri tal-latenza jiġu aġġustati abbażi tal-każ ta’ użu.
5. X'għandek timmonitorja għall-produzzjoni?
Tweġiba: Il-kwalità tal-awdjo tal-input, l-ispejjeż għal kull siegħa traskritta, il-latenza minn tarf għal tarf, u l-iżbalji fuq vokabolarju kritiku—bil-biasing u t-testjar bħala lievi.
Il-għażla bejn offline u f’ħin reali tistruttura kollox ieħor—il-gwida tal-kors tagħtik il-qafas, il-każijiet ta’ użu tiegħek imexxu d-deċiżjoni.