Aqbeż għall-kontenut ewlieni
Malti— Agħżel lingwa
Menu

Passi Li Jmiss: Lil Hinn mit-Traskrizzjoni

Lezzjoni 16 / 16 Aġġornat 3 ta’ Novembru 2026 Zviluppatur
F'din il-paġna
  1. X’Għallimt
  2. Voxtral TTS: Tagħti Vleġġa lit-Test
  3. Il-Pipeline Sħiħa: STT, LLM, TTS
  4. X’Tippermetti Din il-Pipeline
  5. Pipeline Vokali kompletament Sovrana
  6. Fejn Imur Minn Hawn
  7. Sommarju tal-Kors
  8. Punti Ewlenin
  9. Ittestja l-Għarfien Tiegħek

Kors aġġornat fit-3 ta’ Novembru 2026 għal Voxtral 3, ibbażat fuq il-gwida Migrate from Voxtral 2 ta’ Mistral: Il-mudelli Voxtral 2 (voxtral-mini-2602, voxtral-mini-transcribe-realtime-2602, voxtral-mini-tts-2603, iddeprekati fil-31 ta’ Ottubru 2026 u rtirati fit-30 ta’ April 2027, huma mibdula fl-eżempji b’voxtral-mini-transcribe-3, voxtral-mini-transcribe-realtime-3, u voxtral-mini-tts-3-0. Bidliet ewlenin: it-timstamps huma biss fil-livell tas-segmenti (word jirritorna żball 400), id-dijarizzazzjoni f’ħin reali hija appoġġjata, is-settings tas-sessjoni f’ħin reali jissakkaw wara l-ewwel biċċa awdjo, u l-inputs ta’ context_bias huma f’forma ħielsa (frażijiet b’ispazji). Sorsi: Migrate from Voxtral 2 · Speech to Text.

X’Għallimt

Ikkomplejt il-vjaġġ tiegħek permezz taż-żewġ modalitajiet ta’ traskrizzjoni ta’ Voxtral. Fil-modalità offline, traskrivi fajls tal-awdjo b’dijarizzazzjoni, timestamps, u bias tal-kuntest bl-użu ta’ Voxtral Mini Transcribe 3. Fil-modalità f’ħin reali, traskrivi flussi kontinwi b’latenza konfigurabbli permezz ta’ Voxtral Realtime, taqbad l-input tal-mikrofonu, u tisfrutta l-mudell tad-dewmien doppju. Għal kull kapaċità, issa għandek kodu Python sħiħ u l-istinti meħtieġa biex tgħaddi għall-produzzjoni.

Madankollu, it-traskrizzjoni hija biss nofs l-istorja. L-ekosistema tal-awdjo ta’ Mistral AI tittratta wkoll il-mogħdija inversa, u l-għaqda taż-żewġ direzzjonijiet hija dak li jippermetti applikazzjonijiet verament konversazzjonali.

Voxtral TTS: Tagħti Vleġġa lit-Test

Voxtral TTS huwa l-kontroparti eżatta għat-traskrizzjoni: jibdel it-test f’kelma naturali. Jappoġġja l-klonazzjoni tal-vleġġa zero-shot, jiġifieri jista’ jirriproduċi vleġġa minn biss żewġ sa tliet sekondi ta’ awdjo mingħajr taħriġ minn qabel. Jiddependi wkoll fuq il-prinċipju tal-vleġġa bħala istruzzjoni: il-mudell isegwi l-intonazzjoni, ir-ritmu u l-emozzjoni tal-prompt vokali li tipprovdi, allura m’għandekx bżonn tdaħħal tags tal-prosodija fit-test—turi t-ton mixtieq minflok ma tiddeskrivih. Il-kopertura tal-lingwi tinkludi l-Ingliż, il-Franċiż, l-Ispanjol, il-Portugiż, it-Taljan, l-Olandiż, il-Ġermaniż, l-Hindi u l-Għarbi. Jaħdem ukoll f’modalità ta’ streaming, b’latenza tal-mudell ta’ madwar 90 millisekonda u ħin għall-ewwel awdjo ta’ madwar 0.8 sekondi f’PCM, u b’hekk huwa adattat għal konversazzjonijiet ħajjin.

Fil-prattika, Voxtral TTS jagħti vleġġa lill-applikazzjonijiet tiegħek: assistenti virtwali, narrazzjoni awtomatizzata, għodod għall-aċċessibbiltà u d-dubbing.

Il-Pipeline Sħiħa: STT, LLM, TTS

Meta jingħaqdu flimkien, dawn it-tliet komponenti jiffurmaw ċiklu sħiħ. L-awdjo tal-utent isir test, it-test jinftiehem u jiġi pproċessat minn mudell tal-lingwa, u r-risposta terġa’ ssir awdjo.

User Audio → Voxtral STT → Text
                             ↓
                      Mistral LLM (reasoning)
                             ↓
                   Text Response → Voxtral TTS → Audio Response

Il-kodu hawn taħt jimplimenta din il-pipeline. L-ewwel żewġ passi huma familjari: traskrizzjoni f’ħin reali f’300 millisekonda biex taqbad il-mistoqsija, imbagħad sejħa lill-LLM b’prompt tas-sistema li jinfurza reġistru mitkellem. It-tielet pass jibqa’ kkummentat, peress li l-API tas-sinteżi hija koperta f’kors iddedikat; il-mudell tas-sejħa huwa inkluż hawnhekk biex juri fejn jidħol.

import asyncio
import os
from mistralai.client import Mistral
from mistralai.client.models import (
    AudioFormat,
    TranscriptionStreamTextDelta,
    TranscriptionStreamDone
)

async def pipeline_vocal_complet(source_audio_utilisateur):
    """Complete pipeline: listen, understand, respond."""
    client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

    # Step 1: Transcribe user speech (STT)
    audio_format = AudioFormat(encoding="pcm_s16le", sample_rate=16000)
    question_parts = []

    print("Listening...", flush=True)

    async for event in client.audio.realtime.transcribe_stream(
        audio_stream=source_audio_utilisateur,
        model="voxtral-mini-transcribe-realtime-3",
        audio_format=audio_format,
        target_streaming_delay_ms=300,
    ):
        if isinstance(event, TranscriptionStreamTextDelta):
            question_parts.append(event.text)
        elif isinstance(event, TranscriptionStreamDone):
            break

    question = "".join(question_parts).strip()
    print(f"Question: {question}")

    # Step 2: Generate an intelligent response (LLM)
    reponse_llm = client.chat.complete(
        model="mistral-large-latest",
        messages=[
            {
                "role": "system",
                "content": "You are a voice assistant. "
                           "Respond concisely and naturally, "
                           "as in a spoken conversation."
            },
            {"role": "user", "content": question}
        ]
    )

    reponse_texte = reponse_llm.choices[0].message.content
    print(f"Response: {reponse_texte}")

    # Step 3: Synthesize the response into audio (TTS)
    # Note: The TTS API will be covered in a dedicated course
    # Here is the call pattern:
    #
    # audio_response = client.audio.speech.complete(
    #     model="voxtral-mini-tts-3-0",
    #     input=reponse_texte,
    #     voice_id="gb_jane_neutral",
    #     response_format="wav",
    # )
    # Audio arrives base64-encoded in audio_response.audio_data
    #
    # Play audio via a player (PyAudio, sounddevice, etc.)

    return {
        "question": question,
        "reponse": reponse_texte
    }

X’Tippermetti Din il-Pipeline

L-assistent vokali għall-intrapriża hija l-applikazzjoni l-aktar immedjata: jifhem il-mistoqsijiet tal-impjegati u jwieġeb bl-użu tal-bażi tal-għarfien interna. It-traskrizzjoni f’ħin reali taqbad il-mistoqsija, l-LLM jistaqsi bażi tad-data vettorjali permezz ta’ RAG, u t-TTS jitkellem ir-risposta b’leħen għoli.

L-aġent taċ-ċentru tas-sejħiet jieħu l-loġika pass ‘il quddiem billi juża ż-żewġ modalitajiet ta’ traskrizzjoni fl-istess ħin. Matul is-sejħa, Voxtral Realtime jittraskrivi l-konversazzjoni ħajja; Mistral LLM janalizza l-intenzjoni tal-klijent; Voxtral TTS jifformula r-risposta vokali. Ladarba tispiċċa s-sejħa, pass offline b’dijarizzazzjoni jipproduċi sommarju strutturat li jindika min qal x’eżattament—preċiżament dak li l-ħin reali ma jistax jipprovdi.

L-għodda tat-traduzzjoni vokali tgħaqqad tliet mudelli fuq fluss wieħed: Voxtral STT jittraskrivi d-diskors tas-sors fost il-50 lingwa tiegħu, Mistral LLM jittraduċi, u Voxtral TTS jippreżenta l-output f’waħda mid-9 lingwi fil-mira tiegħu. Fl-aħħar nett, in-narrazzjoni awtomatizzata tbiddel artikoli, rapporti jew emails f’awdjo għas-smigħ fuq apparati mobbli, bl-LLM jadatta t-test għall-konsenja orali qabel is-sinteżi.

Pipeline Vokali kompletament Sovrana

Il-vantaġġ deċiżiv ta’ dan l-ekosistema hija l-kapaċità li tospita kollox fuq l-infrastruttura tiegħek stess. Voxtral Realtime jinħareġ bħala piżijiet miftuħa (open weights) taħt il-liċenzja Apache 2.0 u jista’ jiġi dispjegat fuq is-servers tiegħek stess. Mistral Large 3 huwa aċċessibbli permezz ta’ sħab Ewropej jew on-premise. Voxtral TTS jappoġġja wkoll id-dispjegament privat. Fi kliem ieħor, iċ-ċirkwit kollu—isma’, ifhem, wieġeb—jista’ jopera mingħajr ma ebda data toħroġ mill-infrastruttura tiegħek. Għas-saħħa, id-difiża, il-finanzi jew l-amministrazzjoni pubblika, dan mhux sempliċiment konvenjenza; jiddetermina jekk il-proġett huwiex fattibbli affattu.

Fejn Imur Minn Hawn

Id-dokumentazzjoni uffiċjali ta’ Mistral tiddedika paġni għall-awdjo u tibqa’ r-referenza biex issegwi l-aġġornamenti tal-mudelli u tal-API. Hugging Face Hub tospita mudelli Voxtral bħala piżijiet miftuħa, flimkien ma’ dokumentazzjoni u eżempji. Il-forum ta’ Mistral jiġbor rapporti mill-kamp spiss eqreb lejn il-vinċoli reali tiegħek milli d-demos uffiċjali, u korsijiet oħra tal-Corsen Academy jkopru l-bqija tal-ekosistema ta’ Mistral AI.

Sommarju tal-Kors

Issa taf il-mudelli Voxtral u r-rwoli rispettivi tagħhom: Mini Transcribe V2 għall-offline, Realtime għall-streaming, u Small għaċ-chat tal-awdjo. Ippadronejt it-traskrizzjoni offline fid-dimensjonijiet kollha tagħha—sejħiet tal-API, timestamps, dijarizzazzjoni, bias tal-kuntest—kif ukoll it-traskrizzjoni f’ħin reali bl-istreaming tagħha, il-qbid tal-mikrofonu permezz ta’ PyAudio, il-kontroll tal-latenza u l-mudell tad-dewmien doppju. Bnejt każijiet ta’ użu sħaħ, mis-sottotitli u l-minuti tal-laqgħat għad-dettatura, l-assistenti vokali u l-konferenzi, u taf kif tħaddem dan kollu fil-produzzjoni. Dak li jifqad biss huwa r-ritorn tal-vleġġa biex tingħalaq iċ-ċiklu tal-konversazzjoni.

Punti Ewlenin

  • Voxtral TTS jagħlaq iċ-ċiklu: STT (traskrizzjoni) imbagħad LLM (raġunament) imbagħad TTS (sinteżi)
  • Il-pipeline vokali sħiħa tippermetti assistenti vokali, aġenti taċ-ċentru tas-sejħiet u tradutturi
  • Id-dispjegament sovran huwa possibbli grazzi għal mudelli b’piżijiet miftuħa (Apache 2.0)
  • It-traskrizzjoni hija l-blokka fundamentali għall-applikazzjonijiet vokali
  • Kompli t-tagħlim tiegħek b’korsijiet iddedikati għat-TTS u pipelines vokali avvanzati

Ittestja l-Għarfien Tiegħek

Offline, f’ħin reali, produzzjoni: it-traskrizzjoni minn kull angolu.

1. Offline jew f'ħin reali: kif tagħżel?

Tweġiba: Offline għal fajls eżistenti (laqgħat irreġistrati, arkivji) fejn l-akbar preċiżjoni hija importanti; f’ħin reali għal xenarji ħajjin (sottotitli, assistenti vokali) fejn il-latenza hija kritika.

2. X'jipprovdu t-timestamps u d-dijarizzazzjoni?

Tweġiba: It-timestamps jillokalizzaw kull segment fil-ħin (sottotitli, navigazzjoni); id-dijarizzazzjoni tidentifika min qed jitkellem—flimkien, ibiddlu l-awdjo f’sommarju azzjonabbli.

3. Għal xiex jintuża l-bias tal-kuntest?

Tweġiba: Biex tgħarraf lill-mudell dwar il-vokabolarju mistenni (ismijiet proprji, termini tal-industrija) biex ittejjeb il-preċiżjoni fejn it-traskrizzjoni ġenerika tfalli.

4. X'inhuma l-ingredjenti għall-ħin reali f'Python?

Tweġiba: Il-qbid tal-mikrofonu (PyAudio), l-istreaming lejn l-API, u l-ġestjoni tal-kompromess bejn il-latenza u l-preċiżjoni—il-parametri tal-latenza jiġu aġġustati abbażi tal-każ ta’ użu.

5. X'għandek timmonitorja għall-produzzjoni?

Tweġiba: Il-kwalità tal-awdjo tal-input, l-ispejjeż għal kull siegħa traskritta, il-latenza minn tarf għal tarf, u l-iżbalji fuq vokabolarju kritiku—bil-biasing u t-testjar bħala lievi.

Il-għażla bejn offline u f’ħin reali tistruttura kollox ieħor—il-gwida tal-kors tagħtik il-qafas, il-każijiet ta’ użu tiegħek imexxu d-deċiżjoni.