Aqbeż għall-kontenut ewlieni
Malti— Agħżel lingwa
Menu

Pipeline Vokali Sħiħ

Lezzjoni 14 / 14 Aġġornat 3 ta’ Novembru 2026 Zviluppatur
F'din il-paġna
  1. Mill-Vuċi għall-Vuċi: Il-Pipeline STT → LLM → TTS
  2. Pipeline Funzjonali
  3. Ieqaf Tistenna Sakemm Tirraġuna Tintemm
  4. Iċ-Ċiklu Konversazzjonali
  5. X’Jifred Dan il-Prototip mill-Produzzjoni
  6. Passi Li Jmiss
  7. Punti Ewlenin
  8. Ittestja l-Għarfien Tiegħek

Kors aġġornat fit-3 ta’ Novembru 2026 għal Voxtral TTS 3, ibbażat fuq il-gwida Migrate from Voxtral 2 u l-paġni Text to Speech ta’ Mistral: voxtral-mini-tts-2603, deprekat fil-31 ta’ Ottubru 2026 u rtirat fit-30 ta’ April 2027, huwa mibdul fl-eżempji b’voxtral-mini-tts-3-0. Il-vuċijiet predefiniti ta’ Voxtral 2 (gb_jane_neutral…) jibqgħu appoġġjati; Voxtral 3 iżid it-tags [emotion=…] u [pace=…] fit-test, is-setting expressiveness, il-pronunzja personalizzata (phoneme_hints), u 35 lingwa. Mistral jirrakkomanda li terġa’ tkejjel il-latency wara l-migrazzjoni. Sorsi: Migrate from Voxtral 2 · Speech generation.

Lezzjoni kkoreġuta fit-2 ta’ Novembru 2026 abbażi tad-dokumentazzjoni tal-awdjo ta’ Mistral: il-metodu tat-traskrizzjoni huwa client.audio.transcriptions.complete (mhux create), bil-fajl mgħoddi bħala {"file_name": ..., "content": ...}, u l-mudell kurrenti huwa voxtral-mini-transcribe-3. Sors: Transcribe a file.

Mill-Vuċi għall-Vuċi: Il-Pipeline STT → LLM → TTS

Inti taf kif toħloq vuċijiet, tiġġenera kliem, u timmaniġġja l-latency. Din il-lezzjoni finali tgħaqqad dawn il-blokki tal-bini f’sistema sħiħa: l-utent jitkellem, il-magna tisma’, tifhem, tirraġuna, u twieġeb b’vuċi naturali.

L-arkitettura tikkonsisti fi tliet rabtiet. L-ewwel, ir-rikonoxximent tal-kliem jikkonverti l-kliem f’test; Mistral joffri l-mudell tiegħu stess, iżda l-Whisper ta’ OpenAI jew soluzzjoni oħra taħdem daqstant tajjeb. Dan it-test imbagħad jgħaddi lil mudell kbir tal-lingwa (LLM), li jinterpreta t-talba u jabbozza tweġiba—Mistral Large 3, Claude, GPT-5.6, jew Llama; il-pipeline ma tagħmel l-ebda preżunzjoni dwar il-fornitur. Fl-aħħar nett, it-tweġiba terġa’ lura lejn Voxtral TTS, li jirrendiha bħala kliem mibgħut permezz ta’ streaming.

Pipeline Funzjonali

Il-kodiċi hawn taħt iħabbat it-tliet passi flimkien. Kull wieħed huwa iżolat fil-funzjoni tiegħu stess, li jippermettilek tibdel il-mudell STT jew LLM mingħajr ma tmiss il-bqija. Innota li l-istorja tal-konversazzjoni tiġi mgħoddija u arrikkitata minn generer_reponse(): dan huwa dak li jagħti koerenza lill-iskambji suċċessivi.

import base64
from pathlib import Path
from mistralai.client import Mistral

client = Mistral(api_key="your-api-key")

# Configuration
VOICE_ID = "your-voice-id"
LLM_MODEL = "mistral-large-latest"
TTS_MODEL = "voxtral-mini-tts-3-0"

def transcribe_audio(audio_path: str) -> str:
    """Step 1: Convert audio to text (STT)."""
    path = Path(audio_path)
    with path.open("rb") as audio:
        response = client.audio.transcriptions.complete(
            model="voxtral-mini-transcribe-3",
            file={"file_name": path.name, "content": audio},
        )
    return response.text

def generate_response(question: str, history: list) -> str:
    """Step 2: Generate a response with the LLM."""
    history.append({"role": "user", "content": question})

    response = client.chat.complete(
        model=LLM_MODEL,
        messages=history,
    )

    answer = response.choices[0].message.content
    history.append({"role": "assistant", "content": answer})
    return answer

def synthesize_speech(output_file: str, fichier_sortie: str):
    """Step 3: Convert text to speech (TTS)."""
    audio_chunks = []

    with client.audio.speech.complete(
        model=TTS_MODEL,
        input=output_file,
        voice_id=VOICE_ID,
        response_format="pcm",
        stream=True,
    ) as stream:
        for event in stream:
            if event.event == "speech.audio.delta":
                audio_chunks.append(
                    base64.b64decode(event.data.audio_data)
                )

    Path(fichier_sortie).write_bytes(b"".join(audio_chunks))

def pipeline_vocal(audio_path: str):
    """Complete pipeline: STT → LLM → TTS."""
    history = [
        {
            "role": "system",
            "content": (
                "You are a professional voice assistant. "
                "Respond concisely and naturally, "
                "as in an oral conversation."
            ),
        }
    ]

    # Step 1: Transcribe
    print("Transcribing...")
    question = transcribe_audio(audio_path)
    print(f"Question: {question}")

    # Step 2: Reason
    print("Generating response...")
    answer = generate_response(question, history)
    print(f"Response: {answer}")

    # Step 3: Synthesize
    print("Synthesizing speech...")
    synthesize_speech(answer, "answer.pcm")
    print("Pipeline complete — file answer.pcm generated")

# Run the pipeline
pipeline_vocal("question_utilisateur.wav")

Il-prompt tas-sistema jistħoqqilu kelma: it-talba espliċita għal tweġibiet konċiżi u mitkellma mhix sempliċiment ġentilezza. LLM mingħajr restrizzjonijiet volontarjament jipproduċi paragrafi strutturati b’intestaturi, li huma diżastrużi meta jinqraw bil-vuċi—u jieħdu aktar żmien biex jiġu sintetizzati.

Ieqaf Tistenna Sakemm Tirraġuna Tintemm

Il-pipeline preċedenti hija sekwenzjali: is-sintesi ma tibdiex sakemm l-LLM ikun kiteb it-tweġiba kollha kemm hi. Għal tweġiba ta’ tletin kelma, dan iżid diversi sekondi ta’ silenzju li l-utent ma jistax jispjega. Is-soluzzjoni hija li tħallat il-passi 2 u 3: l-LLM jiġġenera f’streaming, u hekk kif tkun disponibbli sentenza sħiħa—jiġifieri, hekk kif token jispiċċa b’punt, punt esklamattiv, jew mistoqsija—din tgħaddi għas-sintesi waqt li l-mudell ikompli jabbozza l-bqija.

def streaming_pipeline(question_text: str):
    """Optimized pipeline: TTS starts as soon as the first
    LLM tokens arrive."""

    # LLM generates in streaming
    partial_response = ""
    phrases_to_synthesize = []

    llm_stream = client.chat.stream(
        model=LLM_MODEL,
        messages=[
            {"role": "system", "content": "Respond briefly."},
            {"role": "user", "content": question_text},
        ],
    )

    for chunk in llm_stream:
        token = chunk.data.choices[0].delta.content or ""
        partial_response += token

        # As soon as a complete sentence is available
        if token.endswith((".", "!", "?")):
            phrases_to_synthesize.append(partial_response)
            partial_response = ""

    # Synthesize each sentence in streaming
    for phrase in phrases_to_synthesize:
        with client.audio.speech.complete(
            model=TTS_MODEL,
            input=phrase,
            voice_id=VOICE_ID,
            response_format="pcm",
            stream=True,
        ) as stream:
            for event in stream:
                if event.event == "speech.audio.delta":
                    yield base64.b64decode(event.data.audio_data)

Iċ-Ċiklu Konversazzjonali

Assistent veru ma jittrattax mistoqsija iżolata: iħabbat dawriet ta’ kliem waqt li jżomm il-fil. Iċ-ċiklu hawn taħt jirrekordja, jittraskrivi, jiċċekkja jekk l-utent iridx iwaqqaf, imbagħad iwieġeb—jerġa’ jdaħħal l-istess historique f’kull dawra, li tikber matul l-iskambju.

def voice_assistant():
    """Complete conversational loop."""
    history = [
        {
            "role": "system",
            "content": "You are a concise voice assistant.",
        }
    ]

    print("Voice assistant ready. Speak!")

    while True:
        # Record the question (via microphone)
        audio_question = record_microphone(duration=10)

        # STT → LLM → TTS pipeline
        question = transcribe_audio(audio_question)
        if question.lower() in ("stop", "arrête", "au revoir"):
            synthesize_speech("Goodbye!", "sortie.pcm")
            break

        answer = generate_response(question, history)
        synthesize_speech(answer, "sortie.pcm")
        play_audio("sortie.pcm")

X’Jifred Dan il-Prototip mill-Produzzjoni

Id-duree=10 fir-rekordjar juri t-triq li għad hemm quddiemna: dewmien fiss jiforza utent li jitkellem ħafna biex jaqta’ lilu nnifsu u jagħmel lil min iwieġeb “iva” jistenna għaxar sekondi. Detettur tal-attività tal-vuċi (VAD) isolvi dan billi jiskopri verament it-tmiem tal-kliem. Imbagħad trid timmaniġġja l-interruzzjonijiet, peress li utent faċilment jaqta’ assistent li jitkellem wisq: il-kodiċi tiegħek irid ikun kapaċi iwaqqaf is-sintesi li għaddejja, li s-streaming jagħmilha possibbli iżda dan il-prototip ma jagħmilhiex.

Tliet punti oħra jikkundizzjonaw id-dispjegament. L-istorja tal-konversazzjoni, diġà preżenti hawnhekk, trid tkun limitata u ppersistita jekk is-sessjonijiet idumu. Fallback huwa essenzjali—jekk l-STT jew it-TTS ifalli, uri t-test minflok ma tħalli silenzju mhux spjegat. Fl-aħħar nett, strumentalizza kull pass fil-produzzjoni: din hija l-unika mod biex tkun taf jekk dik is-sekonda żejda tiġix mit-traskrizzjoni, mill-LLM, jew mis-sintesi.

Passi Li Jmiss

Issa għandek kollox meħtieġ biex tisfrutta Voxtral TTS fil-proġetti tiegħek. Diversi direzzjonijiet jiftħu skont ir-restrizzjonijiet tiegħek: ospita Voxtral lokalment jekk il-latency jew il-kontroll tad-data huwa paramount, integrah f’framework eżistenti bħal LangChain, LlamaIndex, jew Haystack, jew ibni applikazzjoni web sħiħa b’WebRTC għal awdjo bidirezzjonali. Tista’ wkoll tesplora l-mudelli multimodali ta’ Mistral, li jgħaqqdu test, immaġni, u awdjo, u tingħaqad mal-komunità ta’ Mistral fuq Discord biex tqabbel il-bini tiegħek ma’ ta’ ħaddieħor.

Punti Ewlenin

  • Assistent vokali sħiħ iħabbat tliet passi: STT → LLM → TTS
  • Il-paralleliżmu tal-passi (li tiġġenera TTS waqt li l-LLM ikompli) inaqqas drastikament il-latency
  • Il-format PCM f’streaming jipprovdi r-reattività meħtieġa għal konversazzjoni naturali
  • Fil-produzzjoni, immaniġġja d-detezzjoni tat-tmiem tal-kliem, l-interruzzjonijiet, u l-fallback għat-test
  • Voxtral TTS jintegra f’kull pipeline vokali grazzi għall-SDK ta’ Mistral għal Python

Ittestja l-Għarfien Tiegħek

Sintesi, vuċi, latency: verifika finali qabel il-pipeline sħiħ.

1. X'jippermetti l-API tal-Vuċijiet?

Tweġiba: Timmaniġġja l-vuċijiet disponibbli u toħloq oħrajn personalizzati—il-vuċi ssir assi kkonfigurat, li jista’ jerġa’ jintuża fil-ġenerazzjonijiet kollha tiegħek.

2. Liema regoli etiċi jirregolaw il-klonazzjoni tal-vuċi?

Tweġiba: Kunsens espliċitu mill-persuna kklonata u użu trasparenti u leġittimu—il-klonazzjoni ta’ vuċi mingħajr awtorizzazzjoni hija barra mit-tabella; teknikament possibbli ma jfissirx permess.

3. Kif tikkontrolla l-pronunzja tat-test?

Tweġiba: Billi tħejji t-test: spelled fonetikament termini ambigwi, immaniġġja akronimi u numri, ipponktwa għar-ritmu—it-TTS jaqra dak li tikteb.

4. Liema lievi jnaqqsu l-latency?

Tweġiba: Streaming f’ħin reali (awdjo prodott hekk kif jaslu t-test), formati tal-awdjo adattati, u test segmentat—il-vuċi tibdel qabel ma tintemm il-ġenerazzjoni.

5. Kif tidher pipeline vokali sħiħa?

Tweġiba: Traskrizzjoni tal-utent (Voxtral) → ipproċessar tal-mudell → sintesi tar-risposta (TTS), streaming minn tarf għal tarf: iċ-ċiklu ta’ assistent vokali.

Iċ-ċiklu ngħalaq: mill-vuċi li tidħol għall-vuċi li toħroġ—il-pipeline finali tal-kors jgħaqqad kollox li għaddek kemm ivvalidajt.