Preskok na glavno vsebino
Slovenščina— Izberite jezik
Meni

Kloniranje glasu v realnem času

Lekcija 9 od 14 Posodobljeno 3. november 2026 Razvijalec
Na tej strani
  1. Kloniranje brez shranjevanja
  2. Trije scenariji, kjer ta pristop blesti
  3. voice_id proti ref_audio: Razlike
  4. Kombiniranje obeh pristopov
  5. Ključne ugotovitve

Posodobitev tečaja z dne 3. novembra 2026 za Voxtral TTS 3, na podlagi vodnika Migrate from Voxtral 2 in strani Mistral Text to Speech: model voxtral-mini-tts-2603, ki je bil opuščen 31. oktobra 2026 in umaknjen 30. aprila 2027, je v primerih nadomeščen z voxtral-mini-tts-3-0. Vnaprej določeni glasovi Voxtral 2 (gb_jane_neutral…) so še vedno sprejeti; Voxtral 3 dodaja oznake [emotion=…] in [pace=…] v besedilu, nastavitev expressiveness, prilagojeno izgovarjavo (phoneme_hints) in podporo za 35 jezikov. Mistral priporoča ponovno merjenje zakasnitve po selitvi. Viri: Migrate from Voxtral 2 · Speech generation.

Kloniranje brez shranjevanja

Prejšnja lekcija je temeljila na shranjenem glasu, ustvarjenem vnaprej prek API-ja Voices in sklicanem z njegovim voice_id. Voxtral ponuja drugo pot: kloniranje v realnem času (on-the-fly), kjer referenčni zvok priskrbiš neposredno v zahtevi za generiranje. V tvojem računu se ne ustvari noben objekt: vzorec služi samo tej specifični zahtevi, nato pa se zavrže.

V praksi voice_id nadomestiš s ref_audio, ki pričakuje zvočni vzorec, kodiran v base64. Preostali del klica ostane nespremenjen.

import base64
from pathlib import Path
from mistralai.client import Mistral

client = Mistral(api_key="your-api-key")

# Kodiraj referenčni zvok
ref_audio_b64 = base64.b64encode(
    Path("reference.mp3").read_bytes()
).decode()

# Generiraj s kloniranjem v realnem času
response = client.audio.speech.complete(
    model="voxtral-mini-tts-3-0",
    input="This speech will resemble the reference voice.",
    ref_audio=ref_audio_b64,
    response_format="wav",
)

audio_bytes = base64.b64decode(response.audio_data)
Path("cloned-output.wav").write_bytes(audio_bytes)
print("Audio generated with on-the-fly cloning!")

Trije scenariji, kjer ta pristop blesti

Prvi je prototipiranje. Ko iščeš pravi referenčni vzorec, jih morda preizkusiš deset, petnajst ali celo več. Ustvarjanje toliko glasov v tvojem računu pomeni, da jih boš kasneje moral poiskati in izbrisati enega za drugim. Z ref_audio tvoja testna zanka na strežniku ne pušča sledi, kar ti omogoča preprosto primerjavo izpisov s poslušanjem ustvarjenih datotek.

# Hitro testiranje več vzorcev
samples = ["sample1.mp3", "sample2.mp3", "sample3.mp3"]

for file in samples:
    ref_b64 = base64.b64encode(Path(file).read_bytes()).decode()
    response = client.audio.speech.complete(
        model="voxtral-mini-tts-3-0",
        input="This is a voice quality test.",
        ref_audio=ref_b64,
        response_format="mp3",
    )
    output = f"test-{Path(file).stem}.mp3"
    Path(output).write_bytes(base64.b64decode(response.audio_data))
    print(f"Generated: {output}")

Drugi scenarij je občasna uporaba. Prilagojeno rojstnodnevno sporočilo z glasom ljubljene osebe ali demo za klienta, pripravljen za specifičen sestanek: če boš glas uporabil le enkrat, ga ni smiselno trajno namestiti v svoj račun.

Tretji razlog je zaupnost. Referenčni zvok, poslan prek ref_audio, ni shranjen na strežniku. Če obravnavaš glas pacienta, priče ali vodilnega delavca, ta razlika ni kozmetična: spremeni tisto, kar moraš navesti v registru obdelave, in tisto, kar moraš izbrisati v primeru zahteve.

voice_id proti ref_audio: Razlike

Merilovoice_idref_audio
TrajnostGlas shranjen v računuNi trajnosti
Ponovna uporabaNeomejenoNa zahtevo
ZakasnitevMalo hitreje (glas je že obdelan)Malo počasneje (obdelava ob vsakem klicu)
UpravljanjePoln CRUD (sprememba, brisanje)Nič za upravljati
Omrežni strošekSamo voice_id (nekaj bajtov)Celoten zvok ob vsaki zahtevi
ZaupnostZvok shranjen v oblakuZvok ni shranjen

Pravilo odločanja se svaja na pogostost uporabe. Glas, ki ga uporabljaš vsak dan – kot je pripovedovalec aplikacije ali glas blagovne znamke – si zasluži, da ga ustvariš s client.audio.voices.create(): prihraniš pasovno širino pošiljanja vzorca ob vsakem klicu in pridobiš čas obdelave reference. Glas, ki ga testiraš ali ga boš uporabil le enkrat, naj gre prek ref_audio, tako da ti ne bo treba ničesar čistiti.

Kombiniranje obeh pristopov

Ti dve metodi se ne izključujeta; najučinkovitejši delovni tok ju postavi v zaporedje. Najprej z ref_audio najdi pravi vzorec in poslušaj vsak rezultat. Ko te kandidat zadovolji, ponovno uporabi isti niz base64 – ki je že v pomnilniku – za ustvarjanje končnega glasu, skupaj z njegovim imenom, jeziki in spolom.

# Faza 1: Hiter test z ref_audio
ref_b64 = base64.b64encode(Path("my-voice.mp3").read_bytes()).decode()
response = client.audio.speech.complete(
    model="voxtral-mini-tts-3-0",
    input="Quality test.",
    ref_audio=ref_b64,
    response_format="mp3",
)
# Poslušaj rezultat...

# Faza 2: Zadovoljen? Shrani glas
voice = client.audio.voices.create(
    name="my-validated-voice",
    sample_audio=ref_b64,
    sample_filename="my-voice.mp3",
    languages=["fr"],
    gender="male",
)
print(f"Voice saved: {voice.id}")

Vadi s tremi posnetki svojega glasu, narejenimi v treh različnih pogojih – mikrofon na slušalkah, telefon, odmevna soba. Generiraj isti stavek z vsakim prek ref_audio, poslušaj in nato shrani le zmagovalca. V desetih minutah se boš naučil, kaj loči dober vzorec od slabega, ne da bi za seboj pustil tri neuporabne glasove.

Ključne ugotovitve

  • Parameter ref_audio ti omogoča kloniranje glasu brez shranjevanja
  • Referenčni zvok je kodiran v base64 in poslan neposredno v zahtevi
  • Kloniranje v realnem času je idealno za testiranje, občasno uporabo in zaupnost
  • Za redno uporabo raje izberi shranjen glas (manjša zakasnitev, manj pasovne širine)
  • Lahko testiraš z ref_audio in nato shraniš glas, ko si zadovoljen