Preskoči na glavni sadržaj
Hrvatski— Odaberite jezik
Izbornik

Kloniranje glasa u stvarnom vremenu

Lekcija 9 od 14 Ažurirano 3. studenoga 2026. Programer
Na ovoj stranici
  1. Kloniranje bez spremanja
  2. Tri scenarija u kojima ovaj pristup briljira
  3. voice_id naspram ref_audio: Razlike
  4. Kombiniranje oba pristupa
  5. Ključne točke

Tečaj ažuriran 3. studenoga 2026. za Voxtral TTS 3, na temelju vodiča Migrate from Voxtral 2 i stranica Mistrala Text to Speech: voxtral-mini-tts-2603, zastario 31. listopada 2026. i povučen 30. travnja 2027., u primjerima je zamijenjen s voxtral-mini-tts-3-0. Unaprijed definirani glasovi iz Voxtrala 2 (gb_jane_neutral…) i dalje su prihvaćeni; Voxtral 3 dodaje oznake [emotion=…] i [pace=…] u tekst, postavku expressiveness, prilagođenu izgovornu pomoć (phoneme_hints) i podršku za 35 jezika. Mistral preporučuje ponovno mjerenje latencije nakon migracije. Izvori: Migrate from Voxtral 2 · Speech generation.

Kloniranje bez spremanja

Prethodna lekcija oslanjala se na spremljeni glas, stvoren unaprijed putem Voices API-ja i referenciran putem njegovog voice_id. Voxtral nudi drugi put: kloniranje u stvarnom vremenu (on-the-fly), gdje referentni audio dostavljaš izravno u zahtjevu za generiranje. Niti jedan objekt ne stvara se na tvom računu: uzorak služi samo tom specifičnom zahtjevu, a zatim se odbacuje.

U praksi zamjenjuješ voice_id s ref_audio, koji očekuje audio uzorak kodiran u base64. Ostatak poziva ostaje nepromijenjen.

import base64
from pathlib import Path
from mistralai.client import Mistral

client = Mistral(api_key="your-api-key")

# Encode the reference audio
ref_audio_b64 = base64.b64encode(
    Path("reference.mp3").read_bytes()
).decode()

# Generate with on-the-fly cloning
response = client.audio.speech.complete(
    model="voxtral-mini-tts-3-0",
    input="This speech will resemble the reference voice.",
    ref_audio=ref_audio_b64,
    response_format="wav",
)

audio_bytes = base64.b64decode(response.audio_data)
Path("cloned-output.wav").write_bytes(audio_bytes)
print("Audio generated with on-the-fly cloning!")

Tri scenarija u kojima ovaj pristup briljira

Prvi je izrada prototipa. Kada tražiš pravi referentni uzorak, možda ćeš isprobati deset, petnaest ili čak više njih. Stvaranje toliko glasova na tvom računu znači da ćeš ih kasnije morati pronalaziti i brisati jedan po jedan. Uz ref_audio, tvoja testna petlja ne ostavlja trag na poslužitelju, što ti omogućuje usporedbu rendera jednostavnim slušanjem proizvedenih datoteka.

# Quickly test multiple samples
samples = ["sample1.mp3", "sample2.mp3", "sample3.mp3"]

for file in samples:
    ref_b64 = base64.b64encode(Path(file).read_bytes()).decode()
    response = client.audio.speech.complete(
        model="voxtral-mini-tts-3-0",
        input="This is a voice quality test.",
        ref_audio=ref_b64,
        response_format="mp3",
    )
    output = f"test-{Path(file).stem}.mp3"
    Path(output).write_bytes(base64.b64decode(response.audio_data))
    print(f"Generated: {output}")

Drugi scenarij je povremena upotreba. Personalizirana rođendanska poruka glasom voljene osobe ili demo za klijenta pripremljen za specifičan sastanak: ako će se glas koristiti samo jednom, nema razloga trajno ga instalirati na svoj račun.

Treći je povjerljivost. Referentni audio poslan putem ref_audio ne pohranjuje se na poslužitelju. Ako rukuješ glasom pacijenta, svjedoka ili direktora, ta razlika nije kozmetička: ona mijenja ono što moraš prijaviti u svom registru obrade i ono što trebaš izbrisati u slučaju zahtjeva.

voice_id naspram ref_audio: Razlike

Kriterijvoice_idref_audio
PostojanostGlas spremljen na računuNema postojanosti
Ponovna upotrebaNeograničenaPo zahtjevu
LatencijaNešto brže (glas je već obrađen)Nešto sporije (obrada pri svakom pozivu)
UpravljanjePuni CRUD (modificiraj, obriši)Ništa za upravljati
Mrežni trošakSamo voice_id (nekoliko bajtova)Cijeli audio pri svakom zahtjevu
PovjerljivostAudio pohranjen u oblakuAudio nije pohranjen

Pravilo odluke svodi se na učestalost korištenja. Glas koji se koristi svaki dan – poput naratora aplikacije ili glasnogovornika brenda – zaslužuje biti stvoren s client.audio.voices.create(): štediš propusnost slanjem uzorka sa svakim pozivom i dobivaš na vremenu obrade reference. Glas koji testiraš ili ćeš koristiti samo jednom trebao bi proći kroz ref_audio, ostavljajući te bez ikakvog čišćenja.

Kombiniranje oba pristupa

Ove dvije metode se međusobno ne isključuju; najučinkovitiji radni tijek stavlja ih u niz. Prvo pronađi pravi uzorak koristeći ref_audio, slušajući svaki rezultat. Jednom kada te kandidat zadovolji, ponovno upotrijebi isti base64 niz – koji je već u memoriji – za stvaranje konačnog glasa, zajedno s njegovim imenom, jezicima i spolom.

# Phase 1: Quick test with ref_audio
ref_b64 = base64.b64encode(Path("my-voice.mp3").read_bytes()).decode()
response = client.audio.speech.complete(
    model="voxtral-mini-tts-3-0",
    input="Quality test.",
    ref_audio=ref_b64,
    response_format="mp3",
)
# Listen to the result...

# Phase 2: Satisfied? Save the voice
voice = client.audio.voices.create(
    name="my-validated-voice",
    sample_audio=ref_b64,
    sample_filename="my-voice.mp3",
    languages=["fr"],
    gender="male",
)
print(f"Voice saved: {voice.id}")

Vježbaj s tri vlastita snimka glasa, napravljena pod tri različita uvjeta – mikrofon na slušalicama, mobitel, soba s odjekom. Generiraj istu rečenicu sa svakim putem ref_audio, poslušaj, a zatim spremi samo pobjednika. Za deset minuta naučit ćeš što razlikuje dobar uzorak od lošeg, a da iza sebe ne ostaviš tri beskorisna glasa.

Ključne točke

  • Parametar ref_audio omogućuje ti kloniranje glasa bez njegovog spremanja
  • Referentni audio kodiran je u base64 i poslan izravno u zahtjevu
  • Kloniranje u stvarnom vremenu idealno je za testiranje, povremenu upotrebu i povjerljivost
  • Za redovitu upotrebu, preferiraj spremljeni glas (manja latencija, manja potrošnja propusnosti)
  • Možeš testirati s ref_audio, a zatim spremiti glas jednom kada si zadovoljan