Prejsť na hlavný obsah
Slovenčina— Vyberte jazyk
Menu

Klonovanie hlasu za behu

Lekcia 9 z 14 Aktualizované 3. novembra 2026 Vývojár
Na tejto strane
  1. Klonovanie bez ukladania
  2. Tri scenáre, kde tento prístup vyniká
  3. voice_id vs. ref_audio: Rozdiely
  4. Kombinácia oboch prístupov
  5. Kľúčové poznatky

Kurz aktualizovaný 3. novembra 2026 pre Voxtral TTS 3, na základe sprievodcu Migrate from Voxtral 2 a stránok Mistral Text to Speech: voxtral-mini-tts-2603, zastaraný od 31. októbra 2026 a vyradený 30. apríla 2027, je v príkladoch nahradený modelom voxtral-mini-tts-3-0. Preddefinované hlasy Voxtral 2 (gb_jane_neutral…) zostávajú akceptované; Voxtral 3 pridáva do textu značky [emotion=…] a [pace=…], nastavenie expressiveness, vlastnú výslovnosť (phoneme_hints) a podporu 35 jazykov. Mistral odporúča po migrácii znovu zmerať latenciu. Zdroje: Migrate from Voxtral 2 · Speech generation.

Klonovanie bez ukladania

Predchádzajúca lekcia využívala uložený hlas, ktorý ste vytvorili vopred prostredníctvom Voices API a odkazovali sa naň pomocou voice_id. Voxtral ponúka druhú cestu: klonovanie za behu, pri ktorom poskytnete referenčné audio priamo v požiadavke na generovanie. Žiadny objekt sa vo vašom účte nevytvorí: vzorka slúži len pre túto konkrétnu požiadavku a následne sa zahodí.

V praxi nahradíte voice_id parametrom ref_audio, ktorý očakáva audio vzorku zakódovanú v base64. Zvyšok volania zostáva nezmenený.

import base64
from pathlib import Path
from mistralai.client import Mistral

client = Mistral(api_key="your-api-key")

# Zakódovanie referenčného audia
ref_audio_b64 = base64.b64encode(
    Path("reference.mp3").read_bytes()
).decode()

# Generovanie s klonovaním za behu
response = client.audio.speech.complete(
    model="voxtral-mini-tts-3-0",
    input="This speech will resemble the reference voice.",
    ref_audio=ref_audio_b64,
    response_format="wav",
)

audio_bytes = base64.b64decode(response.audio_data)
Path("cloned-output.wav").write_bytes(audio_bytes)
print("Audio generated with on-the-fly cloning!")

Tri scenáre, kde tento prístup vyniká

Prvým je prototypovanie. Keď hľadáte tú správnu referenčnú vzorku, môžete vyskúšať desať, pätnásť alebo aj viac možností. Vytvorenie toľkých hlasov vo vašom účte znamená, že ich neskôr budete musieť jeden po druhom nájsť a zmazať. Pri použití ref_audio váš testovací cyklus nezanechá na serveri žiadnu stopu, čo vám umožňuje porovnávať výstupy jednoduchým vypočutím vytvorených súborov.

# Rýchle testovanie viacerých vzoriek
samples = ["sample1.mp3", "sample2.mp3", "sample3.mp3"]

for file in samples:
    ref_b64 = base64.b64encode(Path(file).read_bytes()).decode()
    response = client.audio.speech.complete(
        model="voxtral-mini-tts-3-0",
        input="This is a voice quality test.",
        ref_audio=ref_b64,
        response_format="mp3",
    )
    output = f"test-{Path(file).stem}.mp3"
    Path(output).write_bytes(base64.b64decode(response.audio_data))
    print(f"Generated: {output}")

Druhým scenárom je príležitostné použitie. Personalizovaná narodeninová správa využívajúca hlas blízkej osoby alebo demo pre klienta pripravené na konkrétne stretnutie: ak sa hlas použije len raz, nie je dôvod ho trvalo inštalovať vo vašom účte.

Tretím je dôvernosť. Referenčné audio odoslané cez ref_audio sa na serveri neukladá. Ak pracujete s hlasom pacienta, svedka alebo výkonného riaditeľa, tento rozdiel nie je len kozmetický: mení to, čo musíte deklarovať v registri spracovania, a čo potrebujete vymazať v prípade žiadosti.

voice_id vs. ref_audio: Rozdiely

Kritériumvoice_idref_audio
PerzistenciaHlas uložený v účteŽiadna perzistencia
Opätovné použitieNeobmedzenéLen pre jednu požiadavku
LatenciaMierne rýchlejšie (hlas už spracovaný)Mierne pomalšie (spracovanie pri každom volaní)
SprávaPlné CRUD (úprava, zmazanie)Nič na správu
Náklady na sieťLen voice_id (pár bajtov)Celé audio pri každej požiadavke
DôvernosťAudio uložené v cloudeAudio neuložené

Pravidlo rozhodovania sa redukuje na frekvenciu používania. Hlas používaný každý deň – napríklad rozprávač aplikácie alebo hovorca značky – si zaslúži byť vytvorený pomocou client.audio.voices.create(): ušetríte šírku pásma potrebnú na odosielanie vzorky pri každom volaní a získate čas potrebný na spracovanie referencie. Hlas, ktorý testujete alebo použijete len raz, by mal prejsť cez ref_audio, čo vám nezanechá nič na upratovanie.

Kombinácia oboch prístupov

Tieto dve metódy sa navzájom nevylučujú; najefektívnejší pracovný postup ich využíva postupne. Najprv nájdete správnu vzorku pomocou ref_audio a vypočujete si každý výsledok. Akonáhle vás kandidát uspokojí, použijete ten istý reťazec base64 – ktorý už máte v pamäti – na vytvorenie finálneho hlasu, kompletne s jeho názvom, jazykmi a pohlavím.

# Fáza 1: Rýchly test s ref_audio
ref_b64 = base64.b64encode(Path("my-voice.mp3").read_bytes()).decode()
response = client.audio.speech.complete(
    model="voxtral-mini-tts-3-0",
    input="Quality test.",
    ref_audio=ref_b64,
    response_format="mp3",
)
# Vypočujte si výsledok...

# Fáza 2: Ste spokojní? Uložte hlas
voice = client.audio.voices.create(
    name="my-validated-voice",
    sample_audio=ref_b64,
    sample_filename="my-voice.mp3",
    languages=["fr"],
    gender="male",
)
print(f"Voice saved: {voice.id}")

Precvičte si to s tromi nahrávkami vlastného hlasu, vytvorenými za troch rôznych podmienok – mikrofón na slúchadlách, telefón, miestnosť s ozvenou. Vygenerujte rovnakú vetu s každou z nich cez ref_audio, vypočujte si ich a potom uložte len víťaza. Za desať minút sa naučíte, čo oddeľuje dobrú vzorku od zlej, bez toho, aby ste za sebou nechali tri nepotrebné hlasy.

Kľúčové poznatky

  • Parameter ref_audio vám umožňuje klonovať hlas bez jeho uloženia
  • Referenčné audio je zakódované v base64 a odoslané priamo v požiadavke
  • Klonovanie za behu je ideálne na testovanie, príležitostné použitie a zachovanie dôvernosti
  • Pre pravidelné použitie uprednostnite uložený hlas (nižšia latencia, menšia šírka pásma)
  • Môžete testovať pomocou ref_audio a následne uložiť hlas, keď ste spokojní