Klonovanie hlasu za behu
Na tejto strane
Kurz aktualizovaný 3. novembra 2026 pre Voxtral TTS 3, na základe sprievodcu Migrate from Voxtral 2 a stránok Mistral Text to Speech:
voxtral-mini-tts-2603, zastaraný od 31. októbra 2026 a vyradený 30. apríla 2027, je v príkladoch nahradený modelomvoxtral-mini-tts-3-0. Preddefinované hlasy Voxtral 2 (gb_jane_neutral…) zostávajú akceptované; Voxtral 3 pridáva do textu značky[emotion=…]a[pace=…], nastavenieexpressiveness, vlastnú výslovnosť (phoneme_hints) a podporu 35 jazykov. Mistral odporúča po migrácii znovu zmerať latenciu. Zdroje: Migrate from Voxtral 2 · Speech generation.
Klonovanie bez ukladania
Predchádzajúca lekcia využívala uložený hlas, ktorý ste vytvorili vopred prostredníctvom Voices API a odkazovali sa naň pomocou voice_id. Voxtral ponúka druhú cestu: klonovanie za behu, pri ktorom poskytnete referenčné audio priamo v požiadavke na generovanie. Žiadny objekt sa vo vašom účte nevytvorí: vzorka slúži len pre túto konkrétnu požiadavku a následne sa zahodí.
V praxi nahradíte voice_id parametrom ref_audio, ktorý očakáva audio vzorku zakódovanú v base64. Zvyšok volania zostáva nezmenený.
import base64
from pathlib import Path
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
# Zakódovanie referenčného audia
ref_audio_b64 = base64.b64encode(
Path("reference.mp3").read_bytes()
).decode()
# Generovanie s klonovaním za behu
response = client.audio.speech.complete(
model="voxtral-mini-tts-3-0",
input="This speech will resemble the reference voice.",
ref_audio=ref_audio_b64,
response_format="wav",
)
audio_bytes = base64.b64decode(response.audio_data)
Path("cloned-output.wav").write_bytes(audio_bytes)
print("Audio generated with on-the-fly cloning!")
Tri scenáre, kde tento prístup vyniká
Prvým je prototypovanie. Keď hľadáte tú správnu referenčnú vzorku, môžete vyskúšať desať, pätnásť alebo aj viac možností. Vytvorenie toľkých hlasov vo vašom účte znamená, že ich neskôr budete musieť jeden po druhom nájsť a zmazať. Pri použití ref_audio váš testovací cyklus nezanechá na serveri žiadnu stopu, čo vám umožňuje porovnávať výstupy jednoduchým vypočutím vytvorených súborov.
# Rýchle testovanie viacerých vzoriek
samples = ["sample1.mp3", "sample2.mp3", "sample3.mp3"]
for file in samples:
ref_b64 = base64.b64encode(Path(file).read_bytes()).decode()
response = client.audio.speech.complete(
model="voxtral-mini-tts-3-0",
input="This is a voice quality test.",
ref_audio=ref_b64,
response_format="mp3",
)
output = f"test-{Path(file).stem}.mp3"
Path(output).write_bytes(base64.b64decode(response.audio_data))
print(f"Generated: {output}")
Druhým scenárom je príležitostné použitie. Personalizovaná narodeninová správa využívajúca hlas blízkej osoby alebo demo pre klienta pripravené na konkrétne stretnutie: ak sa hlas použije len raz, nie je dôvod ho trvalo inštalovať vo vašom účte.
Tretím je dôvernosť. Referenčné audio odoslané cez ref_audio sa na serveri neukladá. Ak pracujete s hlasom pacienta, svedka alebo výkonného riaditeľa, tento rozdiel nie je len kozmetický: mení to, čo musíte deklarovať v registri spracovania, a čo potrebujete vymazať v prípade žiadosti.
voice_id vs. ref_audio: Rozdiely
| Kritérium | voice_id | ref_audio |
|---|---|---|
| Perzistencia | Hlas uložený v účte | Žiadna perzistencia |
| Opätovné použitie | Neobmedzené | Len pre jednu požiadavku |
| Latencia | Mierne rýchlejšie (hlas už spracovaný) | Mierne pomalšie (spracovanie pri každom volaní) |
| Správa | Plné CRUD (úprava, zmazanie) | Nič na správu |
| Náklady na sieť | Len voice_id (pár bajtov) | Celé audio pri každej požiadavke |
| Dôvernosť | Audio uložené v cloude | Audio neuložené |
Pravidlo rozhodovania sa redukuje na frekvenciu používania. Hlas používaný každý deň – napríklad rozprávač aplikácie alebo hovorca značky – si zaslúži byť vytvorený pomocou client.audio.voices.create(): ušetríte šírku pásma potrebnú na odosielanie vzorky pri každom volaní a získate čas potrebný na spracovanie referencie. Hlas, ktorý testujete alebo použijete len raz, by mal prejsť cez ref_audio, čo vám nezanechá nič na upratovanie.
Kombinácia oboch prístupov
Tieto dve metódy sa navzájom nevylučujú; najefektívnejší pracovný postup ich využíva postupne. Najprv nájdete správnu vzorku pomocou ref_audio a vypočujete si každý výsledok. Akonáhle vás kandidát uspokojí, použijete ten istý reťazec base64 – ktorý už máte v pamäti – na vytvorenie finálneho hlasu, kompletne s jeho názvom, jazykmi a pohlavím.
# Fáza 1: Rýchly test s ref_audio
ref_b64 = base64.b64encode(Path("my-voice.mp3").read_bytes()).decode()
response = client.audio.speech.complete(
model="voxtral-mini-tts-3-0",
input="Quality test.",
ref_audio=ref_b64,
response_format="mp3",
)
# Vypočujte si výsledok...
# Fáza 2: Ste spokojní? Uložte hlas
voice = client.audio.voices.create(
name="my-validated-voice",
sample_audio=ref_b64,
sample_filename="my-voice.mp3",
languages=["fr"],
gender="male",
)
print(f"Voice saved: {voice.id}")
Precvičte si to s tromi nahrávkami vlastného hlasu, vytvorenými za troch rôznych podmienok – mikrofón na slúchadlách, telefón, miestnosť s ozvenou. Vygenerujte rovnakú vetu s každou z nich cez ref_audio, vypočujte si ich a potom uložte len víťaza. Za desať minút sa naučíte, čo oddeľuje dobrú vzorku od zlej, bez toho, aby ste za sebou nechali tri nepotrebné hlasy.
Kľúčové poznatky
- Parameter
ref_audiovám umožňuje klonovať hlas bez jeho uloženia - Referenčné audio je zakódované v base64 a odoslané priamo v požiadavke
- Klonovanie za behu je ideálne na testovanie, príležitostné použitie a zachovanie dôvernosti
- Pre pravidelné použitie uprednostnite uložený hlas (nižšia latencia, menšia šírka pásma)
- Môžete testovať pomocou
ref_audioa následne uložiť hlas, keď ste spokojní