Klonování hlasu za běhu
Na této stránce
Kurz aktualizován 3. listopadu 2026 pro Voxtral TTS 3 na základě průvodce Migrace z Voxtral 2 a stránek Mistralu Text to Speech: model
voxtral-mini-tts-2603, zastaralý k 31. říjnu 2026 a vyřazený k 30. dubnu 2027, je v příkladech nahrazen modelemvoxtral-mini-tts-3-0. Předdefinované hlasy Voxtral 2 (gb_jane_neutral…) zůstávají podporovány; Voxtral 3 přidává do textu značky[emotion=…]a[pace=…], nastaveníexpressiveness, vlastní výslovnost (phoneme_hints) a podporu 35 jazyků. Mistral doporučuje po migraci znovu změřit latenci. Zdroje: Migrace z Voxtral 2 · Generování řeči.
Klonování bez ukládání
Předchozí lekce spoléhala na uložený hlas, který byl předem vytvořen prostřednictvím Voices API a odkazován pomocí svého voice_id. Voxtral nabízí druhou cestu: klonování za běhu (on-the-fly), kdy referenční audio poskytneš přímo v požadavku na generování. Ve tvém účtu se nevytvoří žádný objekt: ukázka slouží pouze pro tento konkrétní požadavek a následně je zahoděna.
V praxi nahradíš voice_id parametrem ref_audio, který očekává audio ukázku zakódovanou v base64. Zbytek volání zůstává nezměněn.
import base64
from pathlib import Path
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
# Zakódování referenčního audia
ref_audio_b64 = base64.b64encode(
Path("reference.mp3").read_bytes()
).decode()
# Generování s klonováním za běhu
response = client.audio.speech.complete(
model="voxtral-mini-tts-3-0",
input="Tato řeč bude připomínat referenční hlas.",
ref_audio=ref_audio_b64,
response_format="wav",
)
audio_bytes = base64.b64decode(response.audio_data)
Path("cloned-output.wav").write_bytes(audio_bytes)
print("Audio vygenerováno s klonováním za běhu!")
Tři scénáře, kde tento přístup vyniká
Prvním je prototypování. Když hledáš tu správnou referenční ukázku, můžeš jich vyzkoušet deset, patnáct nebo i více. Vytvoření tolika hlasů ve tvém účtu by znamenalo, že je budeš muset později jeden po druhém hledat a mazat. Díky ref_audio nezanechává tvůj testovací cyklus na serveru žádné stopy, což ti umožňuje porovnávat výstupy prostým poslechem vytvořených souborů.
# Rychlé testování více ukázek
samples = ["sample1.mp3", "sample2.mp3", "sample3.mp3"]
for file in samples:
ref_b64 = base64.b64encode(Path(file).read_bytes()).decode()
response = client.audio.speech.complete(
model="voxtral-mini-tts-3-0",
input="Toto je test kvality hlasu.",
ref_audio=ref_b64,
response_format="mp3",
)
output = f"test-{Path(file).stem}.mp3"
Path(output).write_bytes(base64.b64decode(response.audio_data))
print(f"Vygenerováno: {output}")
Druhým scénářem je příležitostné použití. Personalizované přání k narozeninám využívající hlas blízké osoby nebo demo pro klienta připravené na specifickou schůzku: pokud bude hlas použit pouze jednou, není důvod jej trvale instalovat do tvého účtu.
Třetím je důvěrnost. Referenční audio odeslané přes ref_audio není na serveru uloženo. Pokud pracuješ s hlasem pacienta, svědka nebo vedoucího pracovníka, není tento rozdíl jen kosmetický: mění to, co musíš deklarovat v registru zpracování, a co potřebuješ smazat v případě žádosti o výmaz.
voice_id vs. ref_audio: Rozdíly
| Kritérium | voice_id | ref_audio |
|---|---|---|
| Perzistence | Hlas uložen v účtu | Žádná perzistence |
| Opakované použití | Neomezené | Pouze pro daný požadavek |
| Latence | Mírně rychlejší (hlas již zpracován) | Mírně pomalejší (zpracování při každém volání) |
| Správa | Plné CRUD (úprava, mazání) | Nic ke správě |
| Náklady na síť | Pouze voice_id (několik bajtů) | Celé audio při každém požadavku |
| Důvěrnost | Audio uloženo v cloudu | Audio není uloženo |
Pravidlo pro rozhodování se redukuje na četnost použití. Hlas používaný každý den – například vypravěč aplikace nebo mluvčí značky – si zaslouží být vytvořen pomocí client.audio.voices.create(): ušetříš šířku pásma potřebnou k odesílání ukázky při každém volání a získáš čas ušetřený na zpracování reference. Hlas, který testuješ nebo použiješ pouze jednou, by měl projít přes ref_audio, takže ti nezbyde nic, co bys musel čistit.
Kombinace obou přístupů
Tyto dvě metody se navzájem nevylučují; nejefektivnější pracovní postup je řadí za sebe. Nejprve najdi správnou ukázku pomocí ref_audio a poslechni si každý výsledek. Jakmile tě některý kandidát uspokojí, znovu použij stejný řetězec base64 – který již máš v paměti – k vytvoření finálního hlasu, včetně jeho jména, jazyků a pohlaví.
# Fáze 1: Rychlý test s ref_audio
ref_b64 = base64.b64encode(Path("my-voice.mp3").read_bytes()).decode()
response = client.audio.speech.complete(
model="voxtral-mini-tts-3-0",
input="Test kvality.",
ref_audio=ref_b64,
response_format="mp3",
)
# Poslechni si výsledek...
# Fáze 2: Jsi spokojen? Ulož hlas.
voice = client.audio.voices.create(
name="my-validated-voice",
sample_audio=ref_b64,
sample_filename="my-voice.mp3",
languages=["fr"],
gender="male",
)
print(f"Hlas uložen: {voice.id}")
Procvič si to se třemi nahrávkami vlastního hlasu pořízenými za tří různých podmínek – mikrofon na sluchátkách, telefon, místnost s ozvěnou. Vygeneruj stejnou větu s každou z nich pomocí ref_audio, poslechni si je a poté ulož pouze vítěze. Během deseti minut se naučíš, co odlišuje dobrou ukázku od špatné, aniž bys za sebou nechal tři nepoužitelné hlasy.
Klíčové poznatky
- Parametr
ref_audioti umožňuje klonovat hlas bez jeho ukládání - Referenční audio je zakódováno v base64 a odesláno přímo v požadavku
- Klonování za běhu je ideální pro testování, příležitostné použití a zachování důvěrnosti
- Pro pravidelné použití upřednostni uložený hlas (nižší latence, menší šířka pásma)
- Můžeš testovat pomocí
ref_audioa hlas uložit až poté, co budeš spokojen