Hangklónozás menet közben
Ezen az oldalon
A tanfolyam frissítve: 2026. november 3., Voxtral TTS 3 verzióhoz, a Migrálás a Voxtral 2-ről útmutató és a Mistral Szövegből beszéd oldalai alapján: a
voxtral-mini-tts-2603modell, amelyet 2026. október 31-én elavulttá nyilvánítottak és 2027. április 30-án vonnak vissza, a példákban avoxtral-mini-tts-3-0váltotta fel. A Voxtral 2 előre definiált hangjai (pl.gb_jane_neutral…) továbbra is elfogadottak; a Voxtral 3 hozzáadta a szövegben használható[emotion=…]és[pace=…]címkéket, azexpressivenessbeállítást, az egyéni kiejtést (phoneme_hints) és 35 nyelvet támogat. A Mistral javasolja a késleltetés újbóli mérését a migráció után. Források: Migrálás a Voxtral 2-ről · Beszédgenerálás.
Klónozás mentés nélkül
Az előző lecke egy előre elkészített, mentett hangra támaszkodott, amelyet a Voices API-n keresztül hoztál létre, és amelyre a voice_id segítségével hivatkoztál. A Voxtral egy második utat is kínál: a menet közbeni klónozást, ahol a referenciát tartalmazó hangfájlt közvetlenül a generálási kérésben adod meg. Nem jön létre semmilyen objektum a fiókodban: a minta csak ezt az egyetlen kérést szolgálja, majd megsemmisül.
A gyakorlatban a voice_id paramétert a ref_audio paraméterre cseréled, amely base64 kódolású hangmintát vár. A hívás többi része változatlan marad.
import base64
from pathlib import Path
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
# A referenciahang kódolása
ref_audio_b64 = base64.b64encode(
Path("reference.mp3").read_bytes()
).decode()
# Generálás menet közbeni klónozással
response = client.audio.speech.complete(
model="voxtral-mini-tts-3-0",
input="Ez a beszéd hasonlítani fog a referenciahangra.",
ref_audio=ref_audio_b64,
response_format="wav",
)
audio_bytes = base64.b64decode(response.audio_data)
Path("cloned-output.wav").write_bytes(audio_bytes)
print("Hang generálva menet közbeni klónozással!")
Három forgatókönyv, ahol ez a megközelítés kiemelkedő
Az első a prototípus-készítés. Amikor a megfelelő referenciamintát keresed, lehet, hogy tízet, tizenötöt vagy még többet is kipróbálsz. Ennyi hang létrehozása a fiókodban azt jelentené, hogy később egyesével meg kellene keresned és törölnöd őket. A ref_audio használatával a tesztelési ciklusod nem hagy nyomot a szerveren, így egyszerűen a létrehozott fájlok meghallgatásával hasonlíthatod össze az eredményeket.
# Több minta gyors tesztelése
samples = ["sample1.mp3", "sample2.mp3", "sample3.mp3"]
for file in samples:
ref_b64 = base64.b64encode(Path(file).read_bytes()).decode()
response = client.audio.speech.complete(
model="voxtral-mini-tts-3-0",
input="Ez egy hangminőség-teszt.",
ref_audio=ref_b64,
response_format="mp3",
)
output = f"test-{Path(file).stem}.mp3"
Path(output).write_bytes(base64.b64decode(response.audio_data))
print(f"Generálva: {output}")
A második forgatókönyv az alkalmi használat. Egy személyre szabott születésnapi üzenet egy szerette hangján, vagy egy adott találkozóra előkészített ügyféldemó: ha a hangot csak egyszer használod, nincs okod arra, hogy véglegesen telepítsd a fiókodba.
A harmadik a bizalmas adatkezelés. A ref_audio útján elküldött referenciahangot a szerver nem tárolja el. Ha beteg, tanú vagy vezetői hangot kezelsz, ez a különbség nem csupán kozmetikai jellegű: megváltoztatja azt, amit az adatkezelési nyilvántartásodban deklarálnod kell, és azt is, amit egy törlési kérelem esetén törölnöd szükséges.
voice_id vs. ref_audio: A különbségek
| Kritérium | voice_id | ref_audio |
|---|---|---|
| Perzisztencia | Hang mentve a fiókban | Nincs perzisztencia |
| Újrafelhasználhatóság | Korlátlan | Kérésenkénti |
| Késleltetés | Kicsit gyorsabb (a hang már feldolgozva) | Kicsit lassabb (feldolgozás minden híváskor) |
| Kezelés | Teljes CRUD (módosítás, törlés) | Nincs mit kezelni |
| Hálózati költség | Csak a voice_id (néhány bájt) | Teljes hang minden kérésnél |
| Bizalmasság | Hang tárolva a felhőben | Hang nincs tárolva |
A döntési szabály lényege a használat gyakorisága. Egy naponta használt hang – például egy alkalmazás narrátora vagy egy márka szóvivője – megérdemli, hogy a client.audio.voices.create() függvénnyel hozd létre: így megtakarítod a minta minden híváskori elküldésével járó sávszélességet, és nyerészkedsz a referencia feldolgozási idején is. Egy tesztelés alatt álló vagy csak egyszer használandó hang esetén a ref_audio a megfelelő választás, így nem marad utánad takarítanivaló.
Mindkét megközelítés kombinálása
Ez a két módszer nem zárja ki egymást; a leghatékonyabb munkafolyamat sorrendbe helyezi őket. Először a ref_audio segítségével keresed meg a megfelelő mintát, meghallgatva minden egyes eredményt. Ha egy jelölt megfelel, újra felhasználod ugyanazt a memóriában lévő base64 karakterláncot a végleges hang létrehozásához, kiegészítve a névvel, nyelvekkel és nemmel.
# 1. fázis: Gyors teszt ref_audio-val
ref_b64 = base64.b64encode(Path("my-voice.mp3").read_bytes()).decode()
response = client.audio.speech.complete(
model="voxtral-mini-tts-3-0",
input="Minőségteszt.",
ref_audio=ref_b64,
response_format="mp3",
)
# Hallgasd meg az eredményt...
# 2. fázis: Megelégedett? Mentsd el a hangot
voice = client.audio.voices.create(
name="my-validated-voice",
sample_audio=ref_b64,
sample_filename="my-voice.mp3",
languages=["fr"],
gender="male",
)
print(f"Hang elmentve: {voice.id}")
Gyakorolj három saját felvétellel, amelyeket három különböző körülmény között készítettél – fejhallgató-mikrofon, telefon, visszhangos szoba. Generáld le ugyanazt a mondatot mindegyikkel a ref_audio használatával, hallgasd meg őket, majd csak a győztest mentsd el. Tíz perc alatt megtanulod, mi választ el egy jó mintát a rossztól, anélkül, hogy három használhatatlan hangot hagynál magad után.
Főbb megállapítások
- A
ref_audioparaméter lehetővé teszi a hang klónozását mentés nélkül - A referenciahang base64 kódolású, és közvetlenül a kérésben kerül elküldésre
- A menet közbeni klónozás ideális teszteléshez, alkalmi használathoz és bizalmas adatkezeléshez
- Rendszeres használathoz érdemes a mentett hangot preferálni (kisebb késleltetés, kevesebb sávszélesség)
- Tesztelhetsz a
ref_audiosegítségével, majd csak akkor mented el a hangot, ha megelégedett vagy az eredménnyel