Klonavimas realiuoju laiku
Šiame puslapyje
Kursas atnaujintas 2026 m. lapkričio 3 d. „Voxtral TTS 3“ versijai, remiantis Migracijos iš „Voxtral 2“ vadovu ir „Mistral“ Teksto pavertimo kalba puslapiais:
voxtral-mini-tts-2603, pasenęs 2026 m. spalio 31 d. ir pašalintas 2027 m. balandžio 30 d., pavyzdžiuose pakeistas įvoxtral-mini-tts-3-0. Iš anksto nustatyti „Voxtral 2“ balsai (gb_jane_neutral…) vis dar priimami; „Voxtral 3“ prideda[emotion=…]ir[pace=…]žymas tekste,expressivenessnustatymą, tinkinamą tarimą (phoneme_hints) ir 35 kalbas. „Mistral“ rekomenduoja po migracijos iš naujo išmatuoti delsą. Šaltiniai: Migracija iš „Voxtral 2“ · Kalbos generavimas.
Klonavimas neišsaugant
Ankstesnėje pamokoje buvo naudojamas išsaugotas balsas, sukurtas iš anksto per „Voices“ API ir nurodomas pagal jo voice_id. „Voxtral“ siūlo antrą kelią: klonavimą realiuoju laiku, kai etaloninį garso įrašą pateiki tiesiogiai generavimo užklausoje. Jūsų paskyroje nesukuriamas joks objektas: mėginys naudojamas tik tai konkrečiai užklausai, o vėliau pašalinamas.
Praktiškai vietoj voice_id naudoji ref_audio, kuris tikisi base64 koduoto garso mėginio. Likusi užklausos dalis lieka nepakitusi.
import base64
from pathlib import Path
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
# Užkoduoti etaloninį garso įrašą
ref_audio_b64 = base64.b64encode(
Path("reference.mp3").read_bytes()
).decode()
# Generuoti naudojant klonavimą realiuoju laiku
response = client.audio.speech.complete(
model="voxtral-mini-tts-3-0",
input="This speech will resemble the reference voice.",
ref_audio=ref_audio_b64,
response_format="wav",
)
audio_bytes = base64.b64decode(response.audio_data)
Path("cloned-output.wav").write_bytes(audio_bytes)
print("Audio generated with on-the-fly cloning!")
Trys scenarijai, kai šis būdas yra geriausias
Pirmasis – prototipų kūrimas. Kai ieškai tinkamo etaloninio mėginio, gali tekti išbandyti dešimt, penkiolika ar net daugiau variantų. Sukūrus tiek balsų savo paskyroje, vėliau teks juos visus rankiniu būdu surasti ir ištrinti vieną po kito. Naudojant ref_audio, tavo testavimo ciklas serveryje nepalieka jokių pėdsakų, todėl rezultatus gali lyginti tiesiog klausydamasis sugeneruotų failų.
# Greitai ištestuoti kelis mėginius
samples = ["sample1.mp3", "sample2.mp3", "sample3.mp3"]
for file in samples:
ref_b64 = base64.b64encode(Path(file).read_bytes()).decode()
response = client.audio.speech.complete(
model="voxtral-mini-tts-3-0",
input="This is a voice quality test.",
ref_audio=ref_b64,
response_format="mp3",
)
output = f"test-{Path(file).stem}.mp3"
Path(output).write_bytes(base64.b64decode(response.audio_data))
print(f"Generated: {output}")
Antrasis scenarijus – epizodinis naudojimas. Asmeninė gimtadienio žinutė mylimo žmogaus balsu arba klientui skirta demonstracija, paruošta konkrečiam susitikimui: jei balsas bus naudojamas tik vieną kartą, nėra prasmės jo visam laikui įdiegti į savo paskyrą.
Trečiasis – konfidencialumas. Etaloninis garso įrašas, siunčiamas per ref_audio, serveryje nėra saugomas. Jei dirbi su paciento, liudytojo ar vadovo balsu, šis skirtumas nėra tik kosmetinis: jis keičia tai, ką privalai deklaruoti savo duomenų tvarkymo registre, ir tai, ką turi ištrinti gavęs atitinkamą prašymą.
voice_id prieš ref_audio: skirtumai
| Kriterijus | voice_id | ref_audio |
|---|---|---|
| Išliekamumas | Balsas išsaugotas paskyroje | Nėra išliekamumo |
| Pakartotinis naudojimas | Neribotas | Vienai užklausai |
| Delsa | Šiek tiek mažesnė (balas jau apdorotas) | Šiek tiek didesnė (apdorojama kiekvieną kartą) |
| Valdymas | Pilnas CRUD (keisti, trinti) | Nieko valdyti nereikia |
| Tinklo sąnaudos | Tik voice_id (keli baitai) | Visas garso įrašas kiekvienoje užklausoje |
| Konfidencialumas | Garso įrašas saugomas debesyje | Garso įrašas nesaugomas |
Sprendimo taisyklė redukuojama iki naudojimo dažnumo. Balsui, naudojamam kasdien – pavyzdžiui, programos pasakotojui ar prekės ženklo atstovui – verta sukurti naudojant client.audio.voices.create(): taip sutaupai pralaidumą, nes nereikia siųsti mėginio su kiekviena užklausa, ir laimi apdorojimo laiką, skirtą etalonui. Balsui, kurį testuoji arba naudosite tik vieną kartą, geriau rinktis ref_audio, taip palikdamas nieko, ką reikėtų valyti.
Abiejų būdų derinimas
Šie du metodai nėra mutuariai exclusive; efektyviausia darbo eiga juos naudoja nuosekliai. Pirmiausia rask tinkamą mėginį naudodamas ref_audio ir išklausydamas kiekvieną rezultatą. Kai kandidatas tave patenkins, panaudok tą pačią base64 eilutę (jau esančią atmintyje), kad sukurtum galutinį balsą su jo pavadinimu, kalbomis ir lytimi.
# 1 etapas: greitas testas su ref_audio
ref_b64 = base64.b64encode(Path("my-voice.mp3").read_bytes()).decode()
response = client.audio.speech.complete(
model="voxtral-mini-tts-3-0",
input="Quality test.",
ref_audio=ref_b64,
response_format="mp3",
)
# Išklausyti rezultatą...
# 2 etapas: patenkintas? Išsaugoti balsą
voice = client.audio.voices.create(
name="my-validated-voice",
sample_audio=ref_b64,
sample_filename="my-voice.mp3",
languages=["fr"],
gender="male",
)
print(f"Voice saved: {voice.id}")
Praktikuokis su trimis savo balso įrašais, padarytais trimis skirtingomis sąlygomis – ausinių mikrofonu, telefonu ir aidinčioje patalpoje. Sugeneruok tą pačią frazę su kiekvienu iš jų naudodamas ref_audio, išklausyk ir tada išsaugok tik nugalėtoją. Per dešimt minučių suprasi, kas skiria gerą mėginį nuo blogo, nepalikdamas trijų nenaudingų balsų.
Svarbiausi punktai
- Parametras
ref_audioleidžia klonuoti balsą neišsaugant jo - Etaloninis garso įrašas koduojamas base64 ir siunčiamas tiesiogiai užklausoje
- Klonavimas realiuoju laiku idealiai tinka testavimui, epizodiniam naudojimui ir konfidencialumui užtikrinti
- Reguliariam naudojimui rinkis išsaugotą balsą (mažesnė delsa, mažesnės pralaidumo sąnaudos)
- Gali testuoti naudodamas
ref_audio, o balsą išsaugoti tik tada, kai esi patenkintas rezultatu