Pereiti prie pagrindinio turinio
Lietuvių— Pasirinkite kalbą
Meniu

Klonavimas realiuoju laiku

Paskaita 9 iš 14 Atnaujinta 2026 m. lapkričio 3 d. Kūrėjas
Šiame puslapyje
  1. Klonavimas neišsaugant
  2. Trys scenarijai, kai šis būdas yra geriausias
  3. voice_id prieš ref_audio: skirtumai
  4. Abiejų būdų derinimas
  5. Svarbiausi punktai

Kursas atnaujintas 2026 m. lapkričio 3 d. „Voxtral TTS 3“ versijai, remiantis Migracijos iš „Voxtral 2“ vadovu ir „Mistral“ Teksto pavertimo kalba puslapiais: voxtral-mini-tts-2603, pasenęs 2026 m. spalio 31 d. ir pašalintas 2027 m. balandžio 30 d., pavyzdžiuose pakeistas į voxtral-mini-tts-3-0. Iš anksto nustatyti „Voxtral 2“ balsai (gb_jane_neutral…) vis dar priimami; „Voxtral 3“ prideda [emotion=…] ir [pace=…] žymas tekste, expressiveness nustatymą, tinkinamą tarimą (phoneme_hints) ir 35 kalbas. „Mistral“ rekomenduoja po migracijos iš naujo išmatuoti delsą. Šaltiniai: Migracija iš „Voxtral 2“ · Kalbos generavimas.

Klonavimas neišsaugant

Ankstesnėje pamokoje buvo naudojamas išsaugotas balsas, sukurtas iš anksto per „Voices“ API ir nurodomas pagal jo voice_id. „Voxtral“ siūlo antrą kelią: klonavimą realiuoju laiku, kai etaloninį garso įrašą pateiki tiesiogiai generavimo užklausoje. Jūsų paskyroje nesukuriamas joks objektas: mėginys naudojamas tik tai konkrečiai užklausai, o vėliau pašalinamas.

Praktiškai vietoj voice_id naudoji ref_audio, kuris tikisi base64 koduoto garso mėginio. Likusi užklausos dalis lieka nepakitusi.

import base64
from pathlib import Path
from mistralai.client import Mistral

client = Mistral(api_key="your-api-key")

# Užkoduoti etaloninį garso įrašą
ref_audio_b64 = base64.b64encode(
    Path("reference.mp3").read_bytes()
).decode()

# Generuoti naudojant klonavimą realiuoju laiku
response = client.audio.speech.complete(
    model="voxtral-mini-tts-3-0",
    input="This speech will resemble the reference voice.",
    ref_audio=ref_audio_b64,
    response_format="wav",
)

audio_bytes = base64.b64decode(response.audio_data)
Path("cloned-output.wav").write_bytes(audio_bytes)
print("Audio generated with on-the-fly cloning!")

Trys scenarijai, kai šis būdas yra geriausias

Pirmasis – prototipų kūrimas. Kai ieškai tinkamo etaloninio mėginio, gali tekti išbandyti dešimt, penkiolika ar net daugiau variantų. Sukūrus tiek balsų savo paskyroje, vėliau teks juos visus rankiniu būdu surasti ir ištrinti vieną po kito. Naudojant ref_audio, tavo testavimo ciklas serveryje nepalieka jokių pėdsakų, todėl rezultatus gali lyginti tiesiog klausydamasis sugeneruotų failų.

# Greitai ištestuoti kelis mėginius
samples = ["sample1.mp3", "sample2.mp3", "sample3.mp3"]

for file in samples:
    ref_b64 = base64.b64encode(Path(file).read_bytes()).decode()
    response = client.audio.speech.complete(
        model="voxtral-mini-tts-3-0",
        input="This is a voice quality test.",
        ref_audio=ref_b64,
        response_format="mp3",
    )
    output = f"test-{Path(file).stem}.mp3"
    Path(output).write_bytes(base64.b64decode(response.audio_data))
    print(f"Generated: {output}")

Antrasis scenarijus – epizodinis naudojimas. Asmeninė gimtadienio žinutė mylimo žmogaus balsu arba klientui skirta demonstracija, paruošta konkrečiam susitikimui: jei balsas bus naudojamas tik vieną kartą, nėra prasmės jo visam laikui įdiegti į savo paskyrą.

Trečiasis – konfidencialumas. Etaloninis garso įrašas, siunčiamas per ref_audio, serveryje nėra saugomas. Jei dirbi su paciento, liudytojo ar vadovo balsu, šis skirtumas nėra tik kosmetinis: jis keičia tai, ką privalai deklaruoti savo duomenų tvarkymo registre, ir tai, ką turi ištrinti gavęs atitinkamą prašymą.

voice_id prieš ref_audio: skirtumai

Kriterijusvoice_idref_audio
IšliekamumasBalsas išsaugotas paskyrojeNėra išliekamumo
Pakartotinis naudojimasNeribotasVienai užklausai
DelsaŠiek tiek mažesnė (balas jau apdorotas)Šiek tiek didesnė (apdorojama kiekvieną kartą)
ValdymasPilnas CRUD (keisti, trinti)Nieko valdyti nereikia
Tinklo sąnaudosTik voice_id (keli baitai)Visas garso įrašas kiekvienoje užklausoje
KonfidencialumasGarso įrašas saugomas debesyjeGarso įrašas nesaugomas

Sprendimo taisyklė redukuojama iki naudojimo dažnumo. Balsui, naudojamam kasdien – pavyzdžiui, programos pasakotojui ar prekės ženklo atstovui – verta sukurti naudojant client.audio.voices.create(): taip sutaupai pralaidumą, nes nereikia siųsti mėginio su kiekviena užklausa, ir laimi apdorojimo laiką, skirtą etalonui. Balsui, kurį testuoji arba naudosite tik vieną kartą, geriau rinktis ref_audio, taip palikdamas nieko, ką reikėtų valyti.

Abiejų būdų derinimas

Šie du metodai nėra mutuariai exclusive; efektyviausia darbo eiga juos naudoja nuosekliai. Pirmiausia rask tinkamą mėginį naudodamas ref_audio ir išklausydamas kiekvieną rezultatą. Kai kandidatas tave patenkins, panaudok tą pačią base64 eilutę (jau esančią atmintyje), kad sukurtum galutinį balsą su jo pavadinimu, kalbomis ir lytimi.

# 1 etapas: greitas testas su ref_audio
ref_b64 = base64.b64encode(Path("my-voice.mp3").read_bytes()).decode()
response = client.audio.speech.complete(
    model="voxtral-mini-tts-3-0",
    input="Quality test.",
    ref_audio=ref_b64,
    response_format="mp3",
)
# Išklausyti rezultatą...

# 2 etapas: patenkintas? Išsaugoti balsą
voice = client.audio.voices.create(
    name="my-validated-voice",
    sample_audio=ref_b64,
    sample_filename="my-voice.mp3",
    languages=["fr"],
    gender="male",
)
print(f"Voice saved: {voice.id}")

Praktikuokis su trimis savo balso įrašais, padarytais trimis skirtingomis sąlygomis – ausinių mikrofonu, telefonu ir aidinčioje patalpoje. Sugeneruok tą pačią frazę su kiekvienu iš jų naudodamas ref_audio, išklausyk ir tada išsaugok tik nugalėtoją. Per dešimt minučių suprasi, kas skiria gerą mėginį nuo blogo, nepalikdamas trijų nenaudingų balsų.

Svarbiausi punktai

  • Parametras ref_audio leidžia klonuoti balsą neišsaugant jo
  • Etaloninis garso įrašas koduojamas base64 ir siunčiamas tiesiogiai užklausoje
  • Klonavimas realiuoju laiku idealiai tinka testavimui, epizodiniam naudojimui ir konfidencialumui užtikrinti
  • Reguliariam naudojimui rinkis išsaugotą balsą (mažesnė delsa, mažesnės pralaidumo sąnaudos)
  • Gali testuoti naudodamas ref_audio, o balsą išsaugoti tik tada, kai esi patenkintas rezultatu