Siirry pääsisältöön
Suomi— Valitse kieli
Valikko

Kloonaa ääni lennossa

Oppitunti 9 / 14 Päivitetty 3. marraskuuta 2026 Kehittäjä
Tällä sivulla
  1. Kloonaa tallentamatta
  2. Kolme tilannetta, joissa tämä lähestymistapa loistaa
  3. voice_id vs. ref_audio: Erot
  4. Molempien lähestymistapojen yhdistäminen
  5. Keskeiset asiat

Kurssi päivitetty 3. marraskuuta 2026 Voxtral TTS 3:lle perustuen Migrate from Voxtral 2 -oppaaseen ja Mistralin Text to Speech -sivuihin: voxtral-mini-tts-2603, joka on vanhentunut 31. lokakuuta 2026 ja poistettu käytöstä 30. huhtikuuta 2027, on korvattu esimerkeissä mallilla voxtral-mini-tts-3-0. Voxtral 2:n esiasetellut äänet (gb_jane_neutral…) ovat edelleen tuettuja; Voxtral 3 lisää tekstiin [emotion=…]- ja [pace=…]-tagit, expressiveness-asetuksen, mukautetun ääntämyksen (phoneme_hints) sekä tuki 35 kielelle. Mistral suosittelee viiveen uudelleenmittausta siirtymän jälkeen. Lähteet: Migrate from Voxtral 2 · Speech generation.

Kloonaa tallentamatta

Edellinen oppitunti perustui tallennettuun ääneen, joka oli luotu etukäteen Voices API:n kautta ja johon viitattiin sen voice_id:llä. Voxtral tarjoaa toisenkin tavan: kloonauksen lennossa (on-the-fly), jossa tarjoat referenssiäänen suoraan generointipyynnössä. Tilillesi ei luoda mitään objektia: näyte palvelee vain kyseistä pyyntöä, minkä jälkeen se hylätään.

Käytännössä korvaat voice_id:n parametrilla ref_audio, joka odottaa base64-koodattua ääninäytettä. Muu kutsu pysyy muuttumattomana.

import base64
from pathlib import Path
from mistralai.client import Mistral

client = Mistral(api_key="your-api-key")

# Koodaa referenssiääni
ref_audio_b64 = base64.b64encode(
    Path("reference.mp3").read_bytes()
).decode()

# Generoi kloonauksella lennossa
response = client.audio.speech.complete(
    model="voxtral-mini-tts-3-0",
    input="This speech will resemble the reference voice.",
    ref_audio=ref_audio_b64,
    response_format="wav",
)

audio_bytes = base64.b64decode(response.audio_data)
Path("cloned-output.wav").write_bytes(audio_bytes)
print("Audio generated with on-the-fly cloning!")

Kolme tilannetta, joissa tämä lähestymistapa loistaa

Ensimmäinen on prototyyppaus. Kun etsit oikeaa referenssinäytettä, saatat kokeilla kymmentä, viittätoista tai jopa useampaa vaihtoehtoa. Näin monen äänen luominen tilillesi tarkoittaa, että joudut myöhemmin etsimään ja poistamaan ne yksi kerrallaan. ref_audio:n avulla testisilmukkasi ei jätä jälkiä palvelimelle, joten voit verrata tuloksia yksinkertaisesti kuuntelemalla tuotetut tiedostot.

# Testaa nopeasti useita näytteitä
samples = ["sample1.mp3", "sample2.mp3", "sample3.mp3"]

for file in samples:
    ref_b64 = base64.b64encode(Path(file).read_bytes()).decode()
    response = client.audio.speech.complete(
        model="voxtral-mini-tts-3-0",
        input="This is a voice quality test.",
        ref_audio=ref_b64,
        response_format="mp3",
    )
    output = f"test-{Path(file).stem}.mp3"
    Path(output).write_bytes(base64.b64decode(response.audio_data))
    print(f"Generated: {output}")

Toinen tilanne on satunnainen käyttö. Henkilökohtainen syntymäpäiväviesti läheisen äänellä tai asiakasesittely, joka on valmisteltu tiettyä tapaamista varten: jos ääntä käytetään vain kerran, sitä ei kannata asentaa pysyvästi tilillesi.

Kolmas on luottamuksellisuus. ref_audio:n kautta lähetettyä referenssiääntä ei tallenneta palvelimelle. Jos käsittelet potilaan, todistajan tai johtajan ääntä, tämä ero ei ole kosmeettinen: se muuttaa sitä, mitä sinun on ilmoitettava käsittelyrekisterissäsi ja mitä sinun on poistettava pyynnön sattuessa.

voice_id vs. ref_audio: Erot

Kriteriovoice_idref_audio
PysyvyysÄäni tallennettu tililleEi pysyvyyttä
UudelleenkäytettävyysRajoittamatonPer pyyntö
ViiveHieman nopeampi (ääni jo käsitelty)Hieman hitaampi (käsittely jokaisessa kutsussa)
HallintaTäysi CRUD (muokkaus, poisto)Ei hallittavaa
VerkkokustannusVain voice_id (muutama tavu)Koko ääni jokaisessa pyynnössä
LuottamuksellisuusÄäni tallennettu pilveenÄäntä ei tallenneta

Päätössääntö tiivistyy käyttökertojen tiheyteen. Ääni, jota käytetään päivittäin – kuten sovelluksen kertoja tai brändin puhemies – ansaitsee tulla luoduksi komennolla client.audio.voices.create(): säästät kaistanleveyttä, kun sinun ei tarvitse lähettää näytettä jokaisessa kutsussa, ja voitat referenssin käsittelyajan. Ääni, jota testaat tai käytät vain kerran, kannattaa hoitaa ref_audio:n kautta, jolloin sinulle ei jää mitään siivottavaa.

Molempien lähestymistapojen yhdistäminen

Nämä kaksi menetelmää eivät sulje toisiaan pois; tehokkain työvaihe asettaa ne peräkkäin. Etsi ensin oikea näyte käyttämällä ref_audio:ta ja kuuntele jokaista tulosta. Kun ehdokas miellyttää sinua, käytä samaa base64-merkkijonoa – joka on jo muistissa – luodaksesi varsinaisen äänen täydennettynä sen nimellä, kielillä ja sukupuolella.

# Vaihe 1: Nopea testi ref_audio:lla
ref_b64 = base64.b64encode(Path("my-voice.mp3").read_bytes()).decode()
response = client.audio.speech.complete(
    model="voxtral-mini-tts-3-0",
    input="Quality test.",
    ref_audio=ref_b64,
    response_format="mp3",
)
# Kuuntele tulos...

# Vaihe 2: Tyytyväinen? Tallenna ääni
voice = client.audio.voices.create(
    name="my-validated-voice",
    sample_audio=ref_b64,
    sample_filename="my-voice.mp3",
    languages=["fr"],
    gender="male",
)
print(f"Voice saved: {voice.id}")

Harjoittele kolmella omalla äänitykselläsi, jotka on tehty kolmessa eri olosuhteessa – kuulokemikrofoni, puhelin, kaikuisa huone. Generoi sama lause kullakin ref_audio:n kautta, kuuntele ja tallenna sitten vain voittaja. Kymmenessä minuutissa opit erottamaan hyvän näytteen huonosta jättämättä perääsi kolmea hyödytöntä ääntä.

Keskeiset asiat

  • ref_audio-parametri antaa sinun kloonata äänen tallentamatta sitä
  • Referenssiääni koodataan base64-muotoon ja lähetetään suoraan pyynnössä
  • Kloonaus lennossa on ihanteellinen testaamiseen, satunnaiseen käyttöön ja luottamuksellisuuteen
  • Säännölliseen käyttöön suosi tallennettua ääntä (pienempi viive, vähemmän kaistanleveyttä)
  • Voit testata ref_audio:lla ja tallentaa äänen vasta, kun olet tyytyväinen