Kloonaa ääni lennossa
Tällä sivulla
Kurssi päivitetty 3. marraskuuta 2026 Voxtral TTS 3:lle perustuen Migrate from Voxtral 2 -oppaaseen ja Mistralin Text to Speech -sivuihin:
voxtral-mini-tts-2603, joka on vanhentunut 31. lokakuuta 2026 ja poistettu käytöstä 30. huhtikuuta 2027, on korvattu esimerkeissä mallillavoxtral-mini-tts-3-0. Voxtral 2:n esiasetellut äänet (gb_jane_neutral…) ovat edelleen tuettuja; Voxtral 3 lisää tekstiin[emotion=…]- ja[pace=…]-tagit,expressiveness-asetuksen, mukautetun ääntämyksen (phoneme_hints) sekä tuki 35 kielelle. Mistral suosittelee viiveen uudelleenmittausta siirtymän jälkeen. Lähteet: Migrate from Voxtral 2 · Speech generation.
Kloonaa tallentamatta
Edellinen oppitunti perustui tallennettuun ääneen, joka oli luotu etukäteen Voices API:n kautta ja johon viitattiin sen voice_id:llä. Voxtral tarjoaa toisenkin tavan: kloonauksen lennossa (on-the-fly), jossa tarjoat referenssiäänen suoraan generointipyynnössä. Tilillesi ei luoda mitään objektia: näyte palvelee vain kyseistä pyyntöä, minkä jälkeen se hylätään.
Käytännössä korvaat voice_id:n parametrilla ref_audio, joka odottaa base64-koodattua ääninäytettä. Muu kutsu pysyy muuttumattomana.
import base64
from pathlib import Path
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
# Koodaa referenssiääni
ref_audio_b64 = base64.b64encode(
Path("reference.mp3").read_bytes()
).decode()
# Generoi kloonauksella lennossa
response = client.audio.speech.complete(
model="voxtral-mini-tts-3-0",
input="This speech will resemble the reference voice.",
ref_audio=ref_audio_b64,
response_format="wav",
)
audio_bytes = base64.b64decode(response.audio_data)
Path("cloned-output.wav").write_bytes(audio_bytes)
print("Audio generated with on-the-fly cloning!")
Kolme tilannetta, joissa tämä lähestymistapa loistaa
Ensimmäinen on prototyyppaus. Kun etsit oikeaa referenssinäytettä, saatat kokeilla kymmentä, viittätoista tai jopa useampaa vaihtoehtoa. Näin monen äänen luominen tilillesi tarkoittaa, että joudut myöhemmin etsimään ja poistamaan ne yksi kerrallaan. ref_audio:n avulla testisilmukkasi ei jätä jälkiä palvelimelle, joten voit verrata tuloksia yksinkertaisesti kuuntelemalla tuotetut tiedostot.
# Testaa nopeasti useita näytteitä
samples = ["sample1.mp3", "sample2.mp3", "sample3.mp3"]
for file in samples:
ref_b64 = base64.b64encode(Path(file).read_bytes()).decode()
response = client.audio.speech.complete(
model="voxtral-mini-tts-3-0",
input="This is a voice quality test.",
ref_audio=ref_b64,
response_format="mp3",
)
output = f"test-{Path(file).stem}.mp3"
Path(output).write_bytes(base64.b64decode(response.audio_data))
print(f"Generated: {output}")
Toinen tilanne on satunnainen käyttö. Henkilökohtainen syntymäpäiväviesti läheisen äänellä tai asiakasesittely, joka on valmisteltu tiettyä tapaamista varten: jos ääntä käytetään vain kerran, sitä ei kannata asentaa pysyvästi tilillesi.
Kolmas on luottamuksellisuus. ref_audio:n kautta lähetettyä referenssiääntä ei tallenneta palvelimelle. Jos käsittelet potilaan, todistajan tai johtajan ääntä, tämä ero ei ole kosmeettinen: se muuttaa sitä, mitä sinun on ilmoitettava käsittelyrekisterissäsi ja mitä sinun on poistettava pyynnön sattuessa.
voice_id vs. ref_audio: Erot
| Kriterio | voice_id | ref_audio |
|---|---|---|
| Pysyvyys | Ääni tallennettu tilille | Ei pysyvyyttä |
| Uudelleenkäytettävyys | Rajoittamaton | Per pyyntö |
| Viive | Hieman nopeampi (ääni jo käsitelty) | Hieman hitaampi (käsittely jokaisessa kutsussa) |
| Hallinta | Täysi CRUD (muokkaus, poisto) | Ei hallittavaa |
| Verkkokustannus | Vain voice_id (muutama tavu) | Koko ääni jokaisessa pyynnössä |
| Luottamuksellisuus | Ääni tallennettu pilveen | Ääntä ei tallenneta |
Päätössääntö tiivistyy käyttökertojen tiheyteen. Ääni, jota käytetään päivittäin – kuten sovelluksen kertoja tai brändin puhemies – ansaitsee tulla luoduksi komennolla client.audio.voices.create(): säästät kaistanleveyttä, kun sinun ei tarvitse lähettää näytettä jokaisessa kutsussa, ja voitat referenssin käsittelyajan. Ääni, jota testaat tai käytät vain kerran, kannattaa hoitaa ref_audio:n kautta, jolloin sinulle ei jää mitään siivottavaa.
Molempien lähestymistapojen yhdistäminen
Nämä kaksi menetelmää eivät sulje toisiaan pois; tehokkain työvaihe asettaa ne peräkkäin. Etsi ensin oikea näyte käyttämällä ref_audio:ta ja kuuntele jokaista tulosta. Kun ehdokas miellyttää sinua, käytä samaa base64-merkkijonoa – joka on jo muistissa – luodaksesi varsinaisen äänen täydennettynä sen nimellä, kielillä ja sukupuolella.
# Vaihe 1: Nopea testi ref_audio:lla
ref_b64 = base64.b64encode(Path("my-voice.mp3").read_bytes()).decode()
response = client.audio.speech.complete(
model="voxtral-mini-tts-3-0",
input="Quality test.",
ref_audio=ref_b64,
response_format="mp3",
)
# Kuuntele tulos...
# Vaihe 2: Tyytyväinen? Tallenna ääni
voice = client.audio.voices.create(
name="my-validated-voice",
sample_audio=ref_b64,
sample_filename="my-voice.mp3",
languages=["fr"],
gender="male",
)
print(f"Voice saved: {voice.id}")
Harjoittele kolmella omalla äänitykselläsi, jotka on tehty kolmessa eri olosuhteessa – kuulokemikrofoni, puhelin, kaikuisa huone. Generoi sama lause kullakin ref_audio:n kautta, kuuntele ja tallenna sitten vain voittaja. Kymmenessä minuutissa opit erottamaan hyvän näytteen huonosta jättämättä perääsi kolmea hyödytöntä ääntä.
Keskeiset asiat
ref_audio-parametri antaa sinun kloonata äänen tallentamatta sitä- Referenssiääni koodataan base64-muotoon ja lähetetään suoraan pyynnössä
- Kloonaus lennossa on ihanteellinen testaamiseen, satunnaiseen käyttöön ja luottamuksellisuuteen
- Säännölliseen käyttöön suosi tallennettua ääntä (pienempi viive, vähemmän kaistanleveyttä)
- Voit testata
ref_audio:lla ja tallentaa äänen vasta, kun olet tyytyväinen