Spring til hovedindhold
Dansk— Vælg et sprog
Menu

Kloning af stemme i realtid

Lektion 9 af 14 Opdateret 3. november 2026 Udvikler
På denne side
  1. Kloning uden lagring
  2. Tre scenarier, hvor denne metode skinner
  3. voice_id kontra ref_audio: Forskellene
  4. Kombination af begge tilgange
  5. Vigtige pointer

Kurset opdateret 3. november 2026 til Voxtral TTS 3, baseret på guiden Migrate from Voxtral 2 og Mistrals sider om Text to Speech: voxtral-mini-tts-2603, som blev udfaset 31. oktober 2026 og trukket tilbage 30. april 2027, erstattes i eksemplerne af voxtral-mini-tts-3-0. Voxtral 2’s foruddefinerede stemmer (gb_jane_neutral…) accepteres stadig; Voxtral 3 tilføjer [emotion=…]- og [pace=…]-tags i teksten, indstillingen expressiveness, brugerdefineret udtale (phoneme_hints) samt support for 35 sprog. Mistral anbefaler, at du genmåler ventetiden efter migrationen. Kilder: Migrate from Voxtral 2 · Speech generation.

Kloning uden lagring

Den foregående lektion byggede på en gemt stemme, oprettet på forhånd via Voices API og refereret til via sit voice_id. Voxtral tilbyder en anden vej: kloning i realtid (on-the-fly), hvor du leverer referenceaudioen direkte i genereringsanmodningen. Der oprettes intet objekt på din konto: prøven bruges kun til denne specifikke anmodning og kasseres derefter.

I praksis erstatter du voice_id med ref_audio, som forventer lydprøven kodet i base64. Resten af kaldet forbliver uændret.

import base64
from pathlib import Path
from mistralai.client import Mistral

client = Mistral(api_key="your-api-key")

# Kod referenceaudioen
ref_audio_b64 = base64.b64encode(
    Path("reference.mp3").read_bytes()
).decode()

# Generér med kloning i realtid
response = client.audio.speech.complete(
    model="voxtral-mini-tts-3-0",
    input="This speech will resemble the reference voice.",
    ref_audio=ref_audio_b64,
    response_format="wav",
)

audio_bytes = base64.b64decode(response.audio_data)
Path("cloned-output.wav").write_bytes(audio_bytes)
print("Audio generated with on-the-fly cloning!")

Tre scenarier, hvor denne metode skinner

Det første er prototyping. Når du leder efter den rette referenceprøve, vil du måske afprøve ti, femten eller endnu flere. At oprette så mange stemmer på din konto betyder, at du senere skal finde og slette dem én efter én. Med ref_audio efterlader din testløkke intet spor på serveren, så du kan sammenligne gengivelser simpelthen ved at lytte til de producerede filer.

# Test hurtigt flere prøver
samples = ["sample1.mp3", "sample2.mp3", "sample3.mp3"]

for file in samples:
    ref_b64 = base64.b64encode(Path(file).read_bytes()).decode()
    response = client.audio.speech.complete(
        model="voxtral-mini-tts-3-0",
        input="This is a voice quality test.",
        ref_audio=ref_b64,
        response_format="mp3",
    )
    output = f"test-{Path(file).stem}.mp3"
    Path(output).write_bytes(base64.b64decode(response.audio_data))
    print(f"Generated: {output}")

Det andet scenarie er lejlighedsvis brug. En personlig fødselsdagsbesked med en elskets stemme eller en kundedemo forberedt til et specifikt møde: hvis stemmen kun skal bruges én gang, er der ingen grund til at installere den permanent på din konto.

Det tredje er fortrolighed. Referenceaudio sendt via ref_audio gemmes ikke på serveren. Hvis du håndterer stemmen fra en patient, et vidne eller en direktør, er denne forskel ikke kosmetisk: den ændrer, hvad du skal deklarere i dit register over databehandling, og hvad du skal slette i tilfælde af en anmodning herom.

voice_id kontra ref_audio: Forskellene

Kriteriumvoice_idref_audio
PersistensStemme gemt på kontoIngen persistens
GenanvendelighedUbegrænsetPr. anmodning
VentetidLidt hurtigere (stemme allerede behandlet)Lidt langsommere (behandling ved hvert kald)
HåndteringFuld CRUD (ændr, slet)Intet at håndtere
NetværksomkostningKun voice_id (få bytes)Fuld audio ved hver anmodning
FortrolighedAudio gemt i skyenAudio ikke gemt

Beslutningsreglen koges ned til brugshyppighed. En stemme, der bruges hver dag – f.eks. en fortæller i en applikation eller en brand-ambassadør – fortjener at blive oprettet med client.audio.voices.create(): du sparer båndbredden ved at sende en prøve med hvert kald, og du vinder den behandlingstid, referencen kræver. En stemme, du tester eller kun vil bruge én gang, bør gå gennem ref_audio, så du står tilbage med intet at rydde op i.

Kombination af begge tilgange

Disse to metoder udelukker ikke hinanden; det mest effektive arbejdsgang sætter dem i rækkefølge. Find først den rette prøve ved hjælp af ref_audio, og lyt til hvert resultat. Når en kandidat tilfredsstiller dig, genbruger du den samme base64-streng – som allerede ligger i hukommelsen – til at oprette den endelige stemme, komplet med navn, sprog og køn.

# Fase 1: Hurtig test med ref_audio
ref_b64 = base64.b64encode(Path("my-voice.mp3").read_bytes()).decode()
response = client.audio.speech.complete(
    model="voxtral-mini-tts-3-0",
    input="Quality test.",
    ref_audio=ref_b64,
    response_format="mp3",
)
# Lyt til resultatet...

# Fase 2: Tilfreds? Gem stemmen
voice = client.audio.voices.create(
    name="my-validated-voice",
    sample_audio=ref_b64,
    sample_filename="my-voice.mp3",
    languages=["fr"],
    gender="male",
)
print(f"Voice saved: {voice.id}")

Øv dig med tre optagelser af din egen stemme, lavet under tre forskellige forhold – headset-mikrofon, telefon, et rum med ekko. Generér den samme sætning med hver via ref_audio, lyt, og gem derefter kun vinderen. På ti minutter lærer du, hvad der kendetegner en god prøve i forhold til en dårlig, uden at efterlade tre ubrugelige stemmer.

Vigtige pointer

  • Parameteren ref_audio lader dig klone en stemme uden at gemme den
  • Referenceaudio er base64-kodet og sendes direkte i anmodningen
  • Kloning i realtid er ideel til test, lejlighedsvis brug og fortrolighed
  • Til regelmæssig brug bør du foretrække en gemt stemme (lavere ventetid, mindre båndbredde)
  • Du kan teste med ref_audio og derefter gemme stemmen, når du er tilfreds