Hoppa till huvudinnehåll
Svenska— Välj ett språk
Meny

Kloning av röst i realtid

Lektion 9 av 14 Uppdaterad 3 november 2026 Utvecklare
På denna sida
  1. Klona utan att spara
  2. Tre scenarier där denna metod lyser
  3. voice_id kontra ref_audio: Skillnaderna
  4. Kombinera båda metoderna
  5. Viktiga punkter

Kursen uppdaterad 3 november 2026 för Voxtral TTS 3, baserat på guiden Migrate from Voxtral 2 och Mistrals sidor om Text to Speech: voxtral-mini-tts-2603, avvecklad 31 oktober 2026 och helt borttagen 30 april 2027, ersätts i exemplen med voxtral-mini-tts-3-0. Fördefinierade röster från Voxtral 2 (gb_jane_neutral…) accepteras fortfarande; Voxtral 3 lägger till taggarna [emotion=…] och [pace=…] i texten, inställningen expressiveness, anpassat uttal (phoneme_hints) samt stöd för 35 språk. Mistral rekommenderar att du mäter latensen på nytt efter migreringen. Källor: Migrate from Voxtral 2 · Speech generation.

Klona utan att spara

Föregående lektion förlitade sig på en sparad röst som skapats i förväg via Voices API:t och refererades till via sitt voice_id. Voxtral erbjuder en andra väg: kloning i realtid, där du anger referensljudet direkt i genereringsbegäran. Inget objekt skapas på ditt konto: ljudklippet används endast för den specifika begäran och kasseras därefter.

I praktiken ersätter du voice_id med ref_audio, vilket förväntar sig ljudklippet kodat i base64. Resten av anropet förblir oförändrat.

import base64
from pathlib import Path
from mistralai.client import Mistral

client = Mistral(api_key="your-api-key")

# Koda referensljudet
ref_audio_b64 = base64.b64encode(
    Path("reference.mp3").read_bytes()
).decode()

# Generera med kloning i realtid
response = client.audio.speech.complete(
    model="voxtral-mini-tts-3-0",
    input="This speech will resemble the reference voice.",
    ref_audio=ref_audio_b64,
    response_format="wav",
)

audio_bytes = base64.b64decode(response.audio_data)
Path("cloned-output.wav").write_bytes(audio_bytes)
print("Audio generated with on-the-fly cloning!")

Tre scenarier där denna metod lyser

Det första är prototyping. När du letar efter rätt referensklipp kan du behöva testa tio, femton eller ännu fler. Att skapa så många röster på ditt konto innebär att du senare måste hitta och radera dem en efter en. Med ref_audio lämnar din testslinga inga spår på servern, vilket låter dig jämföra renderingar helt enkelt genom att lyssna på de producerade filerna.

# Testa snabbt flera klipp
samples = ["sample1.mp3", "sample2.mp3", "sample3.mp3"]

for file in samples:
    ref_b64 = base64.b64encode(Path(file).read_bytes()).decode()
    response = client.audio.speech.complete(
        model="voxtral-mini-tts-3-0",
        input="This is a voice quality test.",
        ref_audio=ref_b64,
        response_format="mp3",
    )
    output = f"test-{Path(file).stem}.mp3"
    Path(output).write_bytes(base64.b64decode(response.audio_data))
    print(f"Generated: {output}")

Det andra scenariot är tillfälligt bruk. Ett personligt födelsedagsmeddelande med en närståendes röst, eller en kunddemo förberedd för ett specifikt möte: om rösten bara ska användas en gång finns det ingen anledning att installera den permanent på ditt konto.

Det tredje är konfidentialitet. Referensljud som skickas via ref_audio lagras inte på servern. Om du hanterar rösten från en patient, ett vittne eller en företagsledare är denna skillnad inte bara kosmetisk: den ändrar vad du måste deklarera i ditt register över behandlingar och vad du behöver radera vid en begäran om utplåning.

voice_id kontra ref_audio: Skillnaderna

Kriteriumvoice_idref_audio
BeständighetRösten sparas på kontotIngen beständighet
ÅteranvändningObegränsadPer begäran
LatensNågot snabbare (rösten redan bearbetad)Något långsammare (bearbetning vid varje anrop)
HanteringFullständig CRUD (ändra, radera)Inget att hantera
NätverkskostnadBara voice_id (några byte)Hela ljudfilen vid varje begäran
KonfidentialitetLjud lagrat i molnetLjud ej lagrat

Beslutsregeln kokar ner till användningsfrekvens. En röst som används varje dag – till exempel en berättarröst i en applikation eller en varumärkesambassadör – förtjänar att skapas med client.audio.voices.create(): du sparar bandbredden för att skicka ett klipp vid varje anrop och vinner in bearbetningstiden för referensen. En röst du testar eller bara kommer använda en gång bör gå via ref_audio, vilket lämnar dig med inget att städa upp efteråt.

Kombinera båda metoderna

Dessa två metoder utesluter inte varandra; det mest effektiva arbetsflödet sätter dem i sekvens. Hitta först rätt klipp med hjälp av ref_audio och lyssna på varje resultat. När en kandidat tillfredsställer dig använder du samma base64-sträng – som redan finns i minnet – för att skapa den slutgiltiga rösten, komplett med namn, språk och kön.

# Fas 1: Snabbtest med ref_audio
ref_b64 = base64.b64encode(Path("my-voice.mp3").read_bytes()).decode()
response = client.audio.speech.complete(
    model="voxtral-mini-tts-3-0",
    input="Quality test.",
    ref_audio=ref_b64,
    response_format="mp3",
)
# Lyssna på resultatet...

# Fas 2: Nöjd? Spara rösten
voice = client.audio.voices.create(
    name="my-validated-voice",
    sample_audio=ref_b64,
    sample_filename="my-voice.mp3",
    languages=["fr"],
    gender="male",
)
print(f"Voice saved: {voice.id}")

Öva med tre inspelningar av din egen röst, gjorda under tre olika förhållanden – headsetmikrofon, mobiltelefon, ekande rum. Generera samma fras med var och en via ref_audio, lyssna, och spara sedan bara vinnaren. På tio minuter lär du dig vad som skiljer ett bra klipp från ett dåligt, utan att lämna efter dig tre onödiga röster.

Viktiga punkter

  • Parametern ref_audio låter dig klona en röst utan att spara den
  • Referensljudet kodas i base64 och skickas direkt i begäran
  • Kloning i realtid är idealiskt för testning, tillfälligt bruk och konfidentialitet
  • För regelbunden användning, föredra en sparad röst (lägre latens, mindre bandbredd)
  • Du kan testa med ref_audio och sedan spara rösten när du är nöjd