Kloning av röst i realtid
På denna sida
Kursen uppdaterad 3 november 2026 för Voxtral TTS 3, baserat på guiden Migrate from Voxtral 2 och Mistrals sidor om Text to Speech:
voxtral-mini-tts-2603, avvecklad 31 oktober 2026 och helt borttagen 30 april 2027, ersätts i exemplen medvoxtral-mini-tts-3-0. Fördefinierade röster från Voxtral 2 (gb_jane_neutral…) accepteras fortfarande; Voxtral 3 lägger till taggarna[emotion=…]och[pace=…]i texten, inställningenexpressiveness, anpassat uttal (phoneme_hints) samt stöd för 35 språk. Mistral rekommenderar att du mäter latensen på nytt efter migreringen. Källor: Migrate from Voxtral 2 · Speech generation.
Klona utan att spara
Föregående lektion förlitade sig på en sparad röst som skapats i förväg via Voices API:t och refererades till via sitt voice_id. Voxtral erbjuder en andra väg: kloning i realtid, där du anger referensljudet direkt i genereringsbegäran. Inget objekt skapas på ditt konto: ljudklippet används endast för den specifika begäran och kasseras därefter.
I praktiken ersätter du voice_id med ref_audio, vilket förväntar sig ljudklippet kodat i base64. Resten av anropet förblir oförändrat.
import base64
from pathlib import Path
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
# Koda referensljudet
ref_audio_b64 = base64.b64encode(
Path("reference.mp3").read_bytes()
).decode()
# Generera med kloning i realtid
response = client.audio.speech.complete(
model="voxtral-mini-tts-3-0",
input="This speech will resemble the reference voice.",
ref_audio=ref_audio_b64,
response_format="wav",
)
audio_bytes = base64.b64decode(response.audio_data)
Path("cloned-output.wav").write_bytes(audio_bytes)
print("Audio generated with on-the-fly cloning!")
Tre scenarier där denna metod lyser
Det första är prototyping. När du letar efter rätt referensklipp kan du behöva testa tio, femton eller ännu fler. Att skapa så många röster på ditt konto innebär att du senare måste hitta och radera dem en efter en. Med ref_audio lämnar din testslinga inga spår på servern, vilket låter dig jämföra renderingar helt enkelt genom att lyssna på de producerade filerna.
# Testa snabbt flera klipp
samples = ["sample1.mp3", "sample2.mp3", "sample3.mp3"]
for file in samples:
ref_b64 = base64.b64encode(Path(file).read_bytes()).decode()
response = client.audio.speech.complete(
model="voxtral-mini-tts-3-0",
input="This is a voice quality test.",
ref_audio=ref_b64,
response_format="mp3",
)
output = f"test-{Path(file).stem}.mp3"
Path(output).write_bytes(base64.b64decode(response.audio_data))
print(f"Generated: {output}")
Det andra scenariot är tillfälligt bruk. Ett personligt födelsedagsmeddelande med en närståendes röst, eller en kunddemo förberedd för ett specifikt möte: om rösten bara ska användas en gång finns det ingen anledning att installera den permanent på ditt konto.
Det tredje är konfidentialitet. Referensljud som skickas via ref_audio lagras inte på servern. Om du hanterar rösten från en patient, ett vittne eller en företagsledare är denna skillnad inte bara kosmetisk: den ändrar vad du måste deklarera i ditt register över behandlingar och vad du behöver radera vid en begäran om utplåning.
voice_id kontra ref_audio: Skillnaderna
| Kriterium | voice_id | ref_audio |
|---|---|---|
| Beständighet | Rösten sparas på kontot | Ingen beständighet |
| Återanvändning | Obegränsad | Per begäran |
| Latens | Något snabbare (rösten redan bearbetad) | Något långsammare (bearbetning vid varje anrop) |
| Hantering | Fullständig CRUD (ändra, radera) | Inget att hantera |
| Nätverkskostnad | Bara voice_id (några byte) | Hela ljudfilen vid varje begäran |
| Konfidentialitet | Ljud lagrat i molnet | Ljud ej lagrat |
Beslutsregeln kokar ner till användningsfrekvens. En röst som används varje dag – till exempel en berättarröst i en applikation eller en varumärkesambassadör – förtjänar att skapas med client.audio.voices.create(): du sparar bandbredden för att skicka ett klipp vid varje anrop och vinner in bearbetningstiden för referensen. En röst du testar eller bara kommer använda en gång bör gå via ref_audio, vilket lämnar dig med inget att städa upp efteråt.
Kombinera båda metoderna
Dessa två metoder utesluter inte varandra; det mest effektiva arbetsflödet sätter dem i sekvens. Hitta först rätt klipp med hjälp av ref_audio och lyssna på varje resultat. När en kandidat tillfredsställer dig använder du samma base64-sträng – som redan finns i minnet – för att skapa den slutgiltiga rösten, komplett med namn, språk och kön.
# Fas 1: Snabbtest med ref_audio
ref_b64 = base64.b64encode(Path("my-voice.mp3").read_bytes()).decode()
response = client.audio.speech.complete(
model="voxtral-mini-tts-3-0",
input="Quality test.",
ref_audio=ref_b64,
response_format="mp3",
)
# Lyssna på resultatet...
# Fas 2: Nöjd? Spara rösten
voice = client.audio.voices.create(
name="my-validated-voice",
sample_audio=ref_b64,
sample_filename="my-voice.mp3",
languages=["fr"],
gender="male",
)
print(f"Voice saved: {voice.id}")
Öva med tre inspelningar av din egen röst, gjorda under tre olika förhållanden – headsetmikrofon, mobiltelefon, ekande rum. Generera samma fras med var och en via ref_audio, lyssna, och spara sedan bara vinnaren. På tio minuter lär du dig vad som skiljer ett bra klipp från ett dåligt, utan att lämna efter dig tre onödiga röster.
Viktiga punkter
- Parametern
ref_audiolåter dig klona en röst utan att spara den - Referensljudet kodas i base64 och skickas direkt i begäran
- Kloning i realtid är idealiskt för testning, tillfälligt bruk och konfidentialitet
- För regelbunden användning, föredra en sparad röst (lägre latens, mindre bandbredd)
- Du kan testa med
ref_audiooch sedan spara rösten när du är nöjd