Clonarea vocală instantanee
Pe această pagină
Curs actualizat la 3 noiembrie 2026 pentru Voxtral TTS 3, pe baza ghidului Migrate from Voxtral 2 și a paginilor Mistral Text to Speech:
voxtral-mini-tts-2603, depreciat la 31 octombrie 2026 și retras la 30 aprilie 2027, este înlocuit în exemple prinvoxtral-mini-tts-3-0. Vocile predefinite din Voxtral 2 (gb_jane_neutral…) rămân acceptate; Voxtral 3 adaugă etichetele[emotion=…]și[pace=…]în text, setareaexpressiveness, pronunția personalizată (phoneme_hints) și 35 de limbi. Mistral recomandă re-măsurarea latenței după migrare. Surse: Migrate from Voxtral 2 · Speech generation.
Clonare fără salvare
Lecția anterioară se baza pe o voce salvată, creată în prealabil prin intermediul API-ului Voices și referențiată prin voice_id. Voxtral oferă o a doua cale: clonarea instantanee, prin care furnizați audio-ul de referință direct în cererea de generare. Nu se creează niciun obiect în contul dumneavoastră: eșantionul servește doar acelei cereri specifice, apoi este eliminat.
În practică, înlocuiți voice_id cu ref_audio, care așteaptă eșantionul audio codat în base64. Restul apelului rămâne neschimbat.
import base64
from pathlib import Path
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
# Encode the reference audio
ref_audio_b64 = base64.b64encode(
Path("reference.mp3").read_bytes()
).decode()
# Generate with on-the-fly cloning
response = client.audio.speech.complete(
model="voxtral-mini-tts-3-0",
input="This speech will resemble the reference voice.",
ref_audio=ref_audio_b64,
response_format="wav",
)
audio_bytes = base64.b64decode(response.audio_data)
Path("cloned-output.wav").write_bytes(audio_bytes)
print("Audio generated with on-the-fly cloning!")
Trei scenarii în care această abordare excelează
Primul este prototiparea. Atunci când căutați eșantionul de referință potrivit, este posibil să încercați zece, cincisprezece sau chiar mai multe. Crearea atâtor voci în contul dumneavoastră înseamnă că ulterior va trebui să le găsiți și să le ștergeți una câte una. Cu ref_audio, bucla de testare nu lasă nicio urmă pe server, permițându-vă să comparați randările simplu, ascultând fișierele produse.
# Quickly test multiple samples
samples = ["sample1.mp3", "sample2.mp3", "sample3.mp3"]
for file in samples:
ref_b64 = base64.b64encode(Path(file).read_bytes()).decode()
response = client.audio.speech.complete(
model="voxtral-mini-tts-3-0",
input="This is a voice quality test.",
ref_audio=ref_b64,
response_format="mp3",
)
output = f"test-{Path(file).stem}.mp3"
Path(output).write_bytes(base64.b64decode(response.audio_data))
print(f"Generated: {output}")
Al doilea scenariu este utilizarea ocazională. Un mesaj de aniversare personalizat folosind vocea unei persoane dragi sau o demonstrație pentru un client pregătit pentru o întâlnire specifică: dacă vocea va fi folosită o singură dată, nu există niciun motiv să o instalați permanent în contul dumneavoastră.
Al treilea este confidențialitatea. Audio-ul de referință trimis prin ref_audio nu este stocat pe server. Dacă gestionați vocea unui pacient, a unui martor sau a unui executiv, această diferență nu este cosmetică: schimbă ceea ce trebuie să declarați în registrul de procesare și ceea ce trebuie să ștergeți în cazul unei solicitări.
voice_id vs. ref_audio: Diferențele
| Criteriu | voice_id | ref_audio |
|---|---|---|
| Persistență | Voce salvată în cont | Fără persistență |
| Reutilizare | Nelimitată | Per cerere |
| Latență | Ușor mai rapidă (vocea deja procesată) | Ușor mai lentă (procesare la fiecare apel) |
| Gestionare | CRUD complet (modificare, ștergere) | Nimic de gestionat |
| Cost rețea | Doar voice_id (câțiva octeți) | Audio complet la fiecare cerere |
| Confidențialitate | Audio stocat în cloud | Audio nestocat |
Regula de decizie se reduce la frecvența de utilizare. O voce folosită în fiecare zi – cum ar fi un narator de aplicație sau un purtător de cuvânt al brandului – merită creată cu client.audio.voices.create(): economisiți lățimea de bandă necesară trimiterii unui eșantion la fiecare apel și câștigați timpul de procesare al referinței. O voce pe care o testați sau pe care o veți folosi o singură dată ar trebui să treacă prin ref_audio, neobligându-vă la nicio curățenie ulterioară.
Combinarea celor două abordări
Aceste două metode nu se exclud reciproc; fluxul de lucru cel mai eficient le pune în secvență. Mai întâi, găsiți eșantionul potrivit folosind ref_audio, ascultând fiecare rezultat. Odată ce un candidat vă satisface, reutilizați același șir base64 – deja aflat în memorie – pentru a crea vocea finală, completă cu numele, limbile și genul său.
# Phase 1: Quick test with ref_audio
ref_b64 = base64.b64encode(Path("my-voice.mp3").read_bytes()).decode()
response = client.audio.speech.complete(
model="voxtral-mini-tts-3-0",
input="Quality test.",
ref_audio=ref_b64,
response_format="mp3",
)
# Listen to the result...
# Phase 2: Satisfied? Save the voice
voice = client.audio.voices.create(
name="my-validated-voice",
sample_audio=ref_b64,
sample_filename="my-voice.mp3",
languages=["fr"],
gender="male",
)
print(f"Voice saved: {voice.id}")
Exersați cu trei înregistrări ale propriei voci, realizate în trei condiții diferite – microfon de cască, telefon, cameră cu reverberație. Generați aceeași frază cu fiecare prin ref_audio, ascultați și apoi salvați doar câștigătorul. În zece minute, veți învăța ce distinge un eșantion bun de unul slab, fără a lăsa în urmă trei voci inutile.
Puncte cheie
- Parametrul
ref_audiovă permite să clonați o voce fără a o salva - Audio-ul de referință este codat în base64 și trimis direct în cerere
- Clonarea instantanee este ideală pentru testare, utilizare ocazională și confidențialitate
- Pentru utilizarea regulată, preferați o voce salvată (latență mai mică, lățime de bandă redusă)
- Puteți testa cu
ref_audioși apoi să salvați vocea odată ce sunteți satisfăcut