Salt la conținutul principal
Română— Alege o limbă
Meniu

Clonarea vocală instantanee

Lecția 9 din 14 Actualizată 3 noiembrie 2026 Dezvoltator
Pe această pagină
  1. Clonare fără salvare
  2. Trei scenarii în care această abordare excelează
  3. voice_id vs. ref_audio: Diferențele
  4. Combinarea celor două abordări
  5. Puncte cheie

Curs actualizat la 3 noiembrie 2026 pentru Voxtral TTS 3, pe baza ghidului Migrate from Voxtral 2 și a paginilor Mistral Text to Speech: voxtral-mini-tts-2603, depreciat la 31 octombrie 2026 și retras la 30 aprilie 2027, este înlocuit în exemple prin voxtral-mini-tts-3-0. Vocile predefinite din Voxtral 2 (gb_jane_neutral…) rămân acceptate; Voxtral 3 adaugă etichetele [emotion=…] și [pace=…] în text, setarea expressiveness, pronunția personalizată (phoneme_hints) și 35 de limbi. Mistral recomandă re-măsurarea latenței după migrare. Surse: Migrate from Voxtral 2 · Speech generation.

Clonare fără salvare

Lecția anterioară se baza pe o voce salvată, creată în prealabil prin intermediul API-ului Voices și referențiată prin voice_id. Voxtral oferă o a doua cale: clonarea instantanee, prin care furnizați audio-ul de referință direct în cererea de generare. Nu se creează niciun obiect în contul dumneavoastră: eșantionul servește doar acelei cereri specifice, apoi este eliminat.

În practică, înlocuiți voice_id cu ref_audio, care așteaptă eșantionul audio codat în base64. Restul apelului rămâne neschimbat.

import base64
from pathlib import Path
from mistralai.client import Mistral

client = Mistral(api_key="your-api-key")

# Encode the reference audio
ref_audio_b64 = base64.b64encode(
    Path("reference.mp3").read_bytes()
).decode()

# Generate with on-the-fly cloning
response = client.audio.speech.complete(
    model="voxtral-mini-tts-3-0",
    input="This speech will resemble the reference voice.",
    ref_audio=ref_audio_b64,
    response_format="wav",
)

audio_bytes = base64.b64decode(response.audio_data)
Path("cloned-output.wav").write_bytes(audio_bytes)
print("Audio generated with on-the-fly cloning!")

Trei scenarii în care această abordare excelează

Primul este prototiparea. Atunci când căutați eșantionul de referință potrivit, este posibil să încercați zece, cincisprezece sau chiar mai multe. Crearea atâtor voci în contul dumneavoastră înseamnă că ulterior va trebui să le găsiți și să le ștergeți una câte una. Cu ref_audio, bucla de testare nu lasă nicio urmă pe server, permițându-vă să comparați randările simplu, ascultând fișierele produse.

# Quickly test multiple samples
samples = ["sample1.mp3", "sample2.mp3", "sample3.mp3"]

for file in samples:
    ref_b64 = base64.b64encode(Path(file).read_bytes()).decode()
    response = client.audio.speech.complete(
        model="voxtral-mini-tts-3-0",
        input="This is a voice quality test.",
        ref_audio=ref_b64,
        response_format="mp3",
    )
    output = f"test-{Path(file).stem}.mp3"
    Path(output).write_bytes(base64.b64decode(response.audio_data))
    print(f"Generated: {output}")

Al doilea scenariu este utilizarea ocazională. Un mesaj de aniversare personalizat folosind vocea unei persoane dragi sau o demonstrație pentru un client pregătit pentru o întâlnire specifică: dacă vocea va fi folosită o singură dată, nu există niciun motiv să o instalați permanent în contul dumneavoastră.

Al treilea este confidențialitatea. Audio-ul de referință trimis prin ref_audio nu este stocat pe server. Dacă gestionați vocea unui pacient, a unui martor sau a unui executiv, această diferență nu este cosmetică: schimbă ceea ce trebuie să declarați în registrul de procesare și ceea ce trebuie să ștergeți în cazul unei solicitări.

voice_id vs. ref_audio: Diferențele

Criteriuvoice_idref_audio
PersistențăVoce salvată în contFără persistență
ReutilizareNelimitatăPer cerere
LatențăUșor mai rapidă (vocea deja procesată)Ușor mai lentă (procesare la fiecare apel)
GestionareCRUD complet (modificare, ștergere)Nimic de gestionat
Cost rețeaDoar voice_id (câțiva octeți)Audio complet la fiecare cerere
ConfidențialitateAudio stocat în cloudAudio nestocat

Regula de decizie se reduce la frecvența de utilizare. O voce folosită în fiecare zi – cum ar fi un narator de aplicație sau un purtător de cuvânt al brandului – merită creată cu client.audio.voices.create(): economisiți lățimea de bandă necesară trimiterii unui eșantion la fiecare apel și câștigați timpul de procesare al referinței. O voce pe care o testați sau pe care o veți folosi o singură dată ar trebui să treacă prin ref_audio, neobligându-vă la nicio curățenie ulterioară.

Combinarea celor două abordări

Aceste două metode nu se exclud reciproc; fluxul de lucru cel mai eficient le pune în secvență. Mai întâi, găsiți eșantionul potrivit folosind ref_audio, ascultând fiecare rezultat. Odată ce un candidat vă satisface, reutilizați același șir base64 – deja aflat în memorie – pentru a crea vocea finală, completă cu numele, limbile și genul său.

# Phase 1: Quick test with ref_audio
ref_b64 = base64.b64encode(Path("my-voice.mp3").read_bytes()).decode()
response = client.audio.speech.complete(
    model="voxtral-mini-tts-3-0",
    input="Quality test.",
    ref_audio=ref_b64,
    response_format="mp3",
)
# Listen to the result...

# Phase 2: Satisfied? Save the voice
voice = client.audio.voices.create(
    name="my-validated-voice",
    sample_audio=ref_b64,
    sample_filename="my-voice.mp3",
    languages=["fr"],
    gender="male",
)
print(f"Voice saved: {voice.id}")

Exersați cu trei înregistrări ale propriei voci, realizate în trei condiții diferite – microfon de cască, telefon, cameră cu reverberație. Generați aceeași frază cu fiecare prin ref_audio, ascultați și apoi salvați doar câștigătorul. În zece minute, veți învăța ce distinge un eșantion bun de unul slab, fără a lăsa în urmă trei voci inutile.

Puncte cheie

  • Parametrul ref_audio vă permite să clonați o voce fără a o salva
  • Audio-ul de referință este codat în base64 și trimis direct în cerere
  • Clonarea instantanee este ideală pentru testare, utilizare ocazională și confidențialitate
  • Pentru utilizarea regulată, preferați o voce salvată (latență mai mică, lățime de bandă redusă)
  • Puteți testa cu ref_audio și apoi să salvați vocea odată ce sunteți satisfăcut