Vai al contenuto principale
Italiano— Scegli una lingua
Menu

Clonazione vocale al volo

Lezione 9 di 14 Aggiornata il 3 novembre 2026 Sviluppatore
In questa pagina
  1. Clonare senza salvare
  2. Tre scenari in cui questo approccio eccelle
  3. voice_id contro ref_audio: le differenze
  4. Combinare entrambi gli approcci
  5. Punti chiave

Corso aggiornato il 3 novembre 2026 per Voxtral TTS 3, basato sulla guida Migrate from Voxtral 2 e sulle pagine Text to Speech di Mistral: voxtral-mini-tts-2603, deprecato il 31 ottobre 2026 e ritirato il 30 aprile 2027, viene sostituito negli esempi da voxtral-mini-tts-3-0. Le voci predefinite di Voxtral 2 (gb_jane_neutral…) rimangono accettate; Voxtral 3 aggiunge i tag [emotion=…] e [pace=…] nel testo, l’impostazione expressiveness, la pronuncia personalizzata (phoneme_hints) e 35 lingue. Mistral consiglia di misurare nuovamente la latenza dopo la migrazione. Fonti: Migrate from Voxtral 2 · Speech generation.

Clonare senza salvare

La lezione precedente si basava su una voce salvata, creata in anticipo tramite le API Voices e richiamata tramite il suo voice_id. Voxtral offre un secondo percorso: la clonazione al volo, in cui fornisci l’audio di riferimento direttamente nella richiesta di generazione. Nessun oggetto viene creato nel tuo account: il campione serve solo per quella specifica richiesta, per poi essere scartato.

In pratica, sostituisci voice_id con ref_audio, che si aspetta il campione audio codificato in base64. Il resto della chiamata rimane invariato.

import base64
from pathlib import Path
from mistralai.client import Mistral

client = Mistral(api_key="your-api-key")

# Codifica l'audio di riferimento
ref_audio_b64 = base64.b64encode(
    Path("reference.mp3").read_bytes()
).decode()

# Genera con clonazione al volo
response = client.audio.speech.complete(
    model="voxtral-mini-tts-3-0",
    input="This speech will resemble the reference voice.",
    ref_audio=ref_audio_b64,
    response_format="wav",
)

audio_bytes = base64.b64decode(response.audio_data)
Path("cloned-output.wav").write_bytes(audio_bytes)
print("Audio generated with on-the-fly cloning!")

Tre scenari in cui questo approccio eccelle

Il primo è il prototipaggio. Quando cerchi il campione di riferimento giusto, potresti provarne dieci, quindici o anche di più. Creare così tante voci nel tuo account significa doverle poi trovare ed eliminare una per una. Con ref_audio, il tuo ciclo di test non lascia tracce sul server, permettendoti di confrontare i rendering semplicemente ascoltando i file prodotti.

# Test rapido di più campioni
samples = ["sample1.mp3", "sample2.mp3", "sample3.mp3"]

for file in samples:
    ref_b64 = base64.b64encode(Path(file).read_bytes()).decode()
    response = client.audio.speech.complete(
        model="voxtral-mini-tts-3-0",
        input="This is a voice quality test.",
        ref_audio=ref_b64,
        response_format="mp3",
    )
    output = f"test-{Path(file).stem}.mp3"
    Path(output).write_bytes(base64.b64decode(response.audio_data))
    print(f"Generated: {output}")

Il secondo scenario è l’uso occasionale. Un messaggio di compleanno personalizzato che usa la voce di una persona cara, o una demo per un cliente preparata per una riunione specifica: se la voce verrà usata una sola volta, non c’è motivo di installarla permanentemente nel tuo account.

Il terzo è la riservatezza. L’audio di riferimento inviato tramite ref_audio non viene archiviato sul server. Se gestisci la voce di un paziente, di un testimone o di un dirigente, questa differenza non è cosmetica: cambia ciò che devi dichiarare nel tuo registro dei trattamenti e ciò che devi cancellare in caso di richiesta.

voice_id contro ref_audio: le differenze

Criteriovoice_idref_audio
PersistenzaVoce salvata nell’accountNessuna persistenza
RiutilizzabilitàIllimitataPer richiesta
LatenzaLeggermente più veloce (voce già elaborata)Leggermente più lenta (elaborazione a ogni chiamata)
GestioneCRUD completo (modifica, eliminazione)Nulla da gestire
Costo di reteSolo il voice_id (pochi byte)Audio completo a ogni richiesta
RiservatezzaAudio archiviato nel cloudAudio non archiviato

La regola decisionale si riduce alla frequenza d’uso. Una voce usata ogni giorno, come un narratore per un’applicazione o un portavoce del brand, merita di essere creata con client.audio.voices.create(): risparmi la banda necessaria per inviare un campione a ogni chiamata e guadagni il tempo di elaborazione del riferimento. Una voce che stai testando o userai una sola volta dovrebbe passare attraverso ref_audio, lasciandoti nulla da pulire.

Combinare entrambi gli approcci

Questi due metodi non si escludono a vicenda; il flusso di lavoro più efficace li mette in sequenza. Prima, trova il campione giusto usando ref_audio, ascoltando ogni risultato. Una volta che un candidato ti soddisfa, riutilizza quella stessa stringa base64, già in memoria, per creare la voce finale, completa di nome, lingue e genere.

# Fase 1: Test rapido con ref_audio
ref_b64 = base64.b64encode(Path("my-voice.mp3").read_bytes()).decode()
response = client.audio.speech.complete(
    model="voxtral-mini-tts-3-0",
    input="Quality test.",
    ref_audio=ref_b64,
    response_format="mp3",
)
# Ascolta il risultato...

# Fase 2: Soddisfatto? Salva la voce
voice = client.audio.voices.create(
    name="my-validated-voice",
    sample_audio=ref_b64,
    sample_filename="my-voice.mp3",
    languages=["fr"],
    gender="male",
)
print(f"Voice saved: {voice.id}")

Esercitati con tre registrazioni della tua voce, effettuate in tre condizioni diverse: microfono cuffia, telefono, stanza riverberante. Genera la stessa frase con ciascuna tramite ref_audio, ascolta e poi salva solo la vincitrice. In dieci minuti imparerai cosa distingue un buon campione da uno cattivo, senza lasciarti alle spalle tre voci inutili.

Punti chiave

  • Il parametro ref_audio ti permette di clonare una voce senza salvarla
  • L’audio di riferimento è codificato in base64 e inviato direttamente nella richiesta
  • La clonazione al volo è ideale per test, usi occasionali e riservatezza
  • Per un uso regolare, preferisci una voce salvata (latenza inferiore, meno banda)
  • Puoi testare con ref_audio e poi salvare la voce una volta soddisfatto