Clonazione vocale al volo
In questa pagina
Corso aggiornato il 3 novembre 2026 per Voxtral TTS 3, basato sulla guida Migrate from Voxtral 2 e sulle pagine Text to Speech di Mistral:
voxtral-mini-tts-2603, deprecato il 31 ottobre 2026 e ritirato il 30 aprile 2027, viene sostituito negli esempi davoxtral-mini-tts-3-0. Le voci predefinite di Voxtral 2 (gb_jane_neutral…) rimangono accettate; Voxtral 3 aggiunge i tag[emotion=…]e[pace=…]nel testo, l’impostazioneexpressiveness, la pronuncia personalizzata (phoneme_hints) e 35 lingue. Mistral consiglia di misurare nuovamente la latenza dopo la migrazione. Fonti: Migrate from Voxtral 2 · Speech generation.
Clonare senza salvare
La lezione precedente si basava su una voce salvata, creata in anticipo tramite le API Voices e richiamata tramite il suo voice_id. Voxtral offre un secondo percorso: la clonazione al volo, in cui fornisci l’audio di riferimento direttamente nella richiesta di generazione. Nessun oggetto viene creato nel tuo account: il campione serve solo per quella specifica richiesta, per poi essere scartato.
In pratica, sostituisci voice_id con ref_audio, che si aspetta il campione audio codificato in base64. Il resto della chiamata rimane invariato.
import base64
from pathlib import Path
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
# Codifica l'audio di riferimento
ref_audio_b64 = base64.b64encode(
Path("reference.mp3").read_bytes()
).decode()
# Genera con clonazione al volo
response = client.audio.speech.complete(
model="voxtral-mini-tts-3-0",
input="This speech will resemble the reference voice.",
ref_audio=ref_audio_b64,
response_format="wav",
)
audio_bytes = base64.b64decode(response.audio_data)
Path("cloned-output.wav").write_bytes(audio_bytes)
print("Audio generated with on-the-fly cloning!")
Tre scenari in cui questo approccio eccelle
Il primo è il prototipaggio. Quando cerchi il campione di riferimento giusto, potresti provarne dieci, quindici o anche di più. Creare così tante voci nel tuo account significa doverle poi trovare ed eliminare una per una. Con ref_audio, il tuo ciclo di test non lascia tracce sul server, permettendoti di confrontare i rendering semplicemente ascoltando i file prodotti.
# Test rapido di più campioni
samples = ["sample1.mp3", "sample2.mp3", "sample3.mp3"]
for file in samples:
ref_b64 = base64.b64encode(Path(file).read_bytes()).decode()
response = client.audio.speech.complete(
model="voxtral-mini-tts-3-0",
input="This is a voice quality test.",
ref_audio=ref_b64,
response_format="mp3",
)
output = f"test-{Path(file).stem}.mp3"
Path(output).write_bytes(base64.b64decode(response.audio_data))
print(f"Generated: {output}")
Il secondo scenario è l’uso occasionale. Un messaggio di compleanno personalizzato che usa la voce di una persona cara, o una demo per un cliente preparata per una riunione specifica: se la voce verrà usata una sola volta, non c’è motivo di installarla permanentemente nel tuo account.
Il terzo è la riservatezza. L’audio di riferimento inviato tramite ref_audio non viene archiviato sul server. Se gestisci la voce di un paziente, di un testimone o di un dirigente, questa differenza non è cosmetica: cambia ciò che devi dichiarare nel tuo registro dei trattamenti e ciò che devi cancellare in caso di richiesta.
voice_id contro ref_audio: le differenze
| Criterio | voice_id | ref_audio |
|---|---|---|
| Persistenza | Voce salvata nell’account | Nessuna persistenza |
| Riutilizzabilità | Illimitata | Per richiesta |
| Latenza | Leggermente più veloce (voce già elaborata) | Leggermente più lenta (elaborazione a ogni chiamata) |
| Gestione | CRUD completo (modifica, eliminazione) | Nulla da gestire |
| Costo di rete | Solo il voice_id (pochi byte) | Audio completo a ogni richiesta |
| Riservatezza | Audio archiviato nel cloud | Audio non archiviato |
La regola decisionale si riduce alla frequenza d’uso. Una voce usata ogni giorno, come un narratore per un’applicazione o un portavoce del brand, merita di essere creata con client.audio.voices.create(): risparmi la banda necessaria per inviare un campione a ogni chiamata e guadagni il tempo di elaborazione del riferimento. Una voce che stai testando o userai una sola volta dovrebbe passare attraverso ref_audio, lasciandoti nulla da pulire.
Combinare entrambi gli approcci
Questi due metodi non si escludono a vicenda; il flusso di lavoro più efficace li mette in sequenza. Prima, trova il campione giusto usando ref_audio, ascoltando ogni risultato. Una volta che un candidato ti soddisfa, riutilizza quella stessa stringa base64, già in memoria, per creare la voce finale, completa di nome, lingue e genere.
# Fase 1: Test rapido con ref_audio
ref_b64 = base64.b64encode(Path("my-voice.mp3").read_bytes()).decode()
response = client.audio.speech.complete(
model="voxtral-mini-tts-3-0",
input="Quality test.",
ref_audio=ref_b64,
response_format="mp3",
)
# Ascolta il risultato...
# Fase 2: Soddisfatto? Salva la voce
voice = client.audio.voices.create(
name="my-validated-voice",
sample_audio=ref_b64,
sample_filename="my-voice.mp3",
languages=["fr"],
gender="male",
)
print(f"Voice saved: {voice.id}")
Esercitati con tre registrazioni della tua voce, effettuate in tre condizioni diverse: microfono cuffia, telefono, stanza riverberante. Genera la stessa frase con ciascuna tramite ref_audio, ascolta e poi salva solo la vincitrice. In dieci minuti imparerai cosa distingue un buon campione da uno cattivo, senza lasciarti alle spalle tre voci inutili.
Punti chiave
- Il parametro
ref_audioti permette di clonare una voce senza salvarla - L’audio di riferimento è codificato in base64 e inviato direttamente nella richiesta
- La clonazione al volo è ideale per test, usi occasionali e riservatezza
- Per un uso regolare, preferisci una voce salvata (latenza inferiore, meno banda)
- Puoi testare con
ref_audioe poi salvare la voce una volta soddisfatto