Clonación de voz al vuelo
En esta página
Curso actualizado el 3 de noviembre de 2026 para Voxtral TTS 3, basándose en la guía Migrate from Voxtral 2 y en las páginas de Text to Speech de Mistral:
voxtral-mini-tts-2603, obsoleto desde el 31 de octubre de 2026 y retirado el 30 de abril de 2027, se sustituye en los ejemplos porvoxtral-mini-tts-3-0. Las voces predefinidas de Voxtral 2 (gb_jane_neutral…) siguen siendo válidas; Voxtral 3 añade las etiquetas[emotion=…]y[pace=…]en el texto, el parámetroexpressiveness, la pronunciación personalizada (phoneme_hints) y 35 idiomas. Mistral recomienda volver a medir la latencia tras la migración. Fuentes: Migrate from Voxtral 2 · Speech generation.
Clonar sin guardar
La lección anterior dependía de una voz guardada, creada previamente mediante la API de Voices y referenciada por su voice_id. Voxtral ofrece una segunda vía: la clonación al vuelo, en la que proporcionas el audio de referencia directamente en la solicitud de generación. No se crea ningún objeto en tu cuenta: la muestra sirve únicamente para esa solicitud concreta y luego se descarta.
En la práctica, sustituyes voice_id por ref_audio, que espera la muestra de audio codificada en base64. El resto de la llamada permanece inalterado.
import base64
from pathlib import Path
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
# Codificar el audio de referencia
ref_audio_b64 = base64.b64encode(
Path("reference.mp3").read_bytes()
).decode()
# Generar con clonación al vuelo
response = client.audio.speech.complete(
model="voxtral-mini-tts-3-0",
input="This speech will resemble the reference voice.",
ref_audio=ref_audio_b64,
response_format="wav",
)
audio_bytes = base64.b64decode(response.audio_data)
Path("cloned-output.wav").write_bytes(audio_bytes)
print("Audio generated with on-the-fly cloning!")
Tres escenarios donde este enfoque destaca
El primero es la creación de prototipos. Cuando buscas la muestra de referencia adecuada, es posible que pruebes diez, quince o incluso más. Crear tantas voces en tu cuenta implica que luego tendrás que localizarlas y eliminarlas una por una. Con ref_audio, tu bucle de pruebas no deja rastro en el servidor, lo que te permite comparar los renders simplemente escuchando los archivos generados.
# Probar rápidamente varias muestras
samples = ["sample1.mp3", "sample2.mp3", "sample3.mp3"]
for file in samples:
ref_b64 = base64.b64encode(Path(file).read_bytes()).decode()
response = client.audio.speech.complete(
model="voxtral-mini-tts-3-0",
input="This is a voice quality test.",
ref_audio=ref_b64,
response_format="mp3",
)
output = f"test-{Path(file).stem}.mp3"
Path(output).write_bytes(base64.b64decode(response.audio_data))
print(f"Generated: {output}")
El segundo escenario es el uso ocasional. Un mensaje de cumpleaños personalizado con la voz de un ser querido o una demostración para un cliente preparada para una reunión específica: si la voz se va a usar solo una vez, no hay razón para instalarla permanentemente en tu cuenta.
El tercero es la confidencialidad. El audio de referencia enviado mediante ref_audio no se almacena en el servidor. Si estás gestionando la voz de un paciente, un testigo o un directivo, esta diferencia no es cosmética: cambia lo que debes declarar en tu registro de actividades de tratamiento y lo que necesitas borrar en caso de una solicitud de ejercicio de derechos.
voice_id frente a ref_audio: las diferencias
| Criterio | voice_id | ref_audio |
|---|---|---|
| Persistencia | Voz guardada en la cuenta | Sin persistencia |
| Reutilización | Ilimitada | Por solicitud |
| Latencia | Ligeramente más rápida (voz ya procesada) | Ligeramente más lenta (procesamiento en cada llamada) |
| Gestión | CRUD completo (modificar, eliminar) | Nada que gestionar |
| Coste de red | Solo el voice_id (unos pocos bytes) | Audio completo en cada solicitud |
| Confidencialidad | Audio almacenado en la nube | Audio no almacenado |
La regla de decisión se reduce a la frecuencia de uso. Una voz que se utiliza a diario, como la narradora de una aplicación o el portavoz de una marca, merece ser creada con client.audio.voices.create(): ahorras el ancho de banda de enviar una muestra en cada llamada y ganas el tiempo de procesamiento de la referencia. Una voz que estás probando o que usarás solo una vez debe pasar por ref_audio, sin dejarte nada que limpiar.
Combinar ambos enfoques
Estos dos métodos no son mutuamente excluyentes; el flujo de trabajo más eficaz los pone en secuencia. Primero, encuentra la muestra adecuada usando ref_audio, escuchando cada resultado. Una vez que un candidato te satisfaga, reutiliza esa misma cadena base64, ya en memoria, para crear la voz final, completa con su nombre, idiomas y género.
# Fase 1: Prueba rápida con ref_audio
ref_b64 = base64.b64encode(Path("my-voice.mp3").read_bytes()).decode()
response = client.audio.speech.complete(
model="voxtral-mini-tts-3-0",
input="Quality test.",
ref_audio=ref_b64,
response_format="mp3",
)
# Escuchar el resultado...
# Fase 2: ¿Satisfecho? Guardar la voz
voice = client.audio.voices.create(
name="my-validated-voice",
sample_audio=ref_b64,
sample_filename="my-voice.mp3",
languages=["fr"],
gender="male",
)
print(f"Voice saved: {voice.id}")
Practica con tres grabaciones de tu propia voz, realizadas en tres condiciones diferentes: micrófono de auriculares, teléfono y sala reverberante. Genera la misma frase con cada una mediante ref_audio, escúchalas y guarda solo la ganadora. En diez minutos aprenderás qué distingue una buena muestra de una mala, sin dejar atrás tres voces inútiles.
Puntos clave
- El parámetro
ref_audiote permite clonar una voz sin guardarla - El audio de referencia se codifica en base64 y se envía directamente en la solicitud
- La clonación al vuelo es ideal para pruebas, uso ocasional y confidencialidad
- Para un uso habitual, prefiere una voz guardada (menor latencia, menos ancho de banda)
- Puedes probar con
ref_audioy luego guardar la voz una vez estés satisfecho