Ir al contenido principal
Español— Elegir un idioma
Menú

Clonación de voz al vuelo

Lección 9 de 14 Actualizado el 3 de noviembre de 2026 Desarrollador
En esta página
  1. Clonar sin guardar
  2. Tres escenarios donde este enfoque destaca
  3. voice_id frente a ref_audio: las diferencias
  4. Combinar ambos enfoques
  5. Puntos clave

Curso actualizado el 3 de noviembre de 2026 para Voxtral TTS 3, basándose en la guía Migrate from Voxtral 2 y en las páginas de Text to Speech de Mistral: voxtral-mini-tts-2603, obsoleto desde el 31 de octubre de 2026 y retirado el 30 de abril de 2027, se sustituye en los ejemplos por voxtral-mini-tts-3-0. Las voces predefinidas de Voxtral 2 (gb_jane_neutral…) siguen siendo válidas; Voxtral 3 añade las etiquetas [emotion=…] y [pace=…] en el texto, el parámetro expressiveness, la pronunciación personalizada (phoneme_hints) y 35 idiomas. Mistral recomienda volver a medir la latencia tras la migración. Fuentes: Migrate from Voxtral 2 · Speech generation.

Clonar sin guardar

La lección anterior dependía de una voz guardada, creada previamente mediante la API de Voices y referenciada por su voice_id. Voxtral ofrece una segunda vía: la clonación al vuelo, en la que proporcionas el audio de referencia directamente en la solicitud de generación. No se crea ningún objeto en tu cuenta: la muestra sirve únicamente para esa solicitud concreta y luego se descarta.

En la práctica, sustituyes voice_id por ref_audio, que espera la muestra de audio codificada en base64. El resto de la llamada permanece inalterado.

import base64
from pathlib import Path
from mistralai.client import Mistral

client = Mistral(api_key="your-api-key")

# Codificar el audio de referencia
ref_audio_b64 = base64.b64encode(
    Path("reference.mp3").read_bytes()
).decode()

# Generar con clonación al vuelo
response = client.audio.speech.complete(
    model="voxtral-mini-tts-3-0",
    input="This speech will resemble the reference voice.",
    ref_audio=ref_audio_b64,
    response_format="wav",
)

audio_bytes = base64.b64decode(response.audio_data)
Path("cloned-output.wav").write_bytes(audio_bytes)
print("Audio generated with on-the-fly cloning!")

Tres escenarios donde este enfoque destaca

El primero es la creación de prototipos. Cuando buscas la muestra de referencia adecuada, es posible que pruebes diez, quince o incluso más. Crear tantas voces en tu cuenta implica que luego tendrás que localizarlas y eliminarlas una por una. Con ref_audio, tu bucle de pruebas no deja rastro en el servidor, lo que te permite comparar los renders simplemente escuchando los archivos generados.

# Probar rápidamente varias muestras
samples = ["sample1.mp3", "sample2.mp3", "sample3.mp3"]

for file in samples:
    ref_b64 = base64.b64encode(Path(file).read_bytes()).decode()
    response = client.audio.speech.complete(
        model="voxtral-mini-tts-3-0",
        input="This is a voice quality test.",
        ref_audio=ref_b64,
        response_format="mp3",
    )
    output = f"test-{Path(file).stem}.mp3"
    Path(output).write_bytes(base64.b64decode(response.audio_data))
    print(f"Generated: {output}")

El segundo escenario es el uso ocasional. Un mensaje de cumpleaños personalizado con la voz de un ser querido o una demostración para un cliente preparada para una reunión específica: si la voz se va a usar solo una vez, no hay razón para instalarla permanentemente en tu cuenta.

El tercero es la confidencialidad. El audio de referencia enviado mediante ref_audio no se almacena en el servidor. Si estás gestionando la voz de un paciente, un testigo o un directivo, esta diferencia no es cosmética: cambia lo que debes declarar en tu registro de actividades de tratamiento y lo que necesitas borrar en caso de una solicitud de ejercicio de derechos.

voice_id frente a ref_audio: las diferencias

Criteriovoice_idref_audio
PersistenciaVoz guardada en la cuentaSin persistencia
ReutilizaciónIlimitadaPor solicitud
LatenciaLigeramente más rápida (voz ya procesada)Ligeramente más lenta (procesamiento en cada llamada)
GestiónCRUD completo (modificar, eliminar)Nada que gestionar
Coste de redSolo el voice_id (unos pocos bytes)Audio completo en cada solicitud
ConfidencialidadAudio almacenado en la nubeAudio no almacenado

La regla de decisión se reduce a la frecuencia de uso. Una voz que se utiliza a diario, como la narradora de una aplicación o el portavoz de una marca, merece ser creada con client.audio.voices.create(): ahorras el ancho de banda de enviar una muestra en cada llamada y ganas el tiempo de procesamiento de la referencia. Una voz que estás probando o que usarás solo una vez debe pasar por ref_audio, sin dejarte nada que limpiar.

Combinar ambos enfoques

Estos dos métodos no son mutuamente excluyentes; el flujo de trabajo más eficaz los pone en secuencia. Primero, encuentra la muestra adecuada usando ref_audio, escuchando cada resultado. Una vez que un candidato te satisfaga, reutiliza esa misma cadena base64, ya en memoria, para crear la voz final, completa con su nombre, idiomas y género.

# Fase 1: Prueba rápida con ref_audio
ref_b64 = base64.b64encode(Path("my-voice.mp3").read_bytes()).decode()
response = client.audio.speech.complete(
    model="voxtral-mini-tts-3-0",
    input="Quality test.",
    ref_audio=ref_b64,
    response_format="mp3",
)
# Escuchar el resultado...

# Fase 2: ¿Satisfecho? Guardar la voz
voice = client.audio.voices.create(
    name="my-validated-voice",
    sample_audio=ref_b64,
    sample_filename="my-voice.mp3",
    languages=["fr"],
    gender="male",
)
print(f"Voice saved: {voice.id}")

Practica con tres grabaciones de tu propia voz, realizadas en tres condiciones diferentes: micrófono de auriculares, teléfono y sala reverberante. Genera la misma frase con cada una mediante ref_audio, escúchalas y guarda solo la ganadora. En diez minutos aprenderás qué distingue una buena muestra de una mala, sin dejar atrás tres voces inútiles.

Puntos clave

  • El parámetro ref_audio te permite clonar una voz sin guardarla
  • El audio de referencia se codifica en base64 y se envía directamente en la solicitud
  • La clonación al vuelo es ideal para pruebas, uso ocasional y confidencialidad
  • Para un uso habitual, prefiere una voz guardada (menor latencia, menos ancho de banda)
  • Puedes probar con ref_audio y luego guardar la voz una vez estés satisfecho