Клониране на глас в реално време
На тази страница
Курсът е актуализиран на 3 ноември 2026 г. за Voxtral TTS 3, въз основа на ръководството Migrate from Voxtral 2 и страниците на Mistral за Text to Speech:
voxtral-mini-tts-2603, обявен за остарял на 31 октомври 2026 г. и премахнат на 30 април 2027 г., е заменен в примерите сvoxtral-mini-tts-3-0. Предварително дефинираните гласове на Voxtral 2 (gb_jane_neutral…) остават поддържани; Voxtral 3 добавя тагове[emotion=…]и[pace=…]в текста, настройкатаexpressiveness, персонализирано произношение (phoneme_hints) и 35 езика. Mistral препоръчва повторно измерване на латентността след миграцията. Източници: Migrate from Voxtral 2 · Speech generation.
Клониране без запазване
Предишният урок разчиташе на запазен глас, създаден предварително чрез Voices API и идентифициран чрез неговия voice_id. Voxtral предлага втори път: клониране в реално време (on-the-fly), при което предоставяте референтното аудио директно в заявката за генериране. Не се създава никакъв обект във Вашия акаунт: семплът служи само за тази конкретна заявка, след което се изтрива.
На практика замените voice_id с ref_audio, което очаква аудио семпл, кодиран в base64. Останалата част от извикването остава непроменена.
import base64
from pathlib import Path
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
# Encode the reference audio
ref_audio_b64 = base64.b64encode(
Path("reference.mp3").read_bytes()
).decode()
# Generate with on-the-fly cloning
response = client.audio.speech.complete(
model="voxtral-mini-tts-3-0",
input="This speech will resemble the reference voice.",
ref_audio=ref_audio_b64,
response_format="wav",
)
audio_bytes = base64.b64decode(response.audio_data)
Path("cloned-output.wav").write_bytes(audio_bytes)
print("Audio generated with on-the-fly cloning!")
Три сценария, в които този подход блести
Първият е прототипирането. Когато търсите правилния референтен семпл, може да изпробвате десет, петнадесет или дори повече. Създаването на толкова много гласове във Вашия акаунт означава, че по-късно ще трябва да ги намирате и изтривате един по един. С ref_audio Вашият тестов цикъл не оставя следи на сървъра, което Ви позволява да сравнявате рендерите просто чрез прослушване на получените файлове.
# Quickly test multiple samples
samples = ["sample1.mp3", "sample2.mp3", "sample3.mp3"]
for file in samples:
ref_b64 = base64.b64encode(Path(file).read_bytes()).decode()
response = client.audio.speech.complete(
model="voxtral-mini-tts-3-0",
input="This is a voice quality test.",
ref_audio=ref_b64,
response_format="mp3",
)
output = f"test-{Path(file).stem}.mp3"
Path(output).write_bytes(base64.b64decode(response.audio_data))
print(f"Generated: {output}")
Вторият сценарий е епизодичната употреба. Персонализирано пожелание за рожден ден с гласа на близък човек или демо за клиент, подготвено за конкретна среща: ако гласът ще бъде използван само веднъж, няма причина да го инсталирате постоянно във Вашия акаунт.
Третият е поверителността. Референтното аудио, изпратено чрез ref_audio, не се съхранява на сървъра. Ако обработвате гласа на пациент, свидетел или ръководител, тази разлика не е козметична: тя променя това, което трябва да декларирате в регистъра си за обработка на данни, и това, което трябва да изтриете в случай на искане за заличаване.
voice_id срещу ref_audio: Разликите
| Критерий | voice_id | ref_audio |
|---|---|---|
| Постоянство | Гласът е запазен в акаунта | Няма постоянство |
| Повторна употреба | Неограничена | За всяка заявка |
| Латентност | Малко по-бърза (гласът вече е обработен) | Малко по-бавна (обработка при всяко извикване) |
| Управление | Пълен CRUD (промяна, изтриване) | Нищо за управление |
| Мрежови разходи | Само voice_id (няколко байта) | Пълното аудио при всяка заявка |
| Поверителност | Аудиото се съхранява в облака | Аудиото не се съхранява |
Правилото за вземане на решение се свежда до честотата на използване. Глас, използван всеки ден – например разказвач на приложение или говорител на марка – заслужава да бъде създаден с client.audio.voices.create(): спестявате честотната лента за изпращане на семпл при всяко извикване и печелите време за обработка на референцията. Глас, който тествате или ще използвате само веднъж, трябва да мине през ref_audio, като така не Ви остава нищо за почистване.
Комбиниране на двата подхода
Тези два метода не се изключват взаимно; най-ефективният работен поток ги поставя в последователност. Първо, намерете правилния семпл, използвайки ref_audio, като прослушвате всеки резултат. След като кандидатът Ви удовлетвори, използвайте повторно същия base64 низ – вече в паметта –, за да създадете окончателния глас, заедно с неговото име, езици и пол.
# Phase 1: Quick test with ref_audio
ref_b64 = base64.b64encode(Path("my-voice.mp3").read_bytes()).decode()
response = client.audio.speech.complete(
model="voxtral-mini-tts-3-0",
input="Quality test.",
ref_audio=ref_b64,
response_format="mp3",
)
# Listen to the result...
# Phase 2: Satisfied? Save the voice
voice = client.audio.voices.create(
name="my-validated-voice",
sample_audio=ref_b64,
sample_filename="my-voice.mp3",
languages=["fr"],
gender="male",
)
print(f"Voice saved: {voice.id}")
Упражнявайте се с три записи на собствения си глас, направени при три различни условия – микрофон на слушалки, телефон, помещение с ехо. Генерирайте една и съща фраза с всеки от тях чрез ref_audio, прослушайте ги и след това запазете само победителя. За десет минути ще научите какво отличава добрия семпл от лошия, без да оставяте след себе си три безполезни гласа.
Ключови изводи
- Параметърът
ref_audioВи позволява да клонирате глас, без да го запазвате - Референтното аудио се кодира в base64 и се изпраща директно в заявката
- Клонирането в реално време е идеално за тестване, епизодична употреба и поверителност
- За редовна употреба предпочитайте запазен глас (по-ниска латентност, по-малко честотна лента)
- Можете да тествате с
ref_audioи след това да запазите гласа, след като сте удовлетворени