Премини към основното съдържание
Български— Изберете език
Меню

Клониране на глас в реално време

Урок 9 от 14 Обновен 3 ноември 2026 г. Програмист
На тази страница
  1. Клониране без запазване
  2. Три сценария, в които този подход блести
  3. voice_id срещу ref_audio: Разликите
  4. Комбиниране на двата подхода
  5. Ключови изводи

Курсът е актуализиран на 3 ноември 2026 г. за Voxtral TTS 3, въз основа на ръководството Migrate from Voxtral 2 и страниците на Mistral за Text to Speech: voxtral-mini-tts-2603, обявен за остарял на 31 октомври 2026 г. и премахнат на 30 април 2027 г., е заменен в примерите с voxtral-mini-tts-3-0. Предварително дефинираните гласове на Voxtral 2 (gb_jane_neutral…) остават поддържани; Voxtral 3 добавя тагове [emotion=…] и [pace=…] в текста, настройката expressiveness, персонализирано произношение (phoneme_hints) и 35 езика. Mistral препоръчва повторно измерване на латентността след миграцията. Източници: Migrate from Voxtral 2 · Speech generation.

Клониране без запазване

Предишният урок разчиташе на запазен глас, създаден предварително чрез Voices API и идентифициран чрез неговия voice_id. Voxtral предлага втори път: клониране в реално време (on-the-fly), при което предоставяте референтното аудио директно в заявката за генериране. Не се създава никакъв обект във Вашия акаунт: семплът служи само за тази конкретна заявка, след което се изтрива.

На практика замените voice_id с ref_audio, което очаква аудио семпл, кодиран в base64. Останалата част от извикването остава непроменена.

import base64
from pathlib import Path
from mistralai.client import Mistral

client = Mistral(api_key="your-api-key")

# Encode the reference audio
ref_audio_b64 = base64.b64encode(
    Path("reference.mp3").read_bytes()
).decode()

# Generate with on-the-fly cloning
response = client.audio.speech.complete(
    model="voxtral-mini-tts-3-0",
    input="This speech will resemble the reference voice.",
    ref_audio=ref_audio_b64,
    response_format="wav",
)

audio_bytes = base64.b64decode(response.audio_data)
Path("cloned-output.wav").write_bytes(audio_bytes)
print("Audio generated with on-the-fly cloning!")

Три сценария, в които този подход блести

Първият е прототипирането. Когато търсите правилния референтен семпл, може да изпробвате десет, петнадесет или дори повече. Създаването на толкова много гласове във Вашия акаунт означава, че по-късно ще трябва да ги намирате и изтривате един по един. С ref_audio Вашият тестов цикъл не оставя следи на сървъра, което Ви позволява да сравнявате рендерите просто чрез прослушване на получените файлове.

# Quickly test multiple samples
samples = ["sample1.mp3", "sample2.mp3", "sample3.mp3"]

for file in samples:
    ref_b64 = base64.b64encode(Path(file).read_bytes()).decode()
    response = client.audio.speech.complete(
        model="voxtral-mini-tts-3-0",
        input="This is a voice quality test.",
        ref_audio=ref_b64,
        response_format="mp3",
    )
    output = f"test-{Path(file).stem}.mp3"
    Path(output).write_bytes(base64.b64decode(response.audio_data))
    print(f"Generated: {output}")

Вторият сценарий е епизодичната употреба. Персонализирано пожелание за рожден ден с гласа на близък човек или демо за клиент, подготвено за конкретна среща: ако гласът ще бъде използван само веднъж, няма причина да го инсталирате постоянно във Вашия акаунт.

Третият е поверителността. Референтното аудио, изпратено чрез ref_audio, не се съхранява на сървъра. Ако обработвате гласа на пациент, свидетел или ръководител, тази разлика не е козметична: тя променя това, което трябва да декларирате в регистъра си за обработка на данни, и това, което трябва да изтриете в случай на искане за заличаване.

voice_id срещу ref_audio: Разликите

Критерийvoice_idref_audio
ПостоянствоГласът е запазен в акаунтаНяма постоянство
Повторна употребаНеограниченаЗа всяка заявка
ЛатентностМалко по-бърза (гласът вече е обработен)Малко по-бавна (обработка при всяко извикване)
УправлениеПълен CRUD (промяна, изтриване)Нищо за управление
Мрежови разходиСамо voice_id (няколко байта)Пълното аудио при всяка заявка
ПоверителностАудиото се съхранява в облакаАудиото не се съхранява

Правилото за вземане на решение се свежда до честотата на използване. Глас, използван всеки ден – например разказвач на приложение или говорител на марка – заслужава да бъде създаден с client.audio.voices.create(): спестявате честотната лента за изпращане на семпл при всяко извикване и печелите време за обработка на референцията. Глас, който тествате или ще използвате само веднъж, трябва да мине през ref_audio, като така не Ви остава нищо за почистване.

Комбиниране на двата подхода

Тези два метода не се изключват взаимно; най-ефективният работен поток ги поставя в последователност. Първо, намерете правилния семпл, използвайки ref_audio, като прослушвате всеки резултат. След като кандидатът Ви удовлетвори, използвайте повторно същия base64 низ – вече в паметта –, за да създадете окончателния глас, заедно с неговото име, езици и пол.

# Phase 1: Quick test with ref_audio
ref_b64 = base64.b64encode(Path("my-voice.mp3").read_bytes()).decode()
response = client.audio.speech.complete(
    model="voxtral-mini-tts-3-0",
    input="Quality test.",
    ref_audio=ref_b64,
    response_format="mp3",
)
# Listen to the result...

# Phase 2: Satisfied? Save the voice
voice = client.audio.voices.create(
    name="my-validated-voice",
    sample_audio=ref_b64,
    sample_filename="my-voice.mp3",
    languages=["fr"],
    gender="male",
)
print(f"Voice saved: {voice.id}")

Упражнявайте се с три записи на собствения си глас, направени при три различни условия – микрофон на слушалки, телефон, помещение с ехо. Генерирайте една и съща фраза с всеки от тях чрез ref_audio, прослушайте ги и след това запазете само победителя. За десет минути ще научите какво отличава добрия семпл от лошия, без да оставяте след себе си три безполезни гласа.

Ключови изводи

  • Параметърът ref_audio Ви позволява да клонирате глас, без да го запазвате
  • Референтното аудио се кодира в base64 и се изпраща директно в заявката
  • Клонирането в реално време е идеално за тестване, епизодична употреба и поверителност
  • За редовна употреба предпочитайте запазен глас (по-ниска латентност, по-малко честотна лента)
  • Можете да тествате с ref_audio и след това да запазите гласа, след като сте удовлетворени