Klonowanie głosu w locie
Na tej stronie
Kurs zaktualizowany 3 listopada 2026 r. dla Voxtral TTS 3, na podstawie przewodnika Migrate from Voxtral 2 oraz dokumentacji Mistral Text to Speech: model
voxtral-mini-tts-2603, wycofany 31 października 2026 r. i całkowicie usunięty 30 kwietnia 2027 r., został zastąpiony w przykładach przezvoxtral-mini-tts-3-0. Predefiniowane głosy Voxtral 2 (np.gb_jane_neutral…) są nadal obsługiwane; Voxtral 3 wprowadza tagi[emotion=…]i[pace=…]w tekście, ustawienieexpressiveness, niestandardową wymowę (phoneme_hints) oraz obsługę 35 języków. Mistral zaleca ponowne zmierzenie opóźnień po migracji. Źródła: Migrate from Voxtral 2 · Speech generation.
Klonuj bez zapisywania
Poprzednia lekcja opierała się na zapisanym głosie, utworzonym wcześniej przez API Voices i wskazywanym za pomocą voice_id. Voxtral oferuje drugą ścieżkę: klonowanie w locie (on-the-fly), w którym dostarczasz audio referencyjne bezpośrednio w żądaniu generowania. Żaden obiekt nie jest tworzony na Twoim koncie: próbka służy tylko temu konkretnemu żądaniu, a następnie jest odrzucana.
W praktyce zastępujesz voice_id parametrem ref_audio, który oczekuje próbki audio zakodowanej w formacie base64. Reszta wywołania pozostaje bez zmian.
import base64
from pathlib import Path
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
# Zakoduj audio referencyjne
ref_audio_b64 = base64.b64encode(
Path("reference.mp3").read_bytes()
).decode()
# Generuj z klonowaniem w locie
response = client.audio.speech.complete(
model="voxtral-mini-tts-3-0",
input="This speech will resemble the reference voice.",
ref_audio=ref_audio_b64,
response_format="wav",
)
audio_bytes = base64.b64decode(response.audio_data)
Path("cloned-output.wav").write_bytes(audio_bytes)
print("Audio generated with on-the-fly cloning!")
Trzy scenariusze, w których to podejście się sprawdza
Pierwszym jest prototypowanie. Kiedy szukasz odpowiedniej próbki referencyjnej, możesz przetestować dziesięć, piętnaście lub nawet więcej. Stworzenie tylu głosów na Twoim koncie oznacza, że później będziesz musiał znaleźć i usunąć je jeden po drugim. Dzięki ref_audio Twoja pętla testowa nie pozostawia śladu na serwerze, co pozwala porównywać renderowania, po prostu odsłuchując wygenerowane pliki.
# Szybko przetestuj wiele próbek
samples = ["sample1.mp3", "sample2.mp3", "sample3.mp3"]
for file in samples:
ref_b64 = base64.b64encode(Path(file).read_bytes()).decode()
response = client.audio.speech.complete(
model="voxtral-mini-tts-3-0",
input="This is a voice quality test.",
ref_audio=ref_b64,
response_format="mp3",
)
output = f"test-{Path(file).stem}.mp3"
Path(output).write_bytes(base64.b64decode(response.audio_data))
print(f"Generated: {output}")
Drugim scenariuszem jest okazjonalne użycie. Spersonalizowana wiadomość urodzinowa używająca głosu bliskiej osoby lub demo dla klienta przygotowane na konkretne spotkanie: jeśli głos ma być użyty tylko raz, nie ma powodu, aby instalować go na stałe na Twoim koncie.
Trzecim jest poufność. Audio referencyjne wysłane przez ref_audio nie jest przechowywane na serwerze. Jeśli obsługujesz głos pacjenta, świadka lub członka kadry kierowniczej, ta różnica nie jest kosmetyczna: zmienia to, co musisz zadeklarować w rejestrze przetwarzania danych i co musisz usunąć w przypadku wniosku o usunięcie.
voice_id kontra ref_audio: Różnice
| Kryterium | voice_id | ref_audio |
|---|---|---|
| Trwałość | Głos zapisany na koncie | Brak trwałości |
| Wielokrotność użycia | Nieograniczona | Na żądanie |
| Opóźnienie | Nieco szybsze (głos już przetworzony) | Nieco wolniejsze (przetwarzanie przy każdym wywołaniu) |
| Zarządzanie | Pełne CRUD (modyfikuj, usuń) | Nic do zarządzania |
| Koszt sieciowy | Tylko voice_id (kilka bajtów) | Pełne audio przy każdym żądaniu |
| Poufność | Audio przechowywane w chmurze | Audio nieprzechowywane |
Zasada decyzyjna sprowadza się do częstotliwości użycia. Głos używany codziennie – taki jak lektor aplikacji lub rzecznik marki – zasługuje na utworzenie za pomocą client.audio.voices.create(): oszczędzasz przepustowość potrzebną do wysyłania próbki z każdym wywołaniem i zyskujesz czas przetwarzania referencji. Głos, który testujesz lub użyjesz tylko raz, powinien przejść przez ref_audio, nie pozostawiając Ci nic do posprzątania.
Łączenie obu podejść
Te dwie metody nie wykluczają się wzajemnie; najskuteczniejszy przepływ pracy ustawia je sekwencyjnie. Najpierw znajdź odpowiednią próbkę, używając ref_audio i odsłuchując każdy wynik. Gdy kandydat Cię zadowoli, użyj tego samego ciągu base64 – już znajdującego się w pamięci – aby utworzyć finalny głos, uzupełniając go o nazwę, języki i płeć.
# Faza 1: Szybki test z ref_audio
ref_b64 = base64.b64encode(Path("my-voice.mp3").read_bytes()).decode()
response = client.audio.speech.complete(
model="voxtral-mini-tts-3-0",
input="Quality test.",
ref_audio=ref_b64,
response_format="mp3",
)
# Odsłuchaj wynik...
# Faza 2: Zadowolony? Zapisz głos
voice = client.audio.voices.create(
name="my-validated-voice",
sample_audio=ref_b64,
sample_filename="my-voice.mp3",
languages=["fr"],
gender="male",
)
print(f"Voice saved: {voice.id}")
Poćwicz na trzech nagraniach własnego głosu, wykonanych w trzech różnych warunkach: mikrofon zestawu słuchawkowego, telefon, pomieszczenie z pogłosem. Wygeneruj to samo zdanie dla każdego z nich za pomocą ref_audio, odsłuchaj, a następnie zapisz tylko zwycięzcę. W dziesięć minut nauczysz się, co odróżnia dobrą próbkę od złej, nie zostawiając po sobie trzech nieużytecznych głosów.
Kluczowe wnioski
- Parametr
ref_audiopozwala sklonować głos bez jego zapisywania - Audio referencyjne jest kodowane w base64 i wysyłane bezpośrednio w żądaniu
- Klonowanie w locie jest idealne do testów, użytku okazjonalnego i zachowania poufności
- Do regularnego użytku preferuj zapisany głos (mniejsze opóźnienie, mniejsze zużycie przepustowości)
- Możesz testować za pomocą
ref_audio, a następnie zapisać głos, gdy będziesz zadowolony z efektu