Klonar tal-Vuċi fuq it-Titjira
F'din il-paġna
Kors aġġornat fit-3 ta’ Novembru 2026 għal Voxtral TTS 3, ibbażat fuq il-gwida Migrate from Voxtral 2 u l-paġni Text to Speech ta’ Mistral:
voxtral-mini-tts-2603, deprekat fil-31 ta’ Ottubru 2026 u rtirat fit-30 ta’ April 2027, huwa mibdul fl-eżempji b’voxtral-mini-tts-3-0. Il-vuċijiet predefiniti ta’ Voxtral 2 (gb_jane_neutral…) għadhom aċċettati; Voxtral 3 iżid it-tags[emotion=…]u[pace=…]fit-test, is-settingexpressiveness, il-pronunzja personalizzata (phoneme_hints), u 35 lingwa. Mistral jirrakkomanda li terġa’ tkejjel il-latency wara l-migrazzjoni. Sorsi: Migrate from Voxtral 2 · Speech generation.
Ikkklonja Mingħajr Ma Tħalli
Il-lezzjoni preċedenti kienet tiddependi fuq vuċi salvata, maħluqa minn qabel permezz tal-API tal-Vuċijiet u msemmija bl-voice_id tagħha. Voxtral joffri triq sekondarja: il-klonar fuq it-titjira (on-the-fly), fejn tipprovdi l-awdjo ta’ referenza direttament fit-talba tal-ġenerazzjoni. L-ebda oġġett ma jinħoloq fil-kont tiegħek: il-kampjun iservi biss għal dik it-talba speċifika, imbagħad jintrema.
Fil-prattika, tibdel voice_id b’ref_audio, li jistenna l-kampjun tal-awdjo kodifikat f’base64. Il-bqija tas-sejħa tibqa’ l-istess.
import base64
from pathlib import Path
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
# Encode the reference audio
ref_audio_b64 = base64.b64encode(
Path("reference.mp3").read_bytes()
).decode()
# Generate with on-the-fly cloning
response = client.audio.speech.complete(
model="voxtral-mini-tts-3-0",
input="This speech will resemble the reference voice.",
ref_audio=ref_audio_b64,
response_format="wav",
)
audio_bytes = base64.b64decode(response.audio_data)
Path("cloned-output.wav").write_bytes(audio_bytes)
print("Audio generated with on-the-fly cloning!")
Tliet Xenarji Fejn Dan l-Approċċ Jirnexxi
L-ewwel huwa l-prototipar. Meta tkun qed tfittex il-kampjun ta’ referenza t-tajjeb, tista’ tipprova għaxra, ħmistax, jew saħansitra aktar. Li toħloq daqshekk vuċijiet fil-kont tiegħek ifisser li aktar tard ikollok issibhom u tħassarhom wieħed wieħed. B’ref_audio, iċ-ċiklu tat-test tiegħek ma jħalli l-ebda traċċa fuq is-server, u jħallik tqabbel ir-renderings sempliċement billi tisma’ l-fajls prodotti.
# Quickly test multiple samples
samples = ["sample1.mp3", "sample2.mp3", "sample3.mp3"]
for file in samples:
ref_b64 = base64.b64encode(Path(file).read_bytes()).decode()
response = client.audio.speech.complete(
model="voxtral-mini-tts-3-0",
input="This is a voice quality test.",
ref_audio=ref_b64,
response_format="mp3",
)
output = f"test-{Path(file).stem}.mp3"
Path(output).write_bytes(base64.b64decode(response.audio_data))
print(f"Generated: {output}")
It-tieni xenarju huwa l-użu okkażjonali. Messaġġ ta’ awguri personalizzat għat-twelid bl-użu tal-vuċi ta’ għażiż, jew demo għal klijent imħejji għal laqgħa speċifika: jekk il-vuċi se tintuża darba biss, m’hemm l-ebda raġuni biex tinstallaha b’mod permanenti fil-kont tiegħek.
It-tielet hija l-kunfidenzjalità. L-awdjo ta’ referenza mibgħut permezz ta’ ref_audio ma jinħażinx fuq is-server. Jekk qed tittratta l-vuċi ta’ pazjent, xhud, jew eżekuttiv, din id-differenza mhix kosmetika: tbiddel dak li trid tiddikjara fir-reġistru tal-ipproċessar tiegħek u dak li għandek bżonn tħassar fil-każ ta’ talba.
voice_id vs. ref_audio: Id-Differenzi
| Kriterju | voice_id | ref_audio |
|---|---|---|
| Persistenza | Vuċi salvata fil-kont | L-ebda persistenza |
| Użu mill-ġdid | Illimitat | Għal kull talba |
| Latency | Kemxejn aktar mgħaġġel (il-vuċi diġà pproċessata) | Kemxejn aktar bil-mod (ipproċessar f’kull sejħa) |
| Ġestjoni | CRUD sħiħ (immodifika, ħassar) | Xejn x’timmaniġġja |
| Spiża tan-Network | Biss il-voice_id (ftit bytes) | Awdjo sħiħ f’kull talba |
| Kunfidenzjalità | Awdjo maħżun fis-sħaba | Awdjo mhux maħżun |
Ir-regola tad-deċiżjoni tinżel għall-frekwenza tal-użu. Vuċi użata kuljum—bħal narratur ta’ applikazzjoni jew kelliem għal marka—tistħoqqilha tinħoloq b’client.audio.voices.create(): tiffranka l-bandwidth li tibgħat kampjun ma’ kull sejħa, u tikseb il-ħin tal-ipproċessar tar-referenza. Vuċi li qed tittestja jew se tuża darba biss għandha tgħaddi minn ref_audio, u tħallik mingħajr xejn x’tnaddaf.
Tagħqid taż-Żewġ Approċċi
Dawn iż-żewġ metodi mhumiex esklużivi reċiprokament; l-aktar fluss ta’ ħidma effettiv iqiegħdhom f’sekwenza. L-ewwel, sib il-kampjun it-tajjeb billi tuża ref_audio, u tisma’ kull riżultat. Ladarba kandidat jissodisfak, erġa’ uża l-istess string base64—diġà fil-memorja—biex toħloq il-vuċi finali, kompluta bl-isem, il-lingwi, u l-ġeneru tagħha.
# Phase 1: Quick test with ref_audio
ref_b64 = base64.b64encode(Path("my-voice.mp3").read_bytes()).decode()
response = client.audio.speech.complete(
model="voxtral-mini-tts-3-0",
input="Quality test.",
ref_audio=ref_b64,
response_format="mp3",
)
# Listen to the result...
# Phase 2: Satisfied? Save the voice
voice = client.audio.voices.create(
name="my-validated-voice",
sample_audio=ref_b64,
sample_filename="my-voice.mp3",
languages=["fr"],
gender="male",
)
print(f"Voice saved: {voice.id}")
Ippraktika b’tliet rekording tal-vuċi tiegħek stess, magħmula taħt tliet kundizzjonijiet differenti—mikrofonu tal-headset, telefon, kamra b’riverberazzjoni. Iġġenera l-istess frażi ma’ kull waħda permezz ta’ ref_audio, isma’, u mbagħad salva biss ir-rebbieħ. F’għaxar minuti, titgħallem x’jiddistingwi kampjun tajjeb minn wieħed ħażin, mingħajr ma tħalli warajk tliet vuċijiet inutili.
Punti Ewlenin
- Il-parametru
ref_audiojħallik tikkklonja vuċi mingħajr ma ssalvaha - L-awdjo ta’ referenza huwa kodifikat f’base64 u mibgħut direttament fit-talba
- Il-klonar fuq it-titjira huwa ideali għall-ittestjar, l-użu okkażjonali, u l-kunfidenzjalità
- Għall-użu regolari, ippreferi vuċi salvata (latency aktar baxxa, inqas bandwidth)
- Tista’ tittestja b’
ref_audiou mbagħad issalva l-vuċi ladarba tkun sodisfatt