Μετάβαση στο κύριο περιεχόμενο
Ελληνικά— Επιλέξτε γλώσσα
Μενού

Κλωνοποίηση Φωνής Εν Ροή

Μάθημα 9 / 14 Ενημερώθηκε 3 Νοεμβρίου 2026 Για developers
Σε αυτήν τη σελίδα
  1. Κλωνοποίηση Χωρίς Αποθήκευση
  2. Τρία Σενάρια Όπου Αυτή η Προσέγγιση Διακρίνεται
  3. voice_id έναντι ref_audio: Οι Διαφορές
  4. Συνδυασμός Και των Δύο Προσεγγίσεων
  5. Βασικά σημεία

Το μάθημα ενημερώθηκε στις 3 Νοεμβρίου 2026 για το Voxtral TTS 3, με βάση τον οδηγό Migrate from Voxtral 2 και τις σελίδες Text to Speech της Mistral: το μοντέλο voxtral-mini-tts-2603, που αποσύρθηκε στις 31 Οκτωβρίου 2026 και θα απενεργοποιηθεί οριστικά στις 30 Απριλίου 2027, αντικαθίσταται στα παραδείγματα από το voxtral-mini-tts-3-0. Οι προκαθορισμένες φωνές του Voxtral 2 (gb_jane_neutral…) παραμένουν αποδεκτές· το Voxtral 3 προσθέτει τις ετικέτες [emotion=…] και [pace=…] στο κείμενο, τη ρύθμιση expressiveness, προσαρμοσμένη προφορά (phoneme_hints) και υποστήριξη 35 γλωσσών. Η Mistral συνιστά την εκ νέου μέτρηση του λανθάνοντος χρόνου μετά τη μετάβαση. Πηγές: Migrate from Voxtral 2 · Speech generation.

Κλωνοποίηση Χωρίς Αποθήκευση

Το προηγούμενο μάθημα βασίστηκε σε μια αποθηκευμένη φωνή, η οποία δημιουργήθηκε εκ των προτέρων μέσω του API Voices και αναφέρθηκε μέσω του voice_id. Το Voxtral προσφέρει έναν δεύτερο δρόμο: την κλωνοποίηση εν ροή (on-the-fly cloning), όπου παρέχετε το αρχείο αναφοράς ήχου απευθείας στο αίτημα δημιουργίας. Δεν δημιουργείται κανένα αντικείμενο στον λογαριασμό σας: το δείγμα εξυπηρετεί μόνο εκείνο το συγκεκριμένο αίτημα και στη συνέχεια απορρίπτεται.

Στην πράξη, αντικαθιστάτε το voice_id με το ref_audio, το οποίο αναμένει το δείγμα ήχου κωδικοποιημένο σε base64. Το υπόλοιπο της κλήσης παραμένει αμετάβλητο.

import base64
from pathlib import Path
from mistralai.client import Mistral

client = Mistral(api_key="your-api-key")

# Κωδικοποίηση του ήχου αναφοράς
ref_audio_b64 = base64.b64encode(
    Path("reference.mp3").read_bytes()
).decode()

# Δημιουργία με κλωνοποίηση εν ροή
response = client.audio.speech.complete(
    model="voxtral-mini-tts-3-0",
    input="This speech will resemble the reference voice.",
    ref_audio=ref_audio_b64,
    response_format="wav",
)

audio_bytes = base64.b64decode(response.audio_data)
Path("cloned-output.wav").write_bytes(audio_bytes)
print("Audio generated with on-the-fly cloning!")

Τρία Σενάρια Όπου Αυτή η Προσέγγιση Διακρίνεται

Το πρώτο είναι η δημιουργία πρωτοτύπων (prototyping). Όταν αναζητάτε το κατάλληλο δείγμα αναφοράς, μπορεί να δοκιμάσετε δέκα, δεκαπέντε ή και περισσότερα. Η δημιουργία τόσων πολλών φωνών στον λογαριασμό σας σημαίνει ότι αργότερα θα πρέπει να τις βρείτε και να τις διαγράψετε μία προς μία. Με το ref_audio, ο βρόχος δοκιμών σας δεν αφήνει κανένα ίχνος στον διακομιστή, επιτρέποντάς σας να συγκρίνετε τις αποδόσεις απλώς ακούγοντας τα παραγόμενα αρχεία.

# Γρήγορη δοκιμή πολλαπλών δειγμάτων
samples = ["sample1.mp3", "sample2.mp3", "sample3.mp3"]

for file in samples:
    ref_b64 = base64.b64encode(Path(file).read_bytes()).decode()
    response = client.audio.speech.complete(
        model="voxtral-mini-tts-3-0",
        input="This is a voice quality test.",
        ref_audio=ref_b64,
        response_format="mp3",
    )
    output = f"test-{Path(file).stem}.mp3"
    Path(output).write_bytes(base64.b64decode(response.audio_data))
    print(f"Generated: {output}")

Το δεύτερο σενάριο είναι η περιστασιακή χρήση. Ένα προσωποποιημένο μήνυμα γενεθλίων χρησιμοποιώντας τη φωνή ενός αγαπημένου προσώπου, ή μια επίδειξη για πελάτη προετοιμασμένη για μια συγκεκριμένη συνάντηση: αν η φωνή πρόκειται να χρησιμοποιηθεί μόνο μία φορά, δεν υπάρχει λόγος να την εγκαταστήσετε μόνιμα στον λογαριασμό σας.

Το τρίτο είναι η εμπιστευτικότητα. Ο ήχος αναφοράς που αποστέλλεται μέσω του ref_audio δεν αποθηκεύεται στον διακομιστή. Αν διαχειρίζεστε τη φωνή ενός ασθενούς, ενός μάρτυρα ή ενός στελέχους, αυτή η διαφορά δεν είναι επιφανειακή: αλλάζει αυτά που πρέπει να δηλώσετε στο μητρώο επεξεργασίας σας και αυτά που χρειάζεται να διαγράψετε σε περίπτωση σχετικού αιτήματος.

voice_id έναντι ref_audio: Οι Διαφορές

Κριτήριοvoice_idref_audio
ΕπιμονήΗ φωνή αποθηκεύεται στον λογαριασμόΧωρίς επιμονή
ΕπαναχρησιμοποίησηΑπεριόριστηΑνά αίτημα
Λανθάνων χρόνοςΕλαφρώς ταχύτερος (η φωνή έχει ήδη επεξεργαστεί)Ελαφρώς πιο αργός (επεξεργασία σε κάθε κλήση)
ΔιαχείρισηΠλήρες CRUD (τροποποίηση, διαγραφή)Τίποτα προς διαχείριση
Κόστος ΔικτύουΜόνο το voice_id (λίγα bytes)Πλήρης ήχος σε κάθε αίτημα
ΕμπιστευτικότηταΟ ήχος αποθηκεύεται στο cloudΟ ήχος δεν αποθηκεύεται

Ο κανόνας απόφασης ανάγεται στη συχνότητα χρήσης. Μια φωνή που χρησιμοποιείται καθημερινά—όπως ένας αφηγητής εφαρμογής ή ένας εκπρόσωπος μάρκας—αξίζει να δημιουργηθεί με το client.audio.voices.create(): εξοικονομείτε το εύρος ζώνης της αποστολής ενός δείγματος με κάθε κλήση και κερδίζετε τον χρόνο επεξεργασίας της αναφοράς. Μια φωνή που δοκιμάζετε ή θα χρησιμοποιήσετε μόνο μία φορά πρέπει να περάσει μέσω του ref_audio, αφήνοντάς σας χωρίς τίποτα να καθαρίσετε.

Συνδυασμός Και των Δύο Προσεγγίσεων

Αυτές οι δύο μέθοδοι δεν είναι αμοιβαία αποκλειόμενες· η πιο αποτελεσματική ροή εργασίας τις θέτει σε ακολουθία. Πρώτα, βρείτε το κατάλληλο δείγμα χρησιμοποιώντας το ref_audio, ακούγοντας κάθε αποτέλεσμα. Μόλις ένας υποψήφιος σας ικανοποιήσει, επαναχρησιμοποιήστε την ίδια συμβολοσειρά base64—που βρίσκεται ήδη στη μνήμη—για να δημιουργήσετε την τελική φωνή, συμπληρωμένη με το όνομά της, τις γλώσσες και το φύλο.

# Φάση 1: Γρήγορη δοκιμή με ref_audio
ref_b64 = base64.b64encode(Path("my-voice.mp3").read_bytes()).decode()
response = client.audio.speech.complete(
    model="voxtral-mini-tts-3-0",
    input="Quality test.",
    ref_audio=ref_b64,
    response_format="mp3",
)
# Ακούστε το αποτέλεσμα...

# Φάση 2: Ικανοποιημένοι; Αποθηκεύστε τη φωνή
voice = client.audio.voices.create(
    name="my-validated-voice",
    sample_audio=ref_b64,
    sample_filename="my-voice.mp3",
    languages=["fr"],
    gender="male",
)
print(f"Voice saved: {voice.id}")

Εξασκηθείτε με τρεις ηχογραφήσεις της δικής σας φωνής, realizadas υπό τρεις διαφορετικές συνθήκες—μικρόφωνο ακουστικών, κινητό τηλέφωνο, χώρος με αντήχηση. Δημιουργήστε την ίδια φράση με καθεμία μέσω του ref_audio, ακούστε τις και στη συνέχεια αποθηκεύστε μόνο τη νικήτρια. Σε δέκα λεπτά, θα μάθετε τι ξεχωρίζει ένα καλό δείγμα από ένα κακό, χωρίς να αφήσετε πίσω τρεις άχρηστες φωνές.

Βασικά σημεία

  • Η παράμετρος ref_audio σας επιτρέπει να κλωνοποιήσετε μια φωνή χωρίς να την αποθηκεύσετε
  • Ο ήχος αναφοράς κωδικοποιείται σε base64 και αποστέλλεται απευθείας στο αίτημα
  • Η κλωνοποίηση εν ροή είναι ιδανική για δοκιμές, περιστασιακή χρήση και εμπιστευτικότητα
  • Για τακτική χρήση, προτιμήστε μια αποθηκευμένη φωνή (μικρότερος λανθάνων χρόνος, λιγότερο εύρος ζώνης)
  • Μπορείτε να δοκιμάσετε με το ref_audio και στη συνέχεια να αποθηκεύσετε τη φωνή μόλις ικανοποιηθείτε