Μετάβαση στο κύριο περιεχόμενο
Ελληνικά— Επιλέξτε γλώσσα
Μενού

Ροή δεδομένων σε πραγματικό χρόνο

Μάθημα 10 / 14 Ενημερώθηκε 3 Νοεμβρίου 2026 Για developers
Σε αυτήν τη σελίδα
  1. Γιατί η ροή δεδομένων αλλάζει τα πάντα
  2. Το πρωτόκολλο συμβάντων
  3. Αναπαραγωγή ήχου καθώς φτάνει
  4. Αναμετάδοση της ροής σε έναν browser
  5. Η ρύθμιση που κάνει τη διαφορά: η ενδιάμεση μνήμη (buffer)
  6. Βασικά σημεία

Το μάθημα ενημερώθηκε στις 3 Νοεμβρίου 2026 για το Voxtral TTS 3, με βάση τον οδηγό Migrate from Voxtral 2 και τις σελίδες Text to Speech της Mistral: το voxtral-mini-tts-2603, που αποσύρθηκε στις 31 Οκτωβρίου 2026 και θα απενεργοποιηθεί οριστικά στις 30 Απριλίου 2027, αντικαθίσταται στα παραδείγματα από το voxtral-mini-tts-3-0. Οι προκαθορισμένες φωνές του Voxtral 2 (gb_jane_neutral…) παραμένουν υποστηριζόμενες· το Voxtral 3 προσθέτει ετικέτες [emotion=…] και [pace=…] στο κείμενο, τη ρύθμιση expressiveness, προσαρμοσμένη προφορά (phoneme_hints) και 35 γλώσσες. Η Mistral συνιστά επαναμέτρηση της καθυστέρησης μετά τη μετάβαση. Πηγές: Migrate from Voxtral 2 · Speech generation.

Γιατί η ροή δεδομένων αλλάζει τα πάντα

Μέχρι τώρα, εργαστήκατε σε σύγχρονη λειτουργία: στέλνετε το κείμενο, περιμένετε να ολοκληρωθεί πλήρως η σύνθεση και στη συνέχεια λαμβάνετε το πλήρες αρχείο ήχου. Για ένα προ-δημιουργημένο μήνυμα καλωσορίσματος που ετοιμάστηκε την προηγούμενη μέρα, αυτή η αναμονή δεν έχει σημασία. Για έναν φωνητικό βοηθό που απαντά σε πελάτη μέσω τηλεφώνου, όμως, αποτελεί σοβαρό πρόβλημα—δύο δευτερόλεπτα σιωπής μετά από μια ερώτηση και ο χρήστης νομίζει ότι διακόπηκε η κλήση.

Η ροή δεδομένων (streaming) εξαλείφει αυτή την αναμονή. Ο ήχος μεταδίδεται καθώς παράγεται, τμήμα προς τμήμα, ώστε ο χρήστης να ακούει τις πρώτες λέξεις ενώ το μοντέλο παράγει ακόμα το τέλος της πρότασης. Ο συνολικός χρόνος δημιουργίας δεν αλλάζει· αυτό που μηδενίζεται είναι η καθυστέρηση πριν ακουστεί ο πρώτος ήχος.

Το πρωτόκολλο συμβάντων

Η ροή βασίζεται στα Server-Sent Events. Κάθε μήνυμα που λαμβάνετε είναι ένα συμβάν συγκεκριμένου τύπου και δύο τύποι σας αφορούν άμεσα:

  • speech.audio.delta: περιέχει ένα τμήμα ήχου σε base64. Αυτό είναι το κύριο συμβάν που θα διαχειριστείτε.
  • speech.audio.done: σήμα λήξης—η δημιουργία ολοκληρώθηκε.

Στον κώδικα, η μετάβαση στη ροή δεδομένων σημαίνει προσθήκη του stream=True και κατανάλωση της απόκρισης μέσα σε ένα μπλοκ with. Το παρακάτω παράδειγμα συσσωρεύει τα τμήματα στη μνήμη για να γράψει ένα αρχείο στο τέλος: αυτό δεν είναι ακόμη πραγματικός χρόνος, αλλά αποτελεί τη δομή βρόχου πάνω στην οποία θα χτίσουμε στο υπόλοιπο μάθημα.

import base64
from pathlib import Path
from mistralai.client import Mistral

client = Mistral(api_key="your-api-key")

audio_chunks = []

with client.audio.speech.complete(
    model="voxtral-mini-tts-3-0",
    input="Streaming makes voice agents responsive and natural.",
    voice_id="your-voice-id",
    response_format="opus",
    stream=True,
) as stream:
    for event in stream:
        if event.event == "speech.audio.delta":
            chunk = base64.b64decode(event.data.audio_data)
            audio_chunks.append(chunk)
            print(f"Chunk received: {len(chunk)} bytes")

# Assemble all chunks
audio_complet = b"".join(audio_chunks)
Path("streaming-output.opus").write_bytes(audio_complet)
print(f"Final audio: {len(audio_complet)} bytes")

Αναπαραγωγή ήχου καθώς φτάνει

Για να επιτύχετε την υποσχόμενη ανταπόκριση, σταματήστε τη συσσώρευση και γράψτε κάθε τμήμα απευθείας στην κάρτα ήχου. Με το pyaudio, η αλλαγή απαιτεί μία γραμμή: αντί να προσθέτετε το αποκωδικοποιημένο τμήμα σε μια λίστα, το στέλνετε σε μια ροή εξόδου που ανοίξατε εκ των προτέρων, διαμορφωμένη για mono Float32 στα 24.000 Hz.

import base64
import pyaudio
from mistralai.client import Mistral

client = Mistral(api_key="your-api-key")

# PCM audio configuration (fastest format)
p = pyaudio.PyAudio()
stream_audio = p.open(
    format=pyaudio.paFloat32,
    channels=1,
    rate=24000,
    output=True,
)

with client.audio.speech.complete(
    model="voxtral-mini-tts-3-0",
    input="You're hearing this sentence while I generate it.",
    voice_id="your-voice-id",
    response_format="pcm",
    stream=True,
) as stream:
    for event in stream:
        if event.event == "speech.audio.delta":
            audio_data = base64.b64decode(event.data.audio_data)
            stream_audio.write(audio_data)

stream_audio.stop_stream()
stream_audio.close()
p.terminate()

Η ζητούμενη μορφή άλλαξε από opus σε pcm, και αυτό έχει σημασία. Το PCM δεν χρειάζεται αποκωδικοποίηση: τα bytes που λαμβάνονται είναι έτοιμα για αναπαραγωγή αμέσως, καθιστώντας το την προτεινόμενη μορφή για χρήση σε πραγματικό χρόνο.

Αναμετάδοση της ροής σε έναν browser

Σε μια web εφαρμογή, ο διακομιστής δεν αναπαράγει ήχο: τον αναμεταδίδει. Το κλασικό μοτίβο χρησιμοποιεί ένα WebSocket που λαμβάνει κείμενο από τον browser, ανοίγει τη ροή του Voxtral και προωθεί κάθε αποκωδικοποιημένο τμήμα πίσω στον πελάτη. Στην πλευρά του browser, το Web Audio API αναλαμβάνει την αναπαραγωγή των λαμβανόμενων τμημάτων PCM.

# Server side (FastAPI example)
from fastapi import FastAPI, WebSocket
import base64
from mistralai.client import Mistral

app = FastAPI()
client = Mistral(api_key="your-api-key")

@app.websocket("/ws/tts")
async def tts_websocket(websocket: WebSocket):
    await websocket.accept()
    texte = await websocket.receive_text()

    with client.audio.speech.complete(
        model="voxtral-mini-tts-3-0",
        input=texte,
        voice_id="your-voice-id",
        response_format="pcm",
        stream=True,
    ) as stream:
        for event in stream:
            if event.event == "speech.audio.delta":
                await websocket.send_bytes(
                    base64.b64decode(event.data.audio_data)
                )

    await websocket.close()

Η ρύθμιση που κάνει τη διαφορά: η ενδιάμεση μνήμη (buffer)

Τα μεγέθη των τμημάτων ποικίλλουν και συνήθως αντιπροσωπεύουν λίγα χιλιοστά του δευτερολέπτου ήχου το καθένα. Αν αναπαράγετε το πρώτο τμήμα τη στιγμή που φτάνει, οποιαδήποτε ανωμαλία στο δίκτυο προκαλεί μια ακουστή μικρο-διακοπή—έναν «λύγγα» στη φωνή που προδίδει αμέσως τη μηχανική προέλευση. Η λύση είναι να αποθηκεύσετε σε buffer δύο ή τρία τμήματα πριν ξεκινήσετε την αναπαραγωγή, κοστίζοντας μερικές δεκάδες χιλιοστά του δευτερολέπτου και εξομαλύνοντας την υπόλοιπη ροή.

Στη συνέχεια, υπάρχει η επιλογή της μορφής, η οποία ισορροπεί μεταξύ καθυστέρησης και εύρους ζώνης. Το PCM παρέχει τον πρώτο ήχο ταχύτερα—περίπου 0,7 δευτερόλεπτα σε μετρήσεις που έγιναν με το Voxtral 2, οι οποίες πρέπει να επαναληφθούν με το Voxtral TTS 3—με κόστος την υψηλή κατανάλωση δεδομένων. Το Opus χάνει λίγο σε καθυστέρηση αλλά συμπιέζει έντονα, καθιστώντας το τη σωστή συμβιβαστική λύση όταν οι χρήστες σας συνδέονται μέσω κινητών συσκευών.

Βασικά σημεία

  • Η ροή δεδομένων στέλνει ήχο τμήμα προς τμήμα κατά τη διάρκεια της δημιουργίας
  • Ενεργοποιήστε την με stream=True στην κλήση audio.speech.complete()
  • Τα συμβάντα speech.audio.delta περιέχουν τμήματα ήχου σε base64
  • Η μορφή PCM προσφέρει τη χαμηλότερη καθυστέρηση για ροή (~0,7s έναντι ~2s για MP3)
  • Για αναπαραγωγή σε πραγματικό χρόνο, χρησιμοποιήστε pyaudio ή WebSockets + Web Audio API