Μετάβαση στο κύριο περιεχόμενο
Ελληνικά— Επιλέξτε γλώσσα
Μενού

Ροή δεδομένων SSE

Μάθημα 5 / 16 Ενημερώθηκε 2 Νοεμβρίου 2026 Για developers
Σε αυτήν τη σελίδα
  1. Αποκρίσεις σε πραγματικό χρόνο με Server-Sent Events
  2. Ροή δεδομένων έναντι μη ροής
  3. Το πρωτόκολλο SSE λεπτομερώς
  4. Ενεργοποίηση ροής δεδομένων σε Python
  5. Δομή ενός chunk
  6. Ανακατασκευή της πλήρους απάντησης
  7. Πότε να χρησιμοποιήσετε ροή δεδομένων
  8. Βασικά σημεία

Αποκρίσεις σε πραγματικό χρόνο με Server-Sent Events

Εξ ορισμού, το API Chat Completions περιμένει έως ότου το μοντέλο ολοκληρώσει τη δημιουργία ολόκληρης της απάντησής του πριν την επιστρέψει σε εσάς. Για μια σύντομη ερώτηση, κανείς δεν αντιλαμβάνεται την καθυστέρηση. Για μια αναφορά χιλίων λέξεων, ωστόσο, αυτό σημαίνει αρκετά δευτερόλεπτα με μια κενή οθόνη, αφήνοντας τον χρήστη να αναρωτιέται αν η εφαρμογή έχει καταρρεύσει. Η ροή δεδομένων (streaming) λύνει αυτό το πρόβλημα στέλνοντας τα tokens καθώς παράγονται, δημιουργώντας το οικείο εφέ γραφομηχανής που βλέπετε στις διεπαφές συνομιλίας.

Το πρωτόκολλο που χρησιμοποιείται είναι τα Server-Sent Events (SSE), ένα πρότυπο HTTP που επιτρέπει στον διακομιστή να ωθεί δεδομένα στον πελάτη συνεχώς μέσω μιας μόνιμης σύνδεσης. Δεν υπάρχει τίποτα το εξωτικό εδώ: δεν χρειάζεται να εγκαταστήσετε WebSockets, ούτε επιπλέον εξαρτήσεις.

Ροή δεδομένων έναντι μη ροής

Στη λειτουργία χωρίς ροή, που είναι η προεπιλογή, ο πελάτης στέλνει το αίτημα και περιμένει την πλήρη απάντηση:

Client ──── request ────► Server
         (wait 3-10s)
Client ◄── complete response ── Server

Το πλεονέκτημα είναι η απλότητα: η απάντηση είναι ατομική, ένα ενιαίο αντικείμενο JSON που είναι εύκολο να επεξεργαστείτε, να επικυρώσετε και να αποθηκεύσετε. Το μειονέκτημα είναι εξίσου σαφές: η αντιληπτή καθυστέρηση είναι υψηλή, καθώς ο χρήστης δεν βλέπει τίποτα κατά τη διάρκεια ολόκληρης της διαδικασίας δημιουργίας.

Στη λειτουργία ροής, ο διακομιστής στέλνει τα tokens ένα προς ένα ή σε μικρές ομάδες:

Client ──── request ────► Server
Client ◄── chunk 1 ─────── Server  (after ~200ms)
Client ◄── chunk 2 ─────── Server  (after ~250ms)
Client ◄── chunk 3 ─────── Server  (after ~300ms)
...
Client ◄── [DONE] ──────── Server

Η αντιληπτή καθυστέρηση μειώνεται δραματικά—ο πρώτος χαρακτήρας εμφανίζεται μέσα σε λίγα εκατοντάδες χιλιοστά του δευτερολέπτου—βελτιώνοντας σημαντικά την εμπειρία του χρήστη. Σε αντάλλαγμα, πρέπει να ανακατασκευάσετε το μήνυμα στην πλευρά του πελάτη και να διαχειριστείτε μια κατάσταση που δεν φτάνει πλέον ως ένα ενιαίο μπλοκ.

Το πρωτόκολλο SSE λεπτομερώς

Ακολουθεί η πραγματική μορφή της ροής HTTP που λαμβάνετε:

data: {"id":"cmpl-abc","choices":[{"delta":{"content":"Hello"}}],"usage":null}

data: {"id":"cmpl-abc","choices":[{"delta":{"content":" "}}],"usage":null}

data: {"id":"cmpl-abc","choices":[{"delta":{"content":"!"}}],"usage":null}

data: [DONE]

Κάθε γραμμή ξεκινά με data: ακολουθούμενο από ένα αντικείμενο JSON, ενώ οι κενές γραμμές λειτουργούν ως διαχωριστικά μεταξύ των γεγονότων. Σημειώστε τη λεπτομέρεια που παγιδεύει όλους κατά την πρώτη υλοποίηση: το απόσπασμα κειμένου βρίσκεται στο πεδίο delta, όχι στο message όπως στην κλασική λειτουργία. Η ροή τελειώνει με ένα γεγονός data: [DONE], το οποίο σηματοδοτεί ρητά το τέλος. Χωρίς αυτό, δεν θα μπορούσατε να διακρίνετε μια ολοκληρωμένη δημιουργία από μια διακοπείσα σύνδεση.

Ενεργοποίηση ροής δεδομένων σε Python

Με το Mistral SDK, ενεργοποιείτε τη ροή δεδομένων καλώντας το chat.stream() αντί για το chat.complete():

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))

stream = client.chat.stream(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "Explain how an electric motor works."}
    ]
)

for chunk in stream:
    content = chunk.data.choices[0].delta.content
    if content:
        print(content, end="", flush=True)

print()  # Final newline

Το όρισμα flush=True αξίζει μια εξήγηση, καθώς η παράλειψή του είναι η κλασική αιτία για μια ροή δεδομένων που «δεν λειτουργεί». Χωρίς αυτό, η Python κρατά τους χαρακτήρες στη μνήμη buffer και τους εμφανίζει σε μπλοκ. Αυτό ακυρώνει οπτικά όλα τα οφέλη της ροής δεδομένων, παρόλο που τα chunks φτάνουν σωστά.

Δομή ενός chunk

Ένα chunk ροής δεδομένων δεν διαβάζεται ως μια πλήρης απάντηση και οι διαδρομές πρόσβασης διαφέρουν:

# Non-streaming: response.choices[0].message.content
# Streaming:     chunk.data.choices[0].delta.content

# The first chunk often contains the role
# chunk.data.choices[0].delta.role == "assistant"

# Subsequent chunks contain text fragments
# chunk.data.choices[0].delta.content == "Hello"

# The last chunk contains finish_reason
# chunk.data.choices[0].finish_reason == "stop"

Το πρώτο chunk συνήθως μεταφέρει τον ρόλο χωρίς κείμενο, τα επόμενα μεταφέρουν τα αποσπάσματα κειμένου και το τελευταίο παρέχει το finish_reason. Αυτός είναι ο λόγος για τον οποίο ο έλεγχος if content: στον προηγούμενο κώδικα δεν είναι περιττή προφύλαξη: η συνένωση μιας τιμής None θα προκαλούσε αποτυχία στον βρόχο κατά την πρώτη επανάληψη.

Ανακατασκευή της πλήρους απάντησης

Η εμφάνιση των αποσπασμάτων δεν αρκεί όταν χρειάζεται να διατηρήσετε την απάντηση—για παράδειγμα, για να την προσθέσετε στο ιστορικό συνομιλίας, να την καταγράψετε ή να την αποθηκεύσετε σε μια βάση δεδομένων. Επομένως, πρέπει να συσσωρεύετε το κείμενο παράλληλα με την εμφάνισή του:

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))

stream = client.chat.stream(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "List 5 programming languages."}]
)

full_response = ""
finish_reason = None

for chunk in stream:
    delta = chunk.data.choices[0].delta
    if delta.content:
        full_response += delta.content
        print(delta.content, end="", flush=True)

    if chunk.data.choices[0].finish_reason:
        finish_reason = chunk.data.choices[0].finish_reason

print(f"\n\nFinish reason: {finish_reason}")
print(f"Complete response ({len(full_response)} characters)")

Η μεταβλητή finish_reason καταγράφεται στον ίδιο βρόχο για τον ίδιο λόγο όπως στην κλασική λειτουργία: μια απάντηση που περικόπτεται από το max_tokens εμφανίζεται στην οθόνη ακριβώς όπως μια πλήρης απάντηση, και μόνο αυτό το πεδίο θα σας πει τη διαφορά.

Πότε να χρησιμοποιήσετε ροή δεδομένων

Η ροή δεδομένων δεν είναι πάντα καλύτερη. Ενδείκνυται όποτε ένας άνθρωπος παρακολουθεί την οθόνη, αλλά είναι περιττή ή ακόμη και επιζήμια όταν μια μηχανή επεξεργάζεται την έξοδο.

Περίπτωση χρήσηςΣύσταση
Διαδραστικό chatbotΡοή δεδομένων (καλύτερη UX)
Μαζική επεξεργασίαΧωρίς ροή (απλούστερο)
Backend API για frontendΡοή δεδομένων (SSE προς browser)
Αγωγός δεδομένων (Data pipeline)Χωρίς ροή (ατομική επεξεργασία)
Δομημένη εξαγωγήΧωρίς ροή (πιο αξιόπιστη ανάλυση JSON)

Η τελευταία περίπτωση είναι η πιο διδακτική. Αν αναμένετε JSON, η ροή δεδομένων δεν προσφέρει τίποτα: δεν μπορείτε να αναλύσετε ένα ημιτελές αντικείμενο και θα πρέπει ούτως ή άλλως να περιμένετε το τελευταίο απόσπασμα. Καλύτερα να διατηρήσετε την κλήση ατομική και τον κώδικα απλό.

Βασικά σημεία

  • Η ροή δεδομένων μειώνει την αντιληπτή καθυστέρηση στέλνοντας τα tokens καθώς παράγονται
  • Το πρωτόκολλο SSE είναι ένα απλό και robust πρότυπο HTTP
  • Στη λειτουργία ροής, χρησιμοποιήστε το delta.content αντί για το message.content
  • Συσσωρεύστε τα αποσπάσματα στην πλευρά του πελάτη για να ανακατασκευάσετε την πλήρη απάντηση
  • Προτιμήστε τη ροή δεδομένων για διεπαφές χρήστη και τη λειτουργία χωρίς ροή για αυτοματοποιημένη επεξεργασία