Ροή δεδομένων SSE
Σε αυτήν τη σελίδα
Αποκρίσεις σε πραγματικό χρόνο με Server-Sent Events
Εξ ορισμού, το API Chat Completions περιμένει έως ότου το μοντέλο ολοκληρώσει τη δημιουργία ολόκληρης της απάντησής του πριν την επιστρέψει σε εσάς. Για μια σύντομη ερώτηση, κανείς δεν αντιλαμβάνεται την καθυστέρηση. Για μια αναφορά χιλίων λέξεων, ωστόσο, αυτό σημαίνει αρκετά δευτερόλεπτα με μια κενή οθόνη, αφήνοντας τον χρήστη να αναρωτιέται αν η εφαρμογή έχει καταρρεύσει. Η ροή δεδομένων (streaming) λύνει αυτό το πρόβλημα στέλνοντας τα tokens καθώς παράγονται, δημιουργώντας το οικείο εφέ γραφομηχανής που βλέπετε στις διεπαφές συνομιλίας.
Το πρωτόκολλο που χρησιμοποιείται είναι τα Server-Sent Events (SSE), ένα πρότυπο HTTP που επιτρέπει στον διακομιστή να ωθεί δεδομένα στον πελάτη συνεχώς μέσω μιας μόνιμης σύνδεσης. Δεν υπάρχει τίποτα το εξωτικό εδώ: δεν χρειάζεται να εγκαταστήσετε WebSockets, ούτε επιπλέον εξαρτήσεις.
Ροή δεδομένων έναντι μη ροής
Στη λειτουργία χωρίς ροή, που είναι η προεπιλογή, ο πελάτης στέλνει το αίτημα και περιμένει την πλήρη απάντηση:
Client ──── request ────► Server
(wait 3-10s)
Client ◄── complete response ── Server
Το πλεονέκτημα είναι η απλότητα: η απάντηση είναι ατομική, ένα ενιαίο αντικείμενο JSON που είναι εύκολο να επεξεργαστείτε, να επικυρώσετε και να αποθηκεύσετε. Το μειονέκτημα είναι εξίσου σαφές: η αντιληπτή καθυστέρηση είναι υψηλή, καθώς ο χρήστης δεν βλέπει τίποτα κατά τη διάρκεια ολόκληρης της διαδικασίας δημιουργίας.
Στη λειτουργία ροής, ο διακομιστής στέλνει τα tokens ένα προς ένα ή σε μικρές ομάδες:
Client ──── request ────► Server
Client ◄── chunk 1 ─────── Server (after ~200ms)
Client ◄── chunk 2 ─────── Server (after ~250ms)
Client ◄── chunk 3 ─────── Server (after ~300ms)
...
Client ◄── [DONE] ──────── Server
Η αντιληπτή καθυστέρηση μειώνεται δραματικά—ο πρώτος χαρακτήρας εμφανίζεται μέσα σε λίγα εκατοντάδες χιλιοστά του δευτερολέπτου—βελτιώνοντας σημαντικά την εμπειρία του χρήστη. Σε αντάλλαγμα, πρέπει να ανακατασκευάσετε το μήνυμα στην πλευρά του πελάτη και να διαχειριστείτε μια κατάσταση που δεν φτάνει πλέον ως ένα ενιαίο μπλοκ.
Το πρωτόκολλο SSE λεπτομερώς
Ακολουθεί η πραγματική μορφή της ροής HTTP που λαμβάνετε:
data: {"id":"cmpl-abc","choices":[{"delta":{"content":"Hello"}}],"usage":null}
data: {"id":"cmpl-abc","choices":[{"delta":{"content":" "}}],"usage":null}
data: {"id":"cmpl-abc","choices":[{"delta":{"content":"!"}}],"usage":null}
data: [DONE]
Κάθε γραμμή ξεκινά με data: ακολουθούμενο από ένα αντικείμενο JSON, ενώ οι κενές γραμμές λειτουργούν ως διαχωριστικά μεταξύ των γεγονότων. Σημειώστε τη λεπτομέρεια που παγιδεύει όλους κατά την πρώτη υλοποίηση: το απόσπασμα κειμένου βρίσκεται στο πεδίο delta, όχι στο message όπως στην κλασική λειτουργία. Η ροή τελειώνει με ένα γεγονός data: [DONE], το οποίο σηματοδοτεί ρητά το τέλος. Χωρίς αυτό, δεν θα μπορούσατε να διακρίνετε μια ολοκληρωμένη δημιουργία από μια διακοπείσα σύνδεση.
Ενεργοποίηση ροής δεδομένων σε Python
Με το Mistral SDK, ενεργοποιείτε τη ροή δεδομένων καλώντας το chat.stream() αντί για το chat.complete():
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))
stream = client.chat.stream(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Explain how an electric motor works."}
]
)
for chunk in stream:
content = chunk.data.choices[0].delta.content
if content:
print(content, end="", flush=True)
print() # Final newline
Το όρισμα flush=True αξίζει μια εξήγηση, καθώς η παράλειψή του είναι η κλασική αιτία για μια ροή δεδομένων που «δεν λειτουργεί». Χωρίς αυτό, η Python κρατά τους χαρακτήρες στη μνήμη buffer και τους εμφανίζει σε μπλοκ. Αυτό ακυρώνει οπτικά όλα τα οφέλη της ροής δεδομένων, παρόλο που τα chunks φτάνουν σωστά.
Δομή ενός chunk
Ένα chunk ροής δεδομένων δεν διαβάζεται ως μια πλήρης απάντηση και οι διαδρομές πρόσβασης διαφέρουν:
# Non-streaming: response.choices[0].message.content
# Streaming: chunk.data.choices[0].delta.content
# The first chunk often contains the role
# chunk.data.choices[0].delta.role == "assistant"
# Subsequent chunks contain text fragments
# chunk.data.choices[0].delta.content == "Hello"
# The last chunk contains finish_reason
# chunk.data.choices[0].finish_reason == "stop"
Το πρώτο chunk συνήθως μεταφέρει τον ρόλο χωρίς κείμενο, τα επόμενα μεταφέρουν τα αποσπάσματα κειμένου και το τελευταίο παρέχει το finish_reason. Αυτός είναι ο λόγος για τον οποίο ο έλεγχος if content: στον προηγούμενο κώδικα δεν είναι περιττή προφύλαξη: η συνένωση μιας τιμής None θα προκαλούσε αποτυχία στον βρόχο κατά την πρώτη επανάληψη.
Ανακατασκευή της πλήρους απάντησης
Η εμφάνιση των αποσπασμάτων δεν αρκεί όταν χρειάζεται να διατηρήσετε την απάντηση—για παράδειγμα, για να την προσθέσετε στο ιστορικό συνομιλίας, να την καταγράψετε ή να την αποθηκεύσετε σε μια βάση δεδομένων. Επομένως, πρέπει να συσσωρεύετε το κείμενο παράλληλα με την εμφάνισή του:
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))
stream = client.chat.stream(
model="mistral-large-latest",
messages=[{"role": "user", "content": "List 5 programming languages."}]
)
full_response = ""
finish_reason = None
for chunk in stream:
delta = chunk.data.choices[0].delta
if delta.content:
full_response += delta.content
print(delta.content, end="", flush=True)
if chunk.data.choices[0].finish_reason:
finish_reason = chunk.data.choices[0].finish_reason
print(f"\n\nFinish reason: {finish_reason}")
print(f"Complete response ({len(full_response)} characters)")
Η μεταβλητή finish_reason καταγράφεται στον ίδιο βρόχο για τον ίδιο λόγο όπως στην κλασική λειτουργία: μια απάντηση που περικόπτεται από το max_tokens εμφανίζεται στην οθόνη ακριβώς όπως μια πλήρης απάντηση, και μόνο αυτό το πεδίο θα σας πει τη διαφορά.
Πότε να χρησιμοποιήσετε ροή δεδομένων
Η ροή δεδομένων δεν είναι πάντα καλύτερη. Ενδείκνυται όποτε ένας άνθρωπος παρακολουθεί την οθόνη, αλλά είναι περιττή ή ακόμη και επιζήμια όταν μια μηχανή επεξεργάζεται την έξοδο.
| Περίπτωση χρήσης | Σύσταση |
|---|---|
| Διαδραστικό chatbot | Ροή δεδομένων (καλύτερη UX) |
| Μαζική επεξεργασία | Χωρίς ροή (απλούστερο) |
| Backend API για frontend | Ροή δεδομένων (SSE προς browser) |
| Αγωγός δεδομένων (Data pipeline) | Χωρίς ροή (ατομική επεξεργασία) |
| Δομημένη εξαγωγή | Χωρίς ροή (πιο αξιόπιστη ανάλυση JSON) |
Η τελευταία περίπτωση είναι η πιο διδακτική. Αν αναμένετε JSON, η ροή δεδομένων δεν προσφέρει τίποτα: δεν μπορείτε να αναλύσετε ένα ημιτελές αντικείμενο και θα πρέπει ούτως ή άλλως να περιμένετε το τελευταίο απόσπασμα. Καλύτερα να διατηρήσετε την κλήση ατομική και τον κώδικα απλό.
Βασικά σημεία
- Η ροή δεδομένων μειώνει την αντιληπτή καθυστέρηση στέλνοντας τα tokens καθώς παράγονται
- Το πρωτόκολλο SSE είναι ένα απλό και robust πρότυπο HTTP
- Στη λειτουργία ροής, χρησιμοποιήστε το
delta.contentαντί για τοmessage.content - Συσσωρεύστε τα αποσπάσματα στην πλευρά του πελάτη για να ανακατασκευάσετε την πλήρη απάντηση
- Προτιμήστε τη ροή δεδομένων για διεπαφές χρήστη και τη λειτουργία χωρίς ροή για αυτοματοποιημένη επεξεργασία