Μετάβαση στο κύριο περιεχόμενο
Ελληνικά— Επιλέξτε γλώσσα
Μενού

Ροή αποκρίσεων σε Python

Μάθημα 6 / 14 Ενημερώθηκε 2 Νοεμβρίου 2026 Για developers
Σε αυτήν τη σελίδα
  1. Το πρόβλημα που λύνει η ροή δεδομένων
  2. Χρήση της chat.stream()
  3. Τι περιέχει ένα τμήμα
  4. Ταυτόχρονη εμφάνιση και αποθήκευση
  5. Η ασύγχρονη παραλλαγή
  6. Πότε να χρησιμοποιείτε ροή και πότε όχι
  7. Βασικά σημεία

Το πρόβλημα που λύνει η ροή δεδομένων

Με τη μέθοδο chat.complete(), περιμένετε έως ότου το μοντέλο δημιουργήσει ολόκληρη την απάντησή του πριν λάβετε έστω και έναν χαρακτήρα. Για μια σύντομη απάντηση, αυτή η καθυστέρηση περνά απαρατήρητη. Ωστόσο, για μια λεπτομερή ανάλυση, ένα μεγάλο απόσπασμα κώδικα ή συλλογιστική πολλών παραγράφων, ο χρήστης κοιτάζει μια κενή οθόνη για αρκετά δευτερόλεπτα. Σε ένα περιβάλλον συνομιλίας (chat interface), ακόμη και λίγα δευτερόλεπτα σιωπής μπορούν να κάνουν την εφαρμογή να φαίνεται παγωμένη.

Η ροή δεδομένων (Streaming) αλλάζει αυτή την αντίληψη: η απάντηση φτάνει σταδιακά, τμήμα προς τμήμα, και εμφανίζεται προοδευτικά, ακριβώς όπως στα περιβάλλοντα συνομιλίας που γνωρίζετε. Ο συνολικός χρόνος δημιουργίας δεν μειώνεται ούτε κατά ένα χιλιοστό του δευτερολέπτου, αλλά η πρώτη λέξη εμφανίζεται σχεδόν αμέσως. Αυτή η αρχική καθυστέρηση είναι αυτό που αντιλαμβάνεται πραγματικά ο χρήστης.

Χρήση της chat.stream()

Το Mistral SDK V2 παρέχει τη μέθοδο chat.stream(), η οποία επιστρέφει έναν επαναλήπτη (iterator) τμημάτων αντί για ένα μοναδικό αντικείμενο:

import os
from mistralai.client import Mistral

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

stream = client.chat.stream(
    model="mistral-small-latest",
    messages=[
        {
            "role": "user",
            "content": "Describe the steps to deploy a Flask application on a Linux server."
        }
    ]
)

for chunk in stream:
    content = chunk.data.choices[0].delta.content
    if content:
        print(content, end="", flush=True)

# Final newline
print()

Δύο λεπτομέρειες κάνουν τη διαφορά σε αυτόν τον βρόχο. Ο έλεγχος if content είναι απαραίτητος επειδή ορισμένα τμήματα φτάνουν χωρίς κείμενο και διαφορετικά θα εκτύπωναν None. Επιπλέον, το flush=True αναγκάζει την Python να γράψει αμέσως στην έξοδο αντί να περιμένει να γεμίσει η ενδιάμεση μνήμη (buffer). Χωρίς αυτό, όλο το κείμενο θα εμφανιζόταν σε ένα μπλοκ στο τέλος, ακυρώνοντας πλήρως το όφελος που επιδιώκετε.

Πτυχήchat.complete()chat.stream()
ΕπιστροφήΠλήρες αντικείμενοΕπαναλήπτης τμημάτων
Αντιληπτή καθυστέρησηΥψηλή (αναμονή συνόλου)Χαμηλή (γρήγορο πρώτο token)
Πρόσβαση στο κείμενοresponse.choices[0].message.contentchunk.data.choices[0].delta.content
Χρήση tokensΔιαθέσιμη στην απάντησηΔιαθέσιμη στο τελευταίο τμήμα

Τι περιέχει ένα τμήμα

Κάθε τμήμα μεταφέρει ένα delta, δηλαδή ένα θραύσμα της απάντησης που βρίσκεται υπό κατασκευή. Εξετάζοντάς το, έχετε πρόσβαση τόσο στο κείμενο όσο στα μεταδεδομένα τέλους ροής:

for chunk in stream:
    delta = chunk.data.choices[0].delta

    # Περιεχόμενο κειμένου (μπορεί να είναι None για ορισμένα τμήματα)
    text = delta.content

    # Αιτία διακοπής (None εκτός από το τελευταίο τμήμα)
    end = chunk.data.choices[0].finish_reason

    if text:
        print(text, end="", flush=True)

    if end:
        print(f"\n[Stream end: {end}]")

Η ροή ακολουθεί πάντα την ίδια χορογραφία: το πρώτο τμήμα συνήθως φέρει τον ρόλο assistant, τα ενδιάμεσα τμήματα παραδίδουν το κείμενο σε μικρά κομμάτια και το τελευταίο παρέχει το finish_reason. Ελέγχοντας αυτό το τελικό τμήμα, καθορίζετε εάν η απάντηση ολοκληρώθηκε κανονικά ή διακόπηκε λόγω του ορίου max_tokens.

Ταυτόχρονη εμφάνιση και αποθήκευση

Η ροή δεδομένων έχει ένα μειονέκτημα: το κείμενο κυλά στην οθόνη, αλλά δεν το κρατάτε πουθενά. Ωστόσο, μια εφαρμογή στον πραγματικό κόσμο συχνά χρειάζεται να αρχειοθετεί την απάντηση σε μια βάση δεδομένων για το ιστορικό συνομιλίας. Η λύση είναι να συσσωρεύετε τα θραύσματα ενώ τα εμφανίζετε:

import os
from mistralai.client import Mistral

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

stream = client.chat.stream(
    model="mistral-small-latest",
    messages=[
        {"role": "user", "content": "List five Python web frameworks."}
    ]
)

full_response = []

for chunk in stream:
    content = chunk.data.choices[0].delta.content
    if content:
        full_response.append(content)
        print(content, end="", flush=True)

print()

# Η ανασυντεθειμένη πλήρης απάντηση
final_text = "".join(full_response)
print(f"\nTotal length: {len(final_text)} characters")

Σημειώστε τη χρήση μιας λίστας ακολουθούμενης από ένα τελικό "".join() αντί για συνένωση συμβολοσειρών σε κάθε επανάληψη του βρόχου. Για μια μεγάλη απάντηση, η δεύτερη προσέγγιση αντιγράφει όλο το συσσωρευμένο κείμενο για κάθε θραύσμα που λαμβάνεται, κάτι που είναι αναποτελεσματικό.

Η ασύγχρονη παραλλαγή

Σε έναν διακομιστή web—όπως FastAPI ή aiohttp—η σύγχρονη έκδοση μπλοκάρει το νήμα κατά τη διάρκεια ολόκληρης της δημιουργίας, παγώνοντας άλλα αιτήματα που εκτελούνται ταυτόχρονα. Επομένως, το SDK παρέχει τη chat.stream_async():

import asyncio
import os
from mistralai.client import Mistral

async def generate_response():
    client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

    stream = await client.chat.stream_async(
        model="mistral-small-latest",
        messages=[
            {"role": "user", "content": "Explain the concept of a coroutine in Python."}
        ]
    )

    async for chunk in stream:
        content = chunk.data.choices[0].delta.content
        if content:
            print(content, end="", flush=True)

    print()

asyncio.run(generate_response())

Η δομή είναι ίδια με τη σύγχρονη έκδοση, εκτός από τις λέξεις-κλειδιά await και async for. Μόλις ο κώδικάς σας εκτελείται σε διακομιστή web, αυτή είναι η παραλλαγή που πρέπει να χρησιμοποιήσετε.

Πότε να χρησιμοποιείτε ροή και πότε όχι

Σε ένα περιβάλλον συνομιλίας, η ροή δεδομένων είναι πάντα υποχρεωτική: διακυβεύεται η άνεση ανάγνωσης. Στο επίπεδο του backend API, αξίζει να την ενεργοποιήσετε εφόσον το frontend σας μπορεί να καταναλώσει Server-Sent Events. Για οποιαδήποτε απάντηση μεγαλύτερη από μερικές προτάσεις, το κέρδος στην αντιληπτή καθυστέρηση δικαιολογεί την πρόσθετη πολυπλοκότητα. Αντιθέτως, σε ένα script δέσμης (batch script) που επεξεργάζεται χιλιάδες έγγραφα και γράφει αποτελέσματα σε αρχείο, κανείς δεν παρακολουθεί την οθόνη: η chat.complete() παραμένει απλούστερη και απολύτως επαρκής.

Βασικά σημεία

  • Η chat.stream() επιστρέφει έναν επαναλήπτη τμημάτων για προοδευτική εμφάνιση
  • Το περιεχόμενο βρίσκεται στο chunk.data.choices[0].delta.content
  • Χρησιμοποιήστε flush=True στις κλήσεις print() για εμφάνιση σε πραγματικό χρόνο
  • Ανασυνθέστε την πλήρη απάντηση συσσωρεύοντας τα τμήματα εάν χρειάζεται
  • Η ασύγχρονη έκδοση chat.stream_async() συνιστάται για web εφαρμογές