Μετάβαση στο κύριο περιεχόμενο
Ελληνικά— Επιλέξτε γλώσσα
Μενού

Ροή Δεδομένων και Εργαλεία

Μάθημα 9 / 14 Ενημερώθηκε 29 Ιουλίου 2026 Για developers
Σε αυτήν τη σελίδα
  1. Ροή Δεδομένων με Κλήση Συναρτήσεων
  2. Ο Θεμελιώδης Κανόνας
  3. Υλοποίηση Ροής Δεδομένων με Εργαλεία
  4. Ανασυγκρότηση Κλήσεων Εργαλείων στη Ροή Δεδομένων
  5. Αρχιτεκτονική για Ροή Δεδομένων με Εργαλεία
  6. Καθυστέρηση και Εμπειρία Χρήστη
  7. Server-Sent Events (SSE) για Εφαρμογές Ιστού
  8. Βασικά σημεία

Ροή Δεδομένων με Κλήση Συναρτήσεων

Η ροή δεδομένων (streaming) σάς επιτρέπει να λαμβάνετε την απάντηση του μοντέλου σταδιακά, token προς token. Αυτό είναι απαραίτητο για διεπαφές χρήστη με άμεση απόκριση. Πώς όμως αλληλεπιδρά η ροή δεδομένων με την κλήση συναρτήσεων;

Ο Θεμελιώδης Κανόνας

Οι κλήσεις συναρτήσεων επιστρέφονται σε ένα μόνο τμήμα (chunk) και όχι σταδιακά. Αυτή είναι μια σημαντική διαφορά από το κανονικό κείμενο, το οποίο φτάνει token προς token.

Στην πράξη:

  • Το κείμενο της απάντησης μεταδίδεται σταδιακά
  • Οι tool_calls φτάνουν όλες μαζί σε ένα μόνο γεγονός

Αυτός ο περιορισμός υπάρχει για καλό λόγο: μια κλήση εργαλείου πρέπει να είναι πλήρης (όνομα + έγκυρα ορίσματα JSON) για να μπορέσετε να την εκτελέσετε. Ένα μερικό JSON θα ήταν άχρηστο.

Υλοποίηση Ροής Δεδομένων με Εργαλεία

stream = client.chat.completions.create(
    model="grok-4.5",
    messages=messages,
    tools=tools,
    stream=True
)

collected_tool_calls = []
collected_content = ""

for chunk in stream:
    delta = chunk.choices[0].delta

    # Ροή κειμένου
    if delta.content:
        collected_content += delta.content
        print(delta.content, end="", flush=True)

    # Κλήσεις εργαλείων (φτάνουν σε ένα μόνο μπλοκ)
    if delta.tool_calls:
        for tc in delta.tool_calls:
            collected_tool_calls.append(tc)

    # Έλεγχος για τέλος της ροής
    if chunk.choices[0].finish_reason == "tool_calls":
        # Το μοντέλο αναμένει αποτελέσματα εργαλείων
        break
    elif chunk.choices[0].finish_reason == "stop":
        # Η απάντηση ολοκληρώθηκε, δεν κλήθηκε κανένα εργαλείο
        break

Ανασυγκρότηση Κλήσεων Εργαλείων στη Ροή Δεδομένων

Σε ορισμένες περιπτώσεις, τα ορίσματα της κλήσης εργαλείου μπορεί να φτάνουν σε πολλαπλά τμήματα μέσα στη ροή. Πρέπει να τα ανασυγκροτήσετε:

tool_calls_buffer = {}

for chunk in stream:
    delta = chunk.choices[0].delta

    if delta.tool_calls:
        for tc_chunk in delta.tool_calls:
            idx = tc_chunk.index

            if idx not in tool_calls_buffer:
                tool_calls_buffer[idx] = {
                    "id": tc_chunk.id,
                    "function": {
                        "name": tc_chunk.function.name or "",
                        "arguments": ""
                    }
                }

            if tc_chunk.function.name:
                tool_calls_buffer[idx]["function"]["name"] = tc_chunk.function.name
            if tc_chunk.function.arguments:
                tool_calls_buffer[idx]["function"]["arguments"] += tc_chunk.function.arguments

Αυτή η προσέγγιση με buffer διασφαλίζει ότι θα ανασυγκροτήσετε σωστά κάθε κλήση εργαλείου, ακόμα και αν τα δεδομένα φτάνουν κατακερματισμένα.

Αρχιτεκτονική για Ροή Δεδομένων με Εργαλεία

Σε μια πραγματική εφαρμογή, πρέπει να διαχειριστείτε δύο ταυτόχρονες ροές:

  1. Εμφάνιση σε πραγματικό χρόνο: εμφάνιση του κειμένου καθώς φτάνει
  2. Συσσώρευση κλήσεων εργαλείων: συλλογή κλήσεων για εκτέλεση
async def handle_streaming_response(stream):
    content_parts = []
    tool_calls = []
    current_tool = None

    async for chunk in stream:
        delta = chunk.choices[0].delta

        if delta.content:
            content_parts.append(delta.content)
            yield {"type": "text", "data": delta.content}

        if delta.tool_calls:
            for tc in delta.tool_calls:
                tool_calls.append(tc)

        if chunk.choices[0].finish_reason == "tool_calls":
            # Εκτέλεση εργαλείων και επανεκκίνηση
            results = await execute_tools(tool_calls)
            yield {"type": "tool_results", "data": results}

Καθυστέρηση και Εμπειρία Χρήστη

Η ροή δεδομένων με εργαλεία περιλαμβάνει φυσικές παύσεις στη ροή:

  1. Ο χρήστης κάνει την ερώτησή του
  2. Το μοντέλο αρχίζει να «σκέφτεται» (δεν υπάρχουν ορατά tokens)
  3. Το μοντέλο αποφασίζει να καλέσει ένα εργαλείο (λαμβάνετε το tool_call)
  4. Παύση — εκτελείτε τη συνάρτηση
  5. Στέλνετε πίσω το αποτέλεσμα
  6. Το μοντέλο παράγει την απάντησή του (μεταδίδεται σταδιακά)

Για την εμπειρία του χρήστη, εμφανίστε μια ένδειξη κατά το βήμα 4:

🔍 Αναζήτηση καιρού στο Παρίσι...

Αυτό αποτρέπει την εντύπωση του χρήστη ότι η εφαρμογή έχει παγώσει.

Server-Sent Events (SSE) για Εφαρμογές Ιστού

Αν δημιουργείτε ένα web API, χρησιμοποιήστε SSE για τη μετάδοση της ροής:

from fastapi import FastAPI
from fastapi.responses import StreamingResponse

app = FastAPI()

@app.get("/chat")
async def chat(message: str):
    async def event_stream():
        stream = client.chat.completions.create(
            model="grok-4.5",
            messages=[{"role": "user", "content": message}],
            tools=tools,
            stream=True
        )
        for chunk in stream:
            if chunk.choices[0].delta.content:
                yield f"data: {chunk.choices[0].delta.content}\n\n"

    return StreamingResponse(event_stream(), media_type="text/event-stream")

Βασικά σημεία

  • Οι κλήσεις εργαλείων φτάνουν σε ένα μόνο τμήμα και όχι σταδιακά
  • Το κανονικό κείμενο συνεχίζει να μεταδίδεται token προς token
  • Ανασυγκροτήστε τις κατακερματισμένες κλήσεις εργαλείων με ένα buffer ευρετηριασμένο κατά index
  • Διαχειριστείτε δύο ροές παράλληλα: εμφάνιση κειμένου + συλλογή κλήσεων εργαλείων
  • Εμφανίστε μια ένδειξη κατά την εκτέλεση του εργαλείου για καλύτερη εμπειρία χρήστη
  • Χρησιμοποιήστε SSE για εφαρμογές ιστού