Ροή Δεδομένων και Εργαλεία
Σε αυτήν τη σελίδα
Ροή Δεδομένων με Κλήση Συναρτήσεων
Η ροή δεδομένων (streaming) σάς επιτρέπει να λαμβάνετε την απάντηση του μοντέλου σταδιακά, token προς token. Αυτό είναι απαραίτητο για διεπαφές χρήστη με άμεση απόκριση. Πώς όμως αλληλεπιδρά η ροή δεδομένων με την κλήση συναρτήσεων;
Ο Θεμελιώδης Κανόνας
Οι κλήσεις συναρτήσεων επιστρέφονται σε ένα μόνο τμήμα (chunk) και όχι σταδιακά. Αυτή είναι μια σημαντική διαφορά από το κανονικό κείμενο, το οποίο φτάνει token προς token.
Στην πράξη:
- Το κείμενο της απάντησης μεταδίδεται σταδιακά
- Οι tool_calls φτάνουν όλες μαζί σε ένα μόνο γεγονός
Αυτός ο περιορισμός υπάρχει για καλό λόγο: μια κλήση εργαλείου πρέπει να είναι πλήρης (όνομα + έγκυρα ορίσματα JSON) για να μπορέσετε να την εκτελέσετε. Ένα μερικό JSON θα ήταν άχρηστο.
Υλοποίηση Ροής Δεδομένων με Εργαλεία
stream = client.chat.completions.create(
model="grok-4.5",
messages=messages,
tools=tools,
stream=True
)
collected_tool_calls = []
collected_content = ""
for chunk in stream:
delta = chunk.choices[0].delta
# Ροή κειμένου
if delta.content:
collected_content += delta.content
print(delta.content, end="", flush=True)
# Κλήσεις εργαλείων (φτάνουν σε ένα μόνο μπλοκ)
if delta.tool_calls:
for tc in delta.tool_calls:
collected_tool_calls.append(tc)
# Έλεγχος για τέλος της ροής
if chunk.choices[0].finish_reason == "tool_calls":
# Το μοντέλο αναμένει αποτελέσματα εργαλείων
break
elif chunk.choices[0].finish_reason == "stop":
# Η απάντηση ολοκληρώθηκε, δεν κλήθηκε κανένα εργαλείο
break
Ανασυγκρότηση Κλήσεων Εργαλείων στη Ροή Δεδομένων
Σε ορισμένες περιπτώσεις, τα ορίσματα της κλήσης εργαλείου μπορεί να φτάνουν σε πολλαπλά τμήματα μέσα στη ροή. Πρέπει να τα ανασυγκροτήσετε:
tool_calls_buffer = {}
for chunk in stream:
delta = chunk.choices[0].delta
if delta.tool_calls:
for tc_chunk in delta.tool_calls:
idx = tc_chunk.index
if idx not in tool_calls_buffer:
tool_calls_buffer[idx] = {
"id": tc_chunk.id,
"function": {
"name": tc_chunk.function.name or "",
"arguments": ""
}
}
if tc_chunk.function.name:
tool_calls_buffer[idx]["function"]["name"] = tc_chunk.function.name
if tc_chunk.function.arguments:
tool_calls_buffer[idx]["function"]["arguments"] += tc_chunk.function.arguments
Αυτή η προσέγγιση με buffer διασφαλίζει ότι θα ανασυγκροτήσετε σωστά κάθε κλήση εργαλείου, ακόμα και αν τα δεδομένα φτάνουν κατακερματισμένα.
Αρχιτεκτονική για Ροή Δεδομένων με Εργαλεία
Σε μια πραγματική εφαρμογή, πρέπει να διαχειριστείτε δύο ταυτόχρονες ροές:
- Εμφάνιση σε πραγματικό χρόνο: εμφάνιση του κειμένου καθώς φτάνει
- Συσσώρευση κλήσεων εργαλείων: συλλογή κλήσεων για εκτέλεση
async def handle_streaming_response(stream):
content_parts = []
tool_calls = []
current_tool = None
async for chunk in stream:
delta = chunk.choices[0].delta
if delta.content:
content_parts.append(delta.content)
yield {"type": "text", "data": delta.content}
if delta.tool_calls:
for tc in delta.tool_calls:
tool_calls.append(tc)
if chunk.choices[0].finish_reason == "tool_calls":
# Εκτέλεση εργαλείων και επανεκκίνηση
results = await execute_tools(tool_calls)
yield {"type": "tool_results", "data": results}
Καθυστέρηση και Εμπειρία Χρήστη
Η ροή δεδομένων με εργαλεία περιλαμβάνει φυσικές παύσεις στη ροή:
- Ο χρήστης κάνει την ερώτησή του
- Το μοντέλο αρχίζει να «σκέφτεται» (δεν υπάρχουν ορατά tokens)
- Το μοντέλο αποφασίζει να καλέσει ένα εργαλείο (λαμβάνετε το tool_call)
- Παύση — εκτελείτε τη συνάρτηση
- Στέλνετε πίσω το αποτέλεσμα
- Το μοντέλο παράγει την απάντησή του (μεταδίδεται σταδιακά)
Για την εμπειρία του χρήστη, εμφανίστε μια ένδειξη κατά το βήμα 4:
🔍 Αναζήτηση καιρού στο Παρίσι...
Αυτό αποτρέπει την εντύπωση του χρήστη ότι η εφαρμογή έχει παγώσει.
Server-Sent Events (SSE) για Εφαρμογές Ιστού
Αν δημιουργείτε ένα web API, χρησιμοποιήστε SSE για τη μετάδοση της ροής:
from fastapi import FastAPI
from fastapi.responses import StreamingResponse
app = FastAPI()
@app.get("/chat")
async def chat(message: str):
async def event_stream():
stream = client.chat.completions.create(
model="grok-4.5",
messages=[{"role": "user", "content": message}],
tools=tools,
stream=True
)
for chunk in stream:
if chunk.choices[0].delta.content:
yield f"data: {chunk.choices[0].delta.content}\n\n"
return StreamingResponse(event_stream(), media_type="text/event-stream")
Βασικά σημεία
- Οι κλήσεις εργαλείων φτάνουν σε ένα μόνο τμήμα και όχι σταδιακά
- Το κανονικό κείμενο συνεχίζει να μεταδίδεται token προς token
- Ανασυγκροτήστε τις κατακερματισμένες κλήσεις εργαλείων με ένα buffer ευρετηριασμένο κατά
index - Διαχειριστείτε δύο ροές παράλληλα: εμφάνιση κειμένου + συλλογή κλήσεων εργαλείων
- Εμφανίστε μια ένδειξη κατά την εκτέλεση του εργαλείου για καλύτερη εμπειρία χρήστη
- Χρησιμοποιήστε SSE για εφαρμογές ιστού