Thinking chunks: ανάγνωση του συλλογισμού του μοντέλου
Σε αυτήν τη σελίδα
Μάθημα ξαναγραμμένο στις 2 Νοεμβρίου 2026 με βάση την ενότητα Handling thinking chunks της τεκμηρίωσης του Mistral. Η προηγούμενη έκδοση διάβαζε τον συλλογισμό από ένα πεδίο
textστο thinking chunk: το πεδίο αυτό δεν υπάρχει· ο συλλογισμός είναι μια λίστα από text chunks.
Δύο μορφές απόκρισης
Με reasoning_effort="high", το πεδίο message.content μιας απόκρισης δεν είναι πλέον συμβολοσειρά, αλλά λίστα από chunks. Με reasoning_effort="none", επιστρέφει πάλι ως απλή συμβολοσειρά, χωρίς κανένα ίχνος συλλογισμού. Ο ανθεκτικός κώδικας διαχειρίζεται πάντα και τις δύο μορφές: αυτός είναι ο χρυσός κανόνας του μαθήματος.
Ανατομία ενός thinking chunk
Στη λίστα εμφανίζονται δύο τύποι chunks:
ThinkChunk(type: "thinking") μεταφέρει το ίχνος του συλλογισμού. Το πεδίοthinkingτου είναι ίδιο μια λίστα από θραύσματαTextChunk·TextChunk(type: "text") μεταφέρει την τελική απάντηση, στο πεδίοtextτου.
Ακολουθεί η δομή μιας απόκρισης του Mistral Small 4, παρμένη από το επίσημο παράδειγμα (κείμενα συντομευμένα):
{
"model": "mistral-small-2603",
"usage": {"prompt_tokens": 77, "completion_tokens": 1114, "total_tokens": 1191},
"choices": [{
"finish_reason": "stop",
"message": {
"role": "assistant",
"content": [
{"type": "thinking", "thinking": [
{"type": "text", "text": "Okay, let's try to figure out John's age..."}
]},
{"type": "text", "text": "Let's denote the ages of the sisters as follows..."}
]
}
}]
}
Το μοντέλο αντικειμένων του Python SDK ακολουθεί ακριβώς αυτή τη δομή: το ThinkChunk.thinking περιέχει τα chunks του συλλογισμού, και κάθε TextChunk εκθέτει το περιεχόμενό του μέσω του .text.
Ανάλυση της απόκρισης σε Python
Ο επίσημος κώδικας διακρίνει τα chunks με isinstance, αφού αποκλείσει πρώτα την περίπτωση της απλής συμβολοσειράς:
from mistralai.client.models import TextChunk, ThinkChunk
content = chat_response.choices[0].message.content
if isinstance(content, str): # reasoning_effort="none"
print(content)
else:
for chunk in content:
if isinstance(chunk, ThinkChunk):
print("--- reasoning ---")
for inner in chunk.thinking:
if isinstance(inner, TextChunk):
print(inner.text)
print("--- end of reasoning ---")
elif isinstance(chunk, TextChunk):
print(chunk.text)
Σε μια εφαρμογή, θα θέλετε μια συνάρτηση που επιστρέφει χωριστά τον συλλογισμό και την απάντηση. Θα την ονομάσουμε separate και θα την επαναχρησιμοποιήσουμε αργότερα στο μάθημα:
from mistralai.client.models import TextChunk, ThinkChunk
def separate(content):
"""Επιστρέφει (συλλογισμός, απάντηση) για περιεχόμενο που είναι είτε συμβολοσειρά είτε λίστα από chunks."""
if isinstance(content, str):
return "", content
reasoning, answer = [], []
for chunk in content or []:
if isinstance(chunk, ThinkChunk):
reasoning.extend(i.text for i in chunk.thinking if isinstance(i, TextChunk))
elif isinstance(chunk, TextChunk):
answer.append(chunk.text)
return "".join(reasoning), "".join(answer)
reasoning, answer = separate(chat_response.choices[0].message.content)
Εμφάνιση του συλλογισμού σε διεπαφή
Ο διαχωρισμός των δύο μερών σάς επιτρέπει να αποφασίσετε τι βλέπει ο χρήστης. Τρεις κοινές προσεγγίσεις:
- Απόκρυψη του συλλογισμού και εμφάνιση μόνο της απάντησης, για έναν βοηθό απευθυνόμενο σε καταναλωτές·
- Σύμπτυξη του συλλογισμού σε ένα μπλοκ που ο χρήστης μπορεί να ανοίξει αν το επιθυμεί, για ένα εργαλείο ειδικών·
- Εμφάνιση του πλήρους συλλογισμού, για έναν εκπαιδευτικό tutor όπου η διαδικασία έχει την ίδια σημασία με το αποτέλεσμα.
def render_html(content, show_reasoning=False):
reasoning, answer = separate(content)
html = f"<div class='answer'>{answer}</div>"
if show_reasoning and reasoning:
html = (
"<details><summary>View model reasoning</summary>"
f"<pre>{reasoning}</pre></details>" + html
)
return html
Σε ένα πραγματικό έργο, διαφεύγετε το κείμενο πριν το εισάγετε στην HTML (για παράδειγμα με το html.escape): τόσο ο συλλογισμός όσο και η απάντηση είναι παραγόμενο κείμενο, όχι έμπιστο markup.
Ροή δεδομένων (Streaming) σε τρεις φάσεις
Κατά τη ροή δεδομένων, το delta.content αλλάζει μορφή καθώς εξελίσσεται η απόκριση:
- Φάση συλλογισμού: το
delta.contentείναι μια λίστα που περιέχει έναThinkChunk· - Μετάβαση: μια μοναδική λίστα που περιέχει τόσο το κλείσιμο του
ThinkChunkόσο και το πρώτοTextChunk· - Φάση απάντησης: το
delta.contentείναι μια απλή συμβολοσειρά.
Ο παρακάτω κώδικας, προσαρμοσμένος από το επίσημο παράδειγμα, εμφανίζει και τις δύο φάσεις παρακολουθώντας μια σημαία κατάστασης:
import os
from mistralai.client import Mistral
from mistralai.client.models import TextChunk, ThinkChunk
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
in_reasoning = False
for event in client.chat.stream(
model="mistral-large-4-0",
messages=[{"role": "user", "content": "What is 17 × 23?"}],
reasoning_effort="high",
):
delta = event.data.choices[0].delta.content
if not delta:
continue
if isinstance(delta, str): # answer phase
if in_reasoning:
print("\n--- end of reasoning ---")
in_reasoning = False
print(delta, end="", flush=True)
continue
for chunk in delta: # reasoning phase and transition
if isinstance(chunk, ThinkChunk):
if not in_reasoning:
print("--- reasoning ---")
in_reasoning = True
for inner in chunk.thinking:
if isinstance(inner, TextChunk):
print(inner.text, end="", flush=True)
elif isinstance(chunk, TextChunk):
if in_reasoning:
print("\n--- end of reasoning ---")
in_reasoning = False
print(chunk.text, end="", flush=True)
Η ροή δεδομένων αλλάζει την εμπειρία: αντί να περιμένετε μια μακρά διαδικασία συλλογισμού να ολοκληρωθεί μπροστά σε μια παγωμένη οθόνη, ο χρήστης βλέπει το μοντέλο να εργάζεται, ή τουλάχιστον έναν δείκτη δραστηριότητας αν επιλέξετε να αποκρύψετε τον συλλογισμό.
Βασικά σημεία
- Το
contentείναι συμβολοσειρά μεnone, λίστα από chunks μεhigh: διαχειρίζεστε πάντα και τις δύο περιπτώσεις - Το
ThinkChunk.thinkingείναι λίστα απόTextChunk· η τελική απάντηση βρίσκεται σε έναTextChunkανώτερου επιπέδου - Μια συνάρτηση
separateπου επιστρέφει (συλλογισμός, απάντηση) απλοποιεί τον υπόλοιπο κώδικά σας - Στη ροή δεδομένων: λίστα συλλογισμού, μικτή μετάβαση, έπειτα συμβολοσειρές απάντησης
- Διαφεύγετε τόσο τον συλλογισμό όσο και την απάντηση πριν τους εμφανίσετε