Μετάβαση στο κύριο περιεχόμενο
Ελληνικά— Επιλέξτε γλώσσα
Μενού

Thinking chunks: ανάγνωση του συλλογισμού του μοντέλου

Μάθημα 3 / 12 Ενημερώθηκε 2 Νοεμβρίου 2026 Για developers
Σε αυτήν τη σελίδα
  1. Δύο μορφές απόκρισης
  2. Ανατομία ενός thinking chunk
  3. Ανάλυση της απόκρισης σε Python
  4. Εμφάνιση του συλλογισμού σε διεπαφή
  5. Ροή δεδομένων (Streaming) σε τρεις φάσεις
  6. Βασικά σημεία

Μάθημα ξαναγραμμένο στις 2 Νοεμβρίου 2026 με βάση την ενότητα Handling thinking chunks της τεκμηρίωσης του Mistral. Η προηγούμενη έκδοση διάβαζε τον συλλογισμό από ένα πεδίο text στο thinking chunk: το πεδίο αυτό δεν υπάρχει· ο συλλογισμός είναι μια λίστα από text chunks.

Δύο μορφές απόκρισης

Με reasoning_effort="high", το πεδίο message.content μιας απόκρισης δεν είναι πλέον συμβολοσειρά, αλλά λίστα από chunks. Με reasoning_effort="none", επιστρέφει πάλι ως απλή συμβολοσειρά, χωρίς κανένα ίχνος συλλογισμού. Ο ανθεκτικός κώδικας διαχειρίζεται πάντα και τις δύο μορφές: αυτός είναι ο χρυσός κανόνας του μαθήματος.

Ανατομία ενός thinking chunk

Στη λίστα εμφανίζονται δύο τύποι chunks:

  • ThinkChunk (type: "thinking") μεταφέρει το ίχνος του συλλογισμού. Το πεδίο thinking του είναι ίδιο μια λίστα από θραύσματα TextChunk·
  • TextChunk (type: "text") μεταφέρει την τελική απάντηση, στο πεδίο text του.

Ακολουθεί η δομή μιας απόκρισης του Mistral Small 4, παρμένη από το επίσημο παράδειγμα (κείμενα συντομευμένα):

{
  "model": "mistral-small-2603",
  "usage": {"prompt_tokens": 77, "completion_tokens": 1114, "total_tokens": 1191},
  "choices": [{
    "finish_reason": "stop",
    "message": {
      "role": "assistant",
      "content": [
        {"type": "thinking", "thinking": [
          {"type": "text", "text": "Okay, let's try to figure out John's age..."}
        ]},
        {"type": "text", "text": "Let's denote the ages of the sisters as follows..."}
      ]
    }
  }]
}

Το μοντέλο αντικειμένων του Python SDK ακολουθεί ακριβώς αυτή τη δομή: το ThinkChunk.thinking περιέχει τα chunks του συλλογισμού, και κάθε TextChunk εκθέτει το περιεχόμενό του μέσω του .text.

Ανάλυση της απόκρισης σε Python

Ο επίσημος κώδικας διακρίνει τα chunks με isinstance, αφού αποκλείσει πρώτα την περίπτωση της απλής συμβολοσειράς:

from mistralai.client.models import TextChunk, ThinkChunk

content = chat_response.choices[0].message.content

if isinstance(content, str):          # reasoning_effort="none"
    print(content)
else:
    for chunk in content:
        if isinstance(chunk, ThinkChunk):
            print("--- reasoning ---")
            for inner in chunk.thinking:
                if isinstance(inner, TextChunk):
                    print(inner.text)
            print("--- end of reasoning ---")
        elif isinstance(chunk, TextChunk):
            print(chunk.text)

Σε μια εφαρμογή, θα θέλετε μια συνάρτηση που επιστρέφει χωριστά τον συλλογισμό και την απάντηση. Θα την ονομάσουμε separate και θα την επαναχρησιμοποιήσουμε αργότερα στο μάθημα:

from mistralai.client.models import TextChunk, ThinkChunk

def separate(content):
    """Επιστρέφει (συλλογισμός, απάντηση) για περιεχόμενο που είναι είτε συμβολοσειρά είτε λίστα από chunks."""
    if isinstance(content, str):
        return "", content
    reasoning, answer = [], []
    for chunk in content or []:
        if isinstance(chunk, ThinkChunk):
            reasoning.extend(i.text for i in chunk.thinking if isinstance(i, TextChunk))
        elif isinstance(chunk, TextChunk):
            answer.append(chunk.text)
    return "".join(reasoning), "".join(answer)

reasoning, answer = separate(chat_response.choices[0].message.content)

Εμφάνιση του συλλογισμού σε διεπαφή

Ο διαχωρισμός των δύο μερών σάς επιτρέπει να αποφασίσετε τι βλέπει ο χρήστης. Τρεις κοινές προσεγγίσεις:

  • Απόκρυψη του συλλογισμού και εμφάνιση μόνο της απάντησης, για έναν βοηθό απευθυνόμενο σε καταναλωτές·
  • Σύμπτυξη του συλλογισμού σε ένα μπλοκ που ο χρήστης μπορεί να ανοίξει αν το επιθυμεί, για ένα εργαλείο ειδικών·
  • Εμφάνιση του πλήρους συλλογισμού, για έναν εκπαιδευτικό tutor όπου η διαδικασία έχει την ίδια σημασία με το αποτέλεσμα.
def render_html(content, show_reasoning=False):
    reasoning, answer = separate(content)
    html = f"<div class='answer'>{answer}</div>"
    if show_reasoning and reasoning:
        html = (
            "<details><summary>View model reasoning</summary>"
            f"<pre>{reasoning}</pre></details>" + html
        )
    return html

Σε ένα πραγματικό έργο, διαφεύγετε το κείμενο πριν το εισάγετε στην HTML (για παράδειγμα με το html.escape): τόσο ο συλλογισμός όσο και η απάντηση είναι παραγόμενο κείμενο, όχι έμπιστο markup.

Ροή δεδομένων (Streaming) σε τρεις φάσεις

Κατά τη ροή δεδομένων, το delta.content αλλάζει μορφή καθώς εξελίσσεται η απόκριση:

  1. Φάση συλλογισμού: το delta.content είναι μια λίστα που περιέχει ένα ThinkChunk·
  2. Μετάβαση: μια μοναδική λίστα που περιέχει τόσο το κλείσιμο του ThinkChunk όσο και το πρώτο TextChunk·
  3. Φάση απάντησης: το delta.content είναι μια απλή συμβολοσειρά.

Ο παρακάτω κώδικας, προσαρμοσμένος από το επίσημο παράδειγμα, εμφανίζει και τις δύο φάσεις παρακολουθώντας μια σημαία κατάστασης:

import os
from mistralai.client import Mistral
from mistralai.client.models import TextChunk, ThinkChunk

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
in_reasoning = False

for event in client.chat.stream(
    model="mistral-large-4-0",
    messages=[{"role": "user", "content": "What is 17 × 23?"}],
    reasoning_effort="high",
):
    delta = event.data.choices[0].delta.content
    if not delta:
        continue
    if isinstance(delta, str):            # answer phase
        if in_reasoning:
            print("\n--- end of reasoning ---")
            in_reasoning = False
        print(delta, end="", flush=True)
        continue
    for chunk in delta:                   # reasoning phase and transition
        if isinstance(chunk, ThinkChunk):
            if not in_reasoning:
                print("--- reasoning ---")
                in_reasoning = True
            for inner in chunk.thinking:
                if isinstance(inner, TextChunk):
                    print(inner.text, end="", flush=True)
        elif isinstance(chunk, TextChunk):
            if in_reasoning:
                print("\n--- end of reasoning ---")
                in_reasoning = False
            print(chunk.text, end="", flush=True)

Η ροή δεδομένων αλλάζει την εμπειρία: αντί να περιμένετε μια μακρά διαδικασία συλλογισμού να ολοκληρωθεί μπροστά σε μια παγωμένη οθόνη, ο χρήστης βλέπει το μοντέλο να εργάζεται, ή τουλάχιστον έναν δείκτη δραστηριότητας αν επιλέξετε να αποκρύψετε τον συλλογισμό.

Βασικά σημεία

  • Το content είναι συμβολοσειρά με none, λίστα από chunks με high: διαχειρίζεστε πάντα και τις δύο περιπτώσεις
  • Το ThinkChunk.thinking είναι λίστα από TextChunk· η τελική απάντηση βρίσκεται σε ένα TextChunk ανώτερου επιπέδου
  • Μια συνάρτηση separate που επιστρέφει (συλλογισμός, απάντηση) απλοποιεί τον υπόλοιπο κώδικά σας
  • Στη ροή δεδομένων: λίστα συλλογισμού, μικτή μετάβαση, έπειτα συμβολοσειρές απάντησης
  • Διαφεύγετε τόσο τον συλλογισμό όσο και την απάντηση πριν τους εμφανίσετε