Preskok na glavno vsebino
Slovenščina— Izberite jezik
Meni

Thinking chunks: branje razmišljanja modela

Lekcija 3 od 12 Posodobljeno 2. november 2026 Razvijalec
Na tej strani
  1. Dve obliki odgovora
  2. Anatomija thinking chunka
  3. Razčlenjevanje odgovora v Pythonu
  4. Prikaz razmišljanja v vmesniku
  5. Pretakanje v treh fazah
  6. Ključne ugotovitve

Lekcija je bila ponovno napisana 2. novembra 2026 na podlagi razdelka Handling thinking chunks v dokumentaciji Mistral. Prejšnja različica je brala razmišljanje iz polja text v thinking chunku: to polje ne obstaja; razmišljanje je seznam besedilnih chunkov.

Dve obliki odgovora

Pri nastavitvi reasoning_effort="high" polje message.content odgovora ni več niz, temveč seznam chunkov. Pri reasoning_effort="none" je spet navaden niz brez sledi razmišljanja. Zanesljiva koda vedno obravnava obe obliki: to je zlato pravilo te lekcije.

Anatomija thinking chunka

V seznamu se pojavita dve vrsti chunkov:

  • ThinkChunk (type: "thinking") nosi sled razmišljanja. Njegovo polje thinking je samo po sebi seznam fragmentov TextChunk;
  • TextChunk (type: "text") nosi končni odgovor v svojem polju text.

Tukaj je oblika odgovora modela Mistral Small 4, prevzeta iz uradnega primera (besedila so okrajšana):

{
  "model": "mistral-small-2603",
  "usage": {"prompt_tokens": 77, "completion_tokens": 1114, "total_tokens": 1191},
  "choices": [{
    "finish_reason": "stop",
    "message": {
      "role": "assistant",
      "content": [
        {"type": "thinking", "thinking": [
          {"type": "text", "text": "Okay, let's try to figure out John's age..."}
        ]},
        {"type": "text", "text": "Let's denote the ages of the sisters as follows..."}
      ]
    }
  }]
}

Objektni model Python SDK to strukturo natančno sledi: ThinkChunk.thinking hrani chunkove razmišljanja, vsak TextChunk pa svoje vsebine razkriva prek .text.

Razčlenjevanje odgovora v Pythonu

Uradna koda razlikuje chunkove z isinstance, potem ko izključi primer navadnega niza:

from mistralai.client.models import TextChunk, ThinkChunk

content = chat_response.choices[0].message.content

if isinstance(content, str):          # reasoning_effort="none"
    print(content)
else:
    for chunk in content:
        if isinstance(chunk, ThinkChunk):
            print("--- reasoning ---")
            for inner in chunk.thinking:
                if isinstance(inner, TextChunk):
                    print(inner.text)
            print("--- end of reasoning ---")
        elif isinstance(chunk, TextChunk):
            print(chunk.text)

V aplikaciji boš želel funkcijo, ki vrne razmišljanje in odgovor ločeno. Imenovali jo bomo separate in jo kasneje v tečaju ponovno uporabili:

from mistralai.client.models import TextChunk, ThinkChunk

def separate(content):
    """Vrne (razmišljanje, odgovor) za vsebino, ki je bodisi niz bodisi seznam chunkov."""
    if isinstance(content, str):
        return "", content
    reasoning, answer = [], []
    for chunk in content or []:
        if isinstance(chunk, ThinkChunk):
            reasoning.extend(i.text for i in chunk.thinking if isinstance(i, TextChunk))
        elif isinstance(chunk, TextChunk):
            answer.append(chunk.text)
    return "".join(reasoning), "".join(answer)

reasoning, answer = separate(chat_response.choices[0].message.content)

Prikaz razmišljanja v vmesniku

Ločevanje obeh delov ti omogoča, da se odločiš, kaj vidi uporabnik. Trije pogosti pristopi:

  • Skrij razmišljanje in prikaži le odgovor, kar je primerno za asistenta, namenjenega končnim uporabnikom;
  • Strni razmišljanje v blok, ki ga uporabnik lahko odpre, če želi, kar je primerno za strokovna orodja;
  • Prikaži celotno razmišljanje, kar je primerno za izobraževalnega tutorja, kjer je proces enako pomemben kot rezultat.
def render_html(content, show_reasoning=False):
    reasoning, answer = separate(content)
    html = f"<div class='answer'>{answer}</div>"
    if show_reasoning and reasoning:
        html = (
            "<details><summary>View model reasoning</summary>"
            f"<pre>{reasoning}</pre></details>" + html
        )
    return html

V pravem projektu pred vstavljanjem v HTML besedilo pobegni (na primer z html.escape): tako razmišljanje kot odgovor sta generirano besedilo, ne zaupanja vredna oznaka.

Pretakanje v treh fazah

Pri pretakanju se oblika delta.content spreminja, ko se odgovor razvija:

  1. Faza razmišljanja: delta.content je seznam, ki vsebuje ThinkChunk;
  2. Prehod: en sam seznam, ki vsebuje tako zaključni ThinkChunk kot prvi TextChunk;
  3. Faza odgovora: delta.content je navaden niz.

Naslednja koda, prilagojena uradnemu primeru, prikaže obe fazi s sledenjem zastavice stanja:

import os
from mistralai.client import Mistral
from mistralai.client.models import TextChunk, ThinkChunk

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
in_reasoning = False

for event in client.chat.stream(
    model="mistral-large-4-0",
    messages=[{"role": "user", "content": "What is 17 × 23?"}],
    reasoning_effort="high",
):
    delta = event.data.choices[0].delta.content
    if not delta:
        continue
    if isinstance(delta, str):            # answer phase
        if in_reasoning:
            print("\n--- end of reasoning ---")
            in_reasoning = False
        print(delta, end="", flush=True)
        continue
    for chunk in delta:                   # reasoning phase and transition
        if isinstance(chunk, ThinkChunk):
            if not in_reasoning:
                print("--- reasoning ---")
                in_reasoning = True
            for inner in chunk.thinking:
                if isinstance(inner, TextChunk):
                    print(inner.text, end="", flush=True)
        elif isinstance(chunk, TextChunk):
            if in_reasoning:
                print("\n--- end of reasoning ---")
                in_reasoning = False
            print(chunk.text, end="", flush=True)

Pretakanje spremeni izkušnjo: namesto čakanja, da se dolg proces razmišljanja konča pred zamrznjenim zaslonom, uporabnik vidi model pri delu ali vsaj indikator dejavnosti, če se odločiš skriti razmišljanje.

Ključne ugotovitve

  • content je niz pri none, seznam chunkov pri high: vedno obravnavaj obe možnosti
  • ThinkChunk.thinking je seznam TextChunk; končni odgovor se nahaja v TextChunk na najvišji ravni
  • Funkcija separate, ki vrne (razmišljanje, odgovor), poenostavi preostanek tvoje kode
  • Pri pretakanju: seznam razmišljanja, mešan prehod, nato nizi odgovorov
  • Pred prikazom pobegni tako razmišljanje kot odgovor