Preskoči na glavni sadržaj
Hrvatski— Odaberite jezik
Izbornik

Thinking chunkovi: čitanje rezoniranja modela

Lekcija 3 od 12 Ažurirano 2. studenoga 2026. Programer
Na ovoj stranici
  1. Dva oblika odgovora
  2. Anatomija thinking chunka
  3. Parsiranje odgovora u Pythonu
  4. Prikazivanje rezoniranja u sučelju
  5. Streamanje u tri faze
  6. Ključne točke

Lekcija je ponovno napisana 2. studenog 2026. na temelju odjeljka Handling thinking chunks iz Mistral dokumentacije. Prethodna verzija je čitala rezoniranje iz polja text unutar thinking chunka: to polje ne postoji; rezoniranje je lista tekstualnih chunkova.

Dva oblika odgovora

Kada je reasoning_effort="high", polje message.content odgovora više nije niz znakova (string), već lista chunkova. Kada je reasoning_effort="none", ponovno je običan niz znakova, bez tragova rezoniranja. Robustan kod uvijek mora rukovati oba oblika: to je zlatno pravilo ove lekcije.

Anatomija thinking chunka

U listi se pojavljuju dvije vrste chunkova:

  • ThinkChunk (type: "thinking") nosi trag rezoniranja. Njegovo polje thinking samo je po sebi lista fragmenata TextChunk;
  • TextChunk (type: "text") nosi konačni odgovor u svom polju text.

Evo strukture odgovora modela Mistral Small 4, preuzete iz službenog primjera (tekstovi su skraćeni):

{
  "model": "mistral-small-2603",
  "usage": {"prompt_tokens": 77, "completion_tokens": 1114, "total_tokens": 1191},
  "choices": [{
    "finish_reason": "stop",
    "message": {
      "role": "assistant",
      "content": [
        {"type": "thinking", "thinking": [
          {"type": "text", "text": "Okay, let's try to figure out John's age..."}
        ]},
        {"type": "text", "text": "Let's denote the ages of the sisters as follows..."}
      ]
    }
  }]
}

Objektni model Python SDK-a točno prati ovu strukturu: ThinkChunk.thinking sadrži chunkove rezoniranja, a svaki TextChunk izlaže svoj sadržaj putem .text.

Parsiranje odgovora u Pythonu

Službeni kod razlikuje chunkove pomoću isinstance, nakon što isključi slučaj običnog niza znakova:

from mistralai.client.models import TextChunk, ThinkChunk

content = chat_response.choices[0].message.content

if isinstance(content, str):          # reasoning_effort="none"
    print(content)
else:
    for chunk in content:
        if isinstance(chunk, ThinkChunk):
            print("--- reasoning ---")
            for inner in chunk.thinking:
                if isinstance(inner, TextChunk):
                    print(inner.text)
            print("--- end of reasoning ---")
        elif isinstance(chunk, TextChunk):
            print(chunk.text)

U aplikaciji ćeš vjerojatno htjeti funkciju koja vraća rezoniranje i odgovor odvojeno. Nazvat ćemo je separate i ponovno ćemo je koristiti kasnije u tečaju:

from mistralai.client.models import TextChunk, ThinkChunk

def separate(content):
    """Vraća (rezoniranje, odgovor) za sadržaj koji je ili string ili lista chunkova."""
    if isinstance(content, str):
        return "", content
    reasoning, answer = [], []
    for chunk in content or []:
        if isinstance(chunk, ThinkChunk):
            reasoning.extend(i.text for i in chunk.thinking if isinstance(i, TextChunk))
        elif isinstance(chunk, TextChunk):
            answer.append(chunk.text)
    return "".join(reasoning), "".join(answer)

reasoning, answer = separate(chat_response.choices[0].message.content)

Prikazivanje rezoniranja u sučelju

Odvajanje ova dva dijela omogućuje ti da odlučiš što korisnik vidi. Tri uobičajena pristupa:

  • Sakrij rezoniranje i prikaži samo odgovor, za asistenta namijenjenog krajnjim korisnicima;
  • Sažmi rezoniranje u blok koji korisnik može otvoriti ako želi, za stručni alat;
  • Prikaži puno rezoniranje, za edukativnog tutora gdje je proces jednako važan kao i rezultat.
def render_html(content, show_reasoning=False):
    reasoning, answer = separate(content)
    html = f"<div class='answer'>{answer}</div>"
    if show_reasoning and reasoning:
        html = (
            "<details><summary>View model reasoning</summary>"
            f"<pre>{reasoning}</pre></details>" + html
        )
    return html

U stvarnom projektu, uvijek escapeaj tekst prije umetanja u HTML (na primjer s html.escape): i rezoniranje i odgovor su generirani tekst, a ne pouzdani markup.

Streamanje u tri faze

Kod streamanja, oblik delta.content se mijenja kako odgovor napreduje:

  1. Faza rezoniranja: delta.content je lista koja sadrži ThinkChunk;
  2. Prijelaz: jedna lista koja sadrži i završni ThinkChunk i prvi TextChunk;
  3. Faza odgovora: delta.content je običan niz znakova.

Sljedeći kod, prilagođen iz službenog primjera, prikazuje obje faze praćenjem zastavice stanja:

import os
from mistralai.client import Mistral
from mistralai.client.models import TextChunk, ThinkChunk

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
in_reasoning = False

for event in client.chat.stream(
    model="mistral-large-4-0",
    messages=[{"role": "user", "content": "What is 17 × 23?"}],
    reasoning_effort="high",
):
    delta = event.data.choices[0].delta.content
    if not delta:
        continue
    if isinstance(delta, str):            # answer phase
        if in_reasoning:
            print("\n--- end of reasoning ---")
            in_reasoning = False
        print(delta, end="", flush=True)
        continue
    for chunk in delta:                   # reasoning phase and transition
        if isinstance(chunk, ThinkChunk):
            if not in_reasoning:
                print("--- reasoning ---")
                in_reasoning = True
            for inner in chunk.thinking:
                if isinstance(inner, TextChunk):
                    print(inner.text, end="", flush=True)
        elif isinstance(chunk, TextChunk):
            if in_reasoning:
                print("\n--- end of reasoning ---")
                in_reasoning = False
            print(chunk.text, end="", flush=True)

Streamanje mijenja iskustvo: umjesto čekanja da dug proces rezoniranja završi ispred zamrznutog zaslona, korisnik vidi model na djelu, ili barem indikator aktivnosti ako odlučiš sakriti rezoniranje.

Ključne točke

  • content je string uz none, lista chunkova uz high: uvijek rukuj s oba slučaja
  • ThinkChunk.thinking je lista TextChunk objekata; konačni odgovor nalazi se u TextChunk na najvišoj razini
  • Funkcija separate koja vraća (rezoniranje, odgovor) pojednostavljuje ostatak tvog koda
  • Kod streamanja: lista rezoniranja, mješoviti prijelaz, zatim stringovi odgovora
  • Escapeaj i rezoniranje i odgovor prije njihovog prikazivanja