Thinking chunkovi: čitanje rezoniranja modela
Na ovoj stranici
Lekcija je ponovno napisana 2. studenog 2026. na temelju odjeljka Handling thinking chunks iz Mistral dokumentacije. Prethodna verzija je čitala rezoniranje iz polja
textunutar thinking chunka: to polje ne postoji; rezoniranje je lista tekstualnih chunkova.
Dva oblika odgovora
Kada je reasoning_effort="high", polje message.content odgovora više nije niz znakova (string), već lista chunkova. Kada je reasoning_effort="none", ponovno je običan niz znakova, bez tragova rezoniranja. Robustan kod uvijek mora rukovati oba oblika: to je zlatno pravilo ove lekcije.
Anatomija thinking chunka
U listi se pojavljuju dvije vrste chunkova:
ThinkChunk(type: "thinking") nosi trag rezoniranja. Njegovo poljethinkingsamo je po sebi lista fragmenataTextChunk;TextChunk(type: "text") nosi konačni odgovor u svom poljutext.
Evo strukture odgovora modela Mistral Small 4, preuzete iz službenog primjera (tekstovi su skraćeni):
{
"model": "mistral-small-2603",
"usage": {"prompt_tokens": 77, "completion_tokens": 1114, "total_tokens": 1191},
"choices": [{
"finish_reason": "stop",
"message": {
"role": "assistant",
"content": [
{"type": "thinking", "thinking": [
{"type": "text", "text": "Okay, let's try to figure out John's age..."}
]},
{"type": "text", "text": "Let's denote the ages of the sisters as follows..."}
]
}
}]
}
Objektni model Python SDK-a točno prati ovu strukturu: ThinkChunk.thinking sadrži chunkove rezoniranja, a svaki TextChunk izlaže svoj sadržaj putem .text.
Parsiranje odgovora u Pythonu
Službeni kod razlikuje chunkove pomoću isinstance, nakon što isključi slučaj običnog niza znakova:
from mistralai.client.models import TextChunk, ThinkChunk
content = chat_response.choices[0].message.content
if isinstance(content, str): # reasoning_effort="none"
print(content)
else:
for chunk in content:
if isinstance(chunk, ThinkChunk):
print("--- reasoning ---")
for inner in chunk.thinking:
if isinstance(inner, TextChunk):
print(inner.text)
print("--- end of reasoning ---")
elif isinstance(chunk, TextChunk):
print(chunk.text)
U aplikaciji ćeš vjerojatno htjeti funkciju koja vraća rezoniranje i odgovor odvojeno. Nazvat ćemo je separate i ponovno ćemo je koristiti kasnije u tečaju:
from mistralai.client.models import TextChunk, ThinkChunk
def separate(content):
"""Vraća (rezoniranje, odgovor) za sadržaj koji je ili string ili lista chunkova."""
if isinstance(content, str):
return "", content
reasoning, answer = [], []
for chunk in content or []:
if isinstance(chunk, ThinkChunk):
reasoning.extend(i.text for i in chunk.thinking if isinstance(i, TextChunk))
elif isinstance(chunk, TextChunk):
answer.append(chunk.text)
return "".join(reasoning), "".join(answer)
reasoning, answer = separate(chat_response.choices[0].message.content)
Prikazivanje rezoniranja u sučelju
Odvajanje ova dva dijela omogućuje ti da odlučiš što korisnik vidi. Tri uobičajena pristupa:
- Sakrij rezoniranje i prikaži samo odgovor, za asistenta namijenjenog krajnjim korisnicima;
- Sažmi rezoniranje u blok koji korisnik može otvoriti ako želi, za stručni alat;
- Prikaži puno rezoniranje, za edukativnog tutora gdje je proces jednako važan kao i rezultat.
def render_html(content, show_reasoning=False):
reasoning, answer = separate(content)
html = f"<div class='answer'>{answer}</div>"
if show_reasoning and reasoning:
html = (
"<details><summary>View model reasoning</summary>"
f"<pre>{reasoning}</pre></details>" + html
)
return html
U stvarnom projektu, uvijek escapeaj tekst prije umetanja u HTML (na primjer s html.escape): i rezoniranje i odgovor su generirani tekst, a ne pouzdani markup.
Streamanje u tri faze
Kod streamanja, oblik delta.content se mijenja kako odgovor napreduje:
- Faza rezoniranja:
delta.contentje lista koja sadržiThinkChunk; - Prijelaz: jedna lista koja sadrži i završni
ThinkChunki prviTextChunk; - Faza odgovora:
delta.contentje običan niz znakova.
Sljedeći kod, prilagođen iz službenog primjera, prikazuje obje faze praćenjem zastavice stanja:
import os
from mistralai.client import Mistral
from mistralai.client.models import TextChunk, ThinkChunk
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
in_reasoning = False
for event in client.chat.stream(
model="mistral-large-4-0",
messages=[{"role": "user", "content": "What is 17 × 23?"}],
reasoning_effort="high",
):
delta = event.data.choices[0].delta.content
if not delta:
continue
if isinstance(delta, str): # answer phase
if in_reasoning:
print("\n--- end of reasoning ---")
in_reasoning = False
print(delta, end="", flush=True)
continue
for chunk in delta: # reasoning phase and transition
if isinstance(chunk, ThinkChunk):
if not in_reasoning:
print("--- reasoning ---")
in_reasoning = True
for inner in chunk.thinking:
if isinstance(inner, TextChunk):
print(inner.text, end="", flush=True)
elif isinstance(chunk, TextChunk):
if in_reasoning:
print("\n--- end of reasoning ---")
in_reasoning = False
print(chunk.text, end="", flush=True)
Streamanje mijenja iskustvo: umjesto čekanja da dug proces rezoniranja završi ispred zamrznutog zaslona, korisnik vidi model na djelu, ili barem indikator aktivnosti ako odlučiš sakriti rezoniranje.
Ključne točke
contentje string uznone, lista chunkova uzhigh: uvijek rukuj s oba slučajaThinkChunk.thinkingje listaTextChunkobjekata; konačni odgovor nalazi se uTextChunkna najvišoj razini- Funkcija
separatekoja vraća (rezoniranje, odgovor) pojednostavljuje ostatak tvog koda - Kod streamanja: lista rezoniranja, mješoviti prijelaz, zatim stringovi odgovora
- Escapeaj i rezoniranje i odgovor prije njihovog prikazivanja