Thinking chunks: branje razmišljanja modela
Na tej strani
Lekcija je bila ponovno napisana 2. novembra 2026 na podlagi razdelka Handling thinking chunks v dokumentaciji Mistral. Prejšnja različica je brala razmišljanje iz polja
textv thinking chunku: to polje ne obstaja; razmišljanje je seznam besedilnih chunkov.
Dve obliki odgovora
Pri nastavitvi reasoning_effort="high" polje message.content odgovora ni več niz, temveč seznam chunkov. Pri reasoning_effort="none" je spet navaden niz brez sledi razmišljanja. Zanesljiva koda vedno obravnava obe obliki: to je zlato pravilo te lekcije.
Anatomija thinking chunka
V seznamu se pojavita dve vrsti chunkov:
ThinkChunk(type: "thinking") nosi sled razmišljanja. Njegovo poljethinkingje samo po sebi seznam fragmentovTextChunk;TextChunk(type: "text") nosi končni odgovor v svojem poljutext.
Tukaj je oblika odgovora modela Mistral Small 4, prevzeta iz uradnega primera (besedila so okrajšana):
{
"model": "mistral-small-2603",
"usage": {"prompt_tokens": 77, "completion_tokens": 1114, "total_tokens": 1191},
"choices": [{
"finish_reason": "stop",
"message": {
"role": "assistant",
"content": [
{"type": "thinking", "thinking": [
{"type": "text", "text": "Okay, let's try to figure out John's age..."}
]},
{"type": "text", "text": "Let's denote the ages of the sisters as follows..."}
]
}
}]
}
Objektni model Python SDK to strukturo natančno sledi: ThinkChunk.thinking hrani chunkove razmišljanja, vsak TextChunk pa svoje vsebine razkriva prek .text.
Razčlenjevanje odgovora v Pythonu
Uradna koda razlikuje chunkove z isinstance, potem ko izključi primer navadnega niza:
from mistralai.client.models import TextChunk, ThinkChunk
content = chat_response.choices[0].message.content
if isinstance(content, str): # reasoning_effort="none"
print(content)
else:
for chunk in content:
if isinstance(chunk, ThinkChunk):
print("--- reasoning ---")
for inner in chunk.thinking:
if isinstance(inner, TextChunk):
print(inner.text)
print("--- end of reasoning ---")
elif isinstance(chunk, TextChunk):
print(chunk.text)
V aplikaciji boš želel funkcijo, ki vrne razmišljanje in odgovor ločeno. Imenovali jo bomo separate in jo kasneje v tečaju ponovno uporabili:
from mistralai.client.models import TextChunk, ThinkChunk
def separate(content):
"""Vrne (razmišljanje, odgovor) za vsebino, ki je bodisi niz bodisi seznam chunkov."""
if isinstance(content, str):
return "", content
reasoning, answer = [], []
for chunk in content or []:
if isinstance(chunk, ThinkChunk):
reasoning.extend(i.text for i in chunk.thinking if isinstance(i, TextChunk))
elif isinstance(chunk, TextChunk):
answer.append(chunk.text)
return "".join(reasoning), "".join(answer)
reasoning, answer = separate(chat_response.choices[0].message.content)
Prikaz razmišljanja v vmesniku
Ločevanje obeh delov ti omogoča, da se odločiš, kaj vidi uporabnik. Trije pogosti pristopi:
- Skrij razmišljanje in prikaži le odgovor, kar je primerno za asistenta, namenjenega končnim uporabnikom;
- Strni razmišljanje v blok, ki ga uporabnik lahko odpre, če želi, kar je primerno za strokovna orodja;
- Prikaži celotno razmišljanje, kar je primerno za izobraževalnega tutorja, kjer je proces enako pomemben kot rezultat.
def render_html(content, show_reasoning=False):
reasoning, answer = separate(content)
html = f"<div class='answer'>{answer}</div>"
if show_reasoning and reasoning:
html = (
"<details><summary>View model reasoning</summary>"
f"<pre>{reasoning}</pre></details>" + html
)
return html
V pravem projektu pred vstavljanjem v HTML besedilo pobegni (na primer z html.escape): tako razmišljanje kot odgovor sta generirano besedilo, ne zaupanja vredna oznaka.
Pretakanje v treh fazah
Pri pretakanju se oblika delta.content spreminja, ko se odgovor razvija:
- Faza razmišljanja:
delta.contentje seznam, ki vsebujeThinkChunk; - Prehod: en sam seznam, ki vsebuje tako zaključni
ThinkChunkkot prviTextChunk; - Faza odgovora:
delta.contentje navaden niz.
Naslednja koda, prilagojena uradnemu primeru, prikaže obe fazi s sledenjem zastavice stanja:
import os
from mistralai.client import Mistral
from mistralai.client.models import TextChunk, ThinkChunk
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
in_reasoning = False
for event in client.chat.stream(
model="mistral-large-4-0",
messages=[{"role": "user", "content": "What is 17 × 23?"}],
reasoning_effort="high",
):
delta = event.data.choices[0].delta.content
if not delta:
continue
if isinstance(delta, str): # answer phase
if in_reasoning:
print("\n--- end of reasoning ---")
in_reasoning = False
print(delta, end="", flush=True)
continue
for chunk in delta: # reasoning phase and transition
if isinstance(chunk, ThinkChunk):
if not in_reasoning:
print("--- reasoning ---")
in_reasoning = True
for inner in chunk.thinking:
if isinstance(inner, TextChunk):
print(inner.text, end="", flush=True)
elif isinstance(chunk, TextChunk):
if in_reasoning:
print("\n--- end of reasoning ---")
in_reasoning = False
print(chunk.text, end="", flush=True)
Pretakanje spremeni izkušnjo: namesto čakanja, da se dolg proces razmišljanja konča pred zamrznjenim zaslonom, uporabnik vidi model pri delu ali vsaj indikator dejavnosti, če se odločiš skriti razmišljanje.
Ključne ugotovitve
contentje niz prinone, seznam chunkov prihigh: vedno obravnavaj obe možnostiThinkChunk.thinkingje seznamTextChunk; končni odgovor se nahaja vTextChunkna najvišji ravni- Funkcija
separate, ki vrne (razmišljanje, odgovor), poenostavi preostanek tvoje kode - Pri pretakanju: seznam razmišljanja, mešan prehod, nato nizi odgovorov
- Pred prikazom pobegni tako razmišljanje kot odgovor