Ajattelulohkot: mallin päättelyn lukeminen
Tällä sivulla
Oppitunti kirjoitettu uudelleen 2. marraskuuta 2026 Thinking chunks -osion pohjalta Mistralin dokumentaatiossa. Edellinen versio luki päättelyn
text-kentästä ajattelulohkossa: tätä kenttää ei ole olemassa; päättely on lista tekstilohkoja.
Kaksi vastausmuotoa
Kun reasoning_effort="high", vastauksen message.content-kenttä ei ole enää merkkijono vaan lista lohkoja. Kun reasoning_effort="none", se on taas tavallinen merkkijono ilman jälkeäkään päättelystä. Robusti koodi käsittelee aina molemmat muodot: tämä on tämän oppitunnin kultainen sääntö.
Ajattelulohkon anatomia
Listassa esiintyy kahta lohkotyyppiä:
ThinkChunk(type: "thinking") kuljettaa päättelyjälkeä. Senthinking-kenttä on itse asiassa listaTextChunk-fragmentteja;TextChunk(type: "text") kuljettaa lopullisen vastauksentext-kentässään.
Tässä on Mistral Small 4 -vastauksen rakenne, otettu virallisesta esimerkistä (tekstit lyhennetty):
{
"model": "mistral-small-2603",
"usage": {"prompt_tokens": 77, "completion_tokens": 1114, "total_tokens": 1191},
"choices": [{
"finish_reason": "stop",
"message": {
"role": "assistant",
"content": [
{"type": "thinking", "thinking": [
{"type": "text", "text": "Okay, let's try to figure out John's age..."}
]},
{"type": "text", "text": "Let's denote the ages of the sisters as follows..."}
]
}
}]
}
Python SDK:n objektimalli noudattaa tätä rakennetta tarkasti: ThinkChunk.thinking sisältää päättelylohkot, ja jokainen TextChunk paljastaa sisältönsä .text-attribuutin kautta.
Vastauksen jäsentäminen Pythonilla
Virallinen koodi erottaa lohkot isinstance-funktiolla sen jälkeen, kun tavallinen merkkijonotapaus on suljettu pois:
from mistralai.client.models import TextChunk, ThinkChunk
content = chat_response.choices[0].message.content
if isinstance(content, str): # reasoning_effort="none"
print(content)
else:
for chunk in content:
if isinstance(chunk, ThinkChunk):
print("--- reasoning ---")
for inner in chunk.thinking:
if isinstance(inner, TextChunk):
print(inner.text)
print("--- end of reasoning ---")
elif isinstance(chunk, TextChunk):
print(chunk.text)
Sovelluksessa haluat todennäköisesti funktion, joka palauttaa päättelyn ja vastauksen erikseen. Kutsumme sitä funktioksi separate ja käytämme sitä myöhemmin kurssilla uudelleen:
from mistralai.client.models import TextChunk, ThinkChunk
def separate(content):
"""Palauttaa (päättely, vastaus) sisällölle, joka on joko merkkijono tai lista lohkoja."""
if isinstance(content, str):
return "", content
reasoning, answer = [], []
for chunk in content or []:
if isinstance(chunk, ThinkChunk):
reasoning.extend(i.text for i in chunk.thinking if isinstance(i, TextChunk))
elif isinstance(chunk, TextChunk):
answer.append(chunk.text)
return "".join(reasoning), "".join(answer)
reasoning, answer = separate(chat_response.choices[0].message.content)
Päättelyn näyttäminen käyttöliittymässä
Kahden osan erottaminen antaa sinulle vapauden päättää, mitä käyttäjä näkee. Kolme yleistä lähestymistapaa:
- Piilota päättely ja näytä vain vastaus, kuluttajille suunnatussa avustajassa;
- Tiivistä päättely lohkoksi, jonka käyttäjä voi avata halutessaan, asiantuntijatyökalussa;
- Näytä koko päättely, opetuksellisessa tutorissa, jossa prosessi on yhtä tärkeä kuin tulos.
def render_html(content, show_reasoning=False):
reasoning, answer = separate(content)
html = f"<div class='answer'>{answer}</div>"
if show_reasoning and reasoning:
html = (
"<details><summary>View model reasoning</summary>"
f"<pre>{reasoning}</pre></details>" + html
)
return html
Todellisessa projektissa sinun tulee eskapoida teksti ennen sen lisäämistä HTML:ään (esimerkiksi html.escape-funktiolla): sekä päättely että vastaus ovat generoitua tekstiä, eivät luotettua merkintäkieltä.
Streamaus kolmessa vaiheessa
Streamauksessa delta.content muuttaa muotoaan vastauksen edetessä:
- Päättelyvaihe:
delta.contenton lista, joka sisältääThinkChunk-objektin; - Siirtymävaihe: yksittäinen lista, joka sisältää sekä sulkevan
ThinkChunk-objektin että ensimmäisenTextChunk-objektin; - Vastausvaihe:
delta.contenton tavallinen merkkijono.
Seuraava koodi, joka on mukautettu virallisesta esimerkistä, näyttää molemmat vaiheet seuraamalla tilalippua:
import os
from mistralai.client import Mistral
from mistralai.client.models import TextChunk, ThinkChunk
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
in_reasoning = False
for event in client.chat.stream(
model="mistral-large-4-0",
messages=[{"role": "user", "content": "What is 17 × 23?"}],
reasoning_effort="high",
):
delta = event.data.choices[0].delta.content
if not delta:
continue
if isinstance(delta, str): # answer phase
if in_reasoning:
print("\n--- end of reasoning ---")
in_reasoning = False
print(delta, end="", flush=True)
continue
for chunk in delta: # reasoning phase and transition
if isinstance(chunk, ThinkChunk):
if not in_reasoning:
print("--- reasoning ---")
in_reasoning = True
for inner in chunk.thinking:
if isinstance(inner, TextChunk):
print(inner.text, end="", flush=True)
elif isinstance(chunk, TextChunk):
if in_reasoning:
print("\n--- end of reasoning ---")
in_reasoning = False
print(chunk.text, end="", flush=True)
Streamaus muuttaa kokemusta: sen sijaan, että odottaisit pitkän päättelyprosessin valmistumista jäätyneen näytön edessä, käyttäjä näkee mallin työskentelevän, tai ainakin aktiviteetti-indikaattorin, jos päätät piilottaa päättelyn.
Keskeiset asiat
contenton merkkijono arvollaannone, lohkojen lista arvollaanhigh: käsittele aina molemmatThinkChunk.thinkingon listaTextChunk-objekteja; lopullinen vastaus sijaitsee ylemmän tasonTextChunk-objektissaseparate-funktio, joka palauttaa (päättely, vastaus), yksinkertaistaa muuta koodiasi- Streamauksessa: päättelylista, sekasiirtymä, sitten vastausmerkkijonot
- Eskapoi sekä päättely että vastaus ennen niiden näyttämistä