Siirry pääsisältöön
Suomi— Valitse kieli
Valikko

Ajattelulohkot: mallin päättelyn lukeminen

Oppitunti 3 / 12 Päivitetty 2. marraskuuta 2026 Kehittäjä
Tällä sivulla
  1. Kaksi vastausmuotoa
  2. Ajattelulohkon anatomia
  3. Vastauksen jäsentäminen Pythonilla
  4. Päättelyn näyttäminen käyttöliittymässä
  5. Streamaus kolmessa vaiheessa
  6. Keskeiset asiat

Oppitunti kirjoitettu uudelleen 2. marraskuuta 2026 Thinking chunks -osion pohjalta Mistralin dokumentaatiossa. Edellinen versio luki päättelyn text-kentästä ajattelulohkossa: tätä kenttää ei ole olemassa; päättely on lista tekstilohkoja.

Kaksi vastausmuotoa

Kun reasoning_effort="high", vastauksen message.content-kenttä ei ole enää merkkijono vaan lista lohkoja. Kun reasoning_effort="none", se on taas tavallinen merkkijono ilman jälkeäkään päättelystä. Robusti koodi käsittelee aina molemmat muodot: tämä on tämän oppitunnin kultainen sääntö.

Ajattelulohkon anatomia

Listassa esiintyy kahta lohkotyyppiä:

  • ThinkChunk (type: "thinking") kuljettaa päättelyjälkeä. Sen thinking-kenttä on itse asiassa lista TextChunk-fragmentteja;
  • TextChunk (type: "text") kuljettaa lopullisen vastauksen text-kentässään.

Tässä on Mistral Small 4 -vastauksen rakenne, otettu virallisesta esimerkistä (tekstit lyhennetty):

{
  "model": "mistral-small-2603",
  "usage": {"prompt_tokens": 77, "completion_tokens": 1114, "total_tokens": 1191},
  "choices": [{
    "finish_reason": "stop",
    "message": {
      "role": "assistant",
      "content": [
        {"type": "thinking", "thinking": [
          {"type": "text", "text": "Okay, let's try to figure out John's age..."}
        ]},
        {"type": "text", "text": "Let's denote the ages of the sisters as follows..."}
      ]
    }
  }]
}

Python SDK:n objektimalli noudattaa tätä rakennetta tarkasti: ThinkChunk.thinking sisältää päättelylohkot, ja jokainen TextChunk paljastaa sisältönsä .text-attribuutin kautta.

Vastauksen jäsentäminen Pythonilla

Virallinen koodi erottaa lohkot isinstance-funktiolla sen jälkeen, kun tavallinen merkkijonotapaus on suljettu pois:

from mistralai.client.models import TextChunk, ThinkChunk

content = chat_response.choices[0].message.content

if isinstance(content, str):          # reasoning_effort="none"
    print(content)
else:
    for chunk in content:
        if isinstance(chunk, ThinkChunk):
            print("--- reasoning ---")
            for inner in chunk.thinking:
                if isinstance(inner, TextChunk):
                    print(inner.text)
            print("--- end of reasoning ---")
        elif isinstance(chunk, TextChunk):
            print(chunk.text)

Sovelluksessa haluat todennäköisesti funktion, joka palauttaa päättelyn ja vastauksen erikseen. Kutsumme sitä funktioksi separate ja käytämme sitä myöhemmin kurssilla uudelleen:

from mistralai.client.models import TextChunk, ThinkChunk

def separate(content):
    """Palauttaa (päättely, vastaus) sisällölle, joka on joko merkkijono tai lista lohkoja."""
    if isinstance(content, str):
        return "", content
    reasoning, answer = [], []
    for chunk in content or []:
        if isinstance(chunk, ThinkChunk):
            reasoning.extend(i.text for i in chunk.thinking if isinstance(i, TextChunk))
        elif isinstance(chunk, TextChunk):
            answer.append(chunk.text)
    return "".join(reasoning), "".join(answer)

reasoning, answer = separate(chat_response.choices[0].message.content)

Päättelyn näyttäminen käyttöliittymässä

Kahden osan erottaminen antaa sinulle vapauden päättää, mitä käyttäjä näkee. Kolme yleistä lähestymistapaa:

  • Piilota päättely ja näytä vain vastaus, kuluttajille suunnatussa avustajassa;
  • Tiivistä päättely lohkoksi, jonka käyttäjä voi avata halutessaan, asiantuntijatyökalussa;
  • Näytä koko päättely, opetuksellisessa tutorissa, jossa prosessi on yhtä tärkeä kuin tulos.
def render_html(content, show_reasoning=False):
    reasoning, answer = separate(content)
    html = f"<div class='answer'>{answer}</div>"
    if show_reasoning and reasoning:
        html = (
            "<details><summary>View model reasoning</summary>"
            f"<pre>{reasoning}</pre></details>" + html
        )
    return html

Todellisessa projektissa sinun tulee eskapoida teksti ennen sen lisäämistä HTML:ään (esimerkiksi html.escape-funktiolla): sekä päättely että vastaus ovat generoitua tekstiä, eivät luotettua merkintäkieltä.

Streamaus kolmessa vaiheessa

Streamauksessa delta.content muuttaa muotoaan vastauksen edetessä:

  1. Päättelyvaihe: delta.content on lista, joka sisältää ThinkChunk-objektin;
  2. Siirtymävaihe: yksittäinen lista, joka sisältää sekä sulkevan ThinkChunk-objektin että ensimmäisen TextChunk-objektin;
  3. Vastausvaihe: delta.content on tavallinen merkkijono.

Seuraava koodi, joka on mukautettu virallisesta esimerkistä, näyttää molemmat vaiheet seuraamalla tilalippua:

import os
from mistralai.client import Mistral
from mistralai.client.models import TextChunk, ThinkChunk

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
in_reasoning = False

for event in client.chat.stream(
    model="mistral-large-4-0",
    messages=[{"role": "user", "content": "What is 17 × 23?"}],
    reasoning_effort="high",
):
    delta = event.data.choices[0].delta.content
    if not delta:
        continue
    if isinstance(delta, str):            # answer phase
        if in_reasoning:
            print("\n--- end of reasoning ---")
            in_reasoning = False
        print(delta, end="", flush=True)
        continue
    for chunk in delta:                   # reasoning phase and transition
        if isinstance(chunk, ThinkChunk):
            if not in_reasoning:
                print("--- reasoning ---")
                in_reasoning = True
            for inner in chunk.thinking:
                if isinstance(inner, TextChunk):
                    print(inner.text, end="", flush=True)
        elif isinstance(chunk, TextChunk):
            if in_reasoning:
                print("\n--- end of reasoning ---")
                in_reasoning = False
            print(chunk.text, end="", flush=True)

Streamaus muuttaa kokemusta: sen sijaan, että odottaisit pitkän päättelyprosessin valmistumista jäätyneen näytön edessä, käyttäjä näkee mallin työskentelevän, tai ainakin aktiviteetti-indikaattorin, jos päätät piilottaa päättelyn.

Keskeiset asiat

  • content on merkkijono arvollaan none, lohkojen lista arvollaan high: käsittele aina molemmat
  • ThinkChunk.thinking on lista TextChunk-objekteja; lopullinen vastaus sijaitsee ylemmän tason TextChunk-objektissa
  • separate-funktio, joka palauttaa (päättely, vastaus), yksinkertaistaa muuta koodiasi
  • Streamauksessa: päättelylista, sekasiirtymä, sitten vastausmerkkijonot
  • Eskapoi sekä päättely että vastaus ennen niiden näyttämistä