Siirry pääsisältöön
Suomi— Valitse kieli
Valikko

Monivaiheiset keskustelut: päättelyn säilyttäminen historiassa

Oppitunti 7 / 12 Päivitetty 2. marraskuuta 2026 Kehittäjä
Tällä sivulla
  1. Sääntö: toista koko viesti
  2. Viitekoodi
  3. Kustannus
  4. Suoratoisto ja Conversations-rajapinta
  5. Magistralin tuottamat historiat
  6. Keskeiset asiat

Oppitunti kirjoitettu uudelleen 2. marraskuuta 2026. Aiemmin se käsitteli Magistral-mallin prompt_mode-parametria, joka poistettiin kyseisestä mallista. Nyt se käsittelee nykyisessä dokumentaatiossa korostettua sääntöä: monivaiheisissa keskusteluissa päättelyn on säilyttävä historiassa. Lähde: Reasoning — Multi-turn conversations.

Sääntö: toista koko viesti

Chat Completions -rajapinnassa sinun vastuullasi on lähettää keskusteluhistoria jokaisella vuorolla. Kiusaus sisällyttää vain vastauksen tekstiosa on suuri, sillä se on lyhyempi ja helpommin luettava. Mistralin dokumentaatio on kuitenkin yksiselitteinen: toista aina avustajan koko viesti, päättelyosiot mukaan lukien. Päättelyketjun poistaminen vuorolta toiselle heikentää mallin suorituskykyä, koska malli tarvitsee sitä johdonmukaisuuden ylläpitämiseen. Tokenien säästäminen tapahtuu laadun kustannuksella.

Viitekoodi

Yksinkertaisin lähestymistapa on lisätä SDK:n palauttama viestiobjekti historiaan sellaisenaan:

import os
from mistralai.client import Mistral
from mistralai.client.models import TextChunk, UserMessage

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"], timeout_ms=300_000)
messages = []

for question in ["What is 17 × 23?", "Now multiply that result by 3."]:
    messages.append(UserMessage(content=question))

    response = client.chat.complete(
        model="mistral-large-4-0",
        messages=messages,
        reasoning_effort="high",
    )
    assistant_message = response.choices[0].message

    # Näyttö: vain vastauksen tekstiosa
    content = assistant_message.content
    if isinstance(content, str):
        print(content)
    else:
        print("".join(c.text for c in content or [] if isinstance(c, TextChunk)))

    # Historia: koko viisti, päättely mukaan lukien
    messages.append(assistant_message)

Parametri timeout_ms pidentää asiakasohjelman odotusaikaa, mikä on hyödyllistä, kun pitkä päättelyprosessi kasvattaa vastausaikaa. Ratkaiseva kohta on viimeinen rivi: et lisää pelkästä tekstistä rekonstruoitua viestiä, vaan itse assistant_message-objektin.

Kustannus

Virallinen esimerkki havainnollistaa vaikutusta tokeneihin. Ensimmäisellä vuorolla pyyntö sisältää 25 syöttetokenia: pelkän kysymyksen. Malli vastaa 187 tokenilla, päättely mukaan lukien. Toisella vuorolla syöte kasvaa 221 tokeniin: ensimmäinen kysymys (25), koko ensimmäisen vuoron vastaus päättelyineen (187) ja uusi kysymys (9). Yhden vuoron tulostokenit muuttuvat seuraavan vuoron syöttetokeneiksi, ja juuri tämä mahdollistaa sen, että malli tietää yksiselitteisesti, mihin “tulokseen” käyttäjä viittaa.

Pitkän keskustelun aikana tämä mekanismi kasvattaa historiaa jokaisella vuorolla. Tästä seuraa kaksi käytännön seikkaa: seuraa arvoa usage.prompt_tokens, joka kasvaa keskustelun edetessä, ja pidä mielessäsi mallin konteksti-ikkunan koko (256 000 tokenia Small 4 -mallille, miljoona Large 4 -mallille). Jos historiasta tulee liian raskas, aloita uusi keskustelu tiivistämällä edellinen sen sijaan, että poistaisit päättelyjäljet.

Suoratoisto ja Conversations-rajapinta

Suoratoistotilassa vastaus saapuu osissa (oppitunti 3): historian osalta sinun on siis koottava koko viesti, päättely mukaan lukien, itse uudelleen, mikä monimutkaistaa koodia. Jos sovelluksesi on keskustelupohjainen, Conversations-rajapinta tarjoaa vaihtoehdon: historiaa ylläpidetään palvelinpuolella, ja jatkat vaihtoa komennolla conversations.append lähettämättä edellisiä vuoroja uudelleen (oppitunti 4).

Magistralin tuottamat historiat

Jos säilytät Magistralin tuottamia keskusteluja, huomioi, että niiden muoto on vaihdellut. Versiot 25.07 ja 25.09 erottelivat päättelyn jo thinking-osioihin, kuten nykymalleissa tehdään. Ensimmäinen julkaisu, versio 25.06, sijoitti päättelyn suoraan vastauksen tekstiin <think>- ja “ -tagien väliin. Ennen kuin toistat tällaisia historioita Small 4- tai Large 4 -malleilla, testaa jatkamista muutamalla keskustelulla: ei ole takeita siitä, että nykyinen malli osaisi hyödyntää toisen mallin eri muodossa kirjoittamaa päättelyä.

Keskeiset asiat

  • Chat Completionsissa toista avustajan koko viesti, päättelyosiot mukaan lukien
  • Päättelyosioiden poistaminen säästää tokeneita, mutta heikentää laatua merkittävästi
  • Yhden vuoron tulostokenit muuttuvat seuraavan vuoron syöttetokeneiksi: seuraa arvoa prompt_tokens
  • Suoratoistossa Conversations-rajapinta poistaa tarpeen koota historiaa manuaalisesti
  • Magistral 25.06 -historiat sekoittivat päättelyn ja vastauksen tekstiin käyttäen <think>-tageja