Többmenetes beszélgetések: a gondolkodás megőrzése az előzményekben
Ezen az oldalon
A leckét 2026. november 2-án írtuk át. Korábban a Magistral
prompt_modeparaméterét tárgyalta, amelyet ennél a modellnél eltávolítottak. Most egy olyan szabályra fókuszálunk, amelyet a jelenlegi dokumentáció kiemel: többmenetes beszélgetések során a gondolkodási folyamatnak az előzmények részét kell képeznie. Forrás: Reasoning — Multi-turn conversations.
A szabály: a teljes üzenet visszajátszása
A Chat Completions API használatakor neked kell elküldened a beszélgetés előzményeit minden egyes körben. Nagy a kísértés, hogy csak a válasz szövegét küldd vissza, mivel az rövidebb és olvashatóbb. A Mistral dokumentációja azonban egyértelmű: mindig játszd vissza az asszisztens teljes üzenetét, beleértve a gondolkodási töredékeket is. Ha eltávolítod a gondolkodási nyomokat az egyes körök között, az rontja a modell teljesítményét, hiszen a modellnek erre van szüksége a koherencia megőrzéséhez. A tokenek spórolása itt a minőség rovására megy.
Referenciakód
A legegyszerűbb megoldás, ha az SDK által visszaadott üzenetobjektumot változatlan formában hozzáadod az előzményekhez:
import os
from mistralai.client import Mistral
from mistralai.client.models import TextChunk, UserMessage
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"], timeout_ms=300_000)
messages = []
for question in ["What is 17 × 23?", "Now multiply that result by 3."]:
messages.append(UserMessage(content=question))
response = client.chat.complete(
model="mistral-large-4-0",
messages=messages,
reasoning_effort="high",
)
assistant_message = response.choices[0].message
# Megjelenítés: csak a válasz szövege
content = assistant_message.content
if isinstance(content, str):
print(content)
else:
print("".join(c.text for c in content or [] if isinstance(c, TextChunk)))
# Előzmények: teljes üzenet, gondolkodással együtt
messages.append(assistant_message)
A timeout_ms paraméter növeli a kliens várakozási idejét, ami akkor hasznos, ha a hosszú gondolkodási folyamat meghosszabbítja a válaszidőt. A lényeg az utolsó sorban van: nem egy csak a szövegből rekonstruált üzenet adsz hozzá, hanem magát az assistant_message objektumot.
A költség
A hivatalos példa szemlélteti a tokenekre gyakorolt hatást. Az első körben a kérés 25 bemeneti tokent tartalmaz: csupán a kérdést. A modell 187 tokennel válaszol, beleértve a gondolkodást is. A második körben a bemenet 221 tokenre nő: az első kérdés (25), az első kör teljes válasza a gondolkodással együtt (187), valamint az új kérdés (9). Az egyik kör kimeneti tokenjei a következő kör bemeneti tokenjeivé válnak, és pontosan ez teszi lehetővé, hogy a modell egyértelműen tudja, melyik „eredményre“ utal a felhasználó.
Hosszú beszélgetés során ez a mechanizmus azt eredményezi, hogy az előzmények menetről menetre nőnek. Ennek két gyakorlati következménye van: figyeld a usage.prompt_tokens értéket, amely a beszélgetés előrehaladtával nő, és tartsd szem előtt a modell kontextusablakának méretét (256 000 token a Small 4 esetén, egymillió a Large 4 esetén). Ha az előzmények túl nehézzé válnak, inkább indíts egy új beszélgetést az előző összefoglalójával, semmint hogy eltávolítsd a gondolkodási nyomokat.
Streamelés és a Conversations API
Streamelő módban a válasz töredékekben érkezik (3. lecke): az előzményekhez ezért neked kell összeállítanod egy teljes üzenetet, gondolkodással együtt, ami bonyolítja a kódot. Ha az alkalmazásod beszélgetés alapú, a Conversations API alternatívát kínál: az előzményeket szerveroldalon tartja karban, és a conversations.append segítségével folytathatod a párbeszédet anélkül, hogy újra elküldenéd a korábbi köröket (4. lecke).
A Magistral által generált előzmények
Ha a Magistral által generált beszélgetéseket őrzöd meg, vedd figyelembe, hogy formátumuk változott. A 25.07-es és 25.09-es verziók már különválasztották a gondolkodást thinking töredékekbe, ahogy az ma is történik. A 25.06-os verzió, az első kiadás, közvetlenül a válaszszövegbe helyezte a gondolkodást, a <think> és “ tagek között. Mielőtt ilyen előzményeket játszanál vissza a Small 4 vagy Large 4 modelleken, teszteld a folytatást néhány beszélgetésen: nincs garancia arra, hogy egy aktuális modell képes lesz kihasználni egy másik modell által eltérő formátumban írt gondolkodást.
Főbb megállapítások
- A Chat Completions esetén játszd vissza az asszisztens teljes üzenetét, beleértve a gondolkodást is
- A gondolkodási töredékek eltávolítása tokeneket spórol ugyan, de jelentősen rontja a minőséget
- Az egyik kör kimeneti tokenjei a következő kör bemeneti tokenjeivé válnak: figyeld a
prompt_tokensértéket - Streamelés esetén a Conversations API kiküszöböli az előzmények manuális összeállításának szükségességét
- A Magistral 25.06 előzményei keverték a gondolkodást és a választ a szövegben,
<think>tageket használva