Ugrás a főtartalomra
Magyar— Nyelv kiválasztása
Menü

Többmenetes beszélgetések: a gondolkodás megőrzése az előzményekben

7. lecke 12 közül Frissítve 2026. november 2. Fejlesztő
Ezen az oldalon
  1. A szabály: a teljes üzenet visszajátszása
  2. Referenciakód
  3. A költség
  4. Streamelés és a Conversations API
  5. A Magistral által generált előzmények
  6. Főbb megállapítások

A leckét 2026. november 2-án írtuk át. Korábban a Magistral prompt_mode paraméterét tárgyalta, amelyet ennél a modellnél eltávolítottak. Most egy olyan szabályra fókuszálunk, amelyet a jelenlegi dokumentáció kiemel: többmenetes beszélgetések során a gondolkodási folyamatnak az előzmények részét kell képeznie. Forrás: Reasoning — Multi-turn conversations.

A szabály: a teljes üzenet visszajátszása

A Chat Completions API használatakor neked kell elküldened a beszélgetés előzményeit minden egyes körben. Nagy a kísértés, hogy csak a válasz szövegét küldd vissza, mivel az rövidebb és olvashatóbb. A Mistral dokumentációja azonban egyértelmű: mindig játszd vissza az asszisztens teljes üzenetét, beleértve a gondolkodási töredékeket is. Ha eltávolítod a gondolkodási nyomokat az egyes körök között, az rontja a modell teljesítményét, hiszen a modellnek erre van szüksége a koherencia megőrzéséhez. A tokenek spórolása itt a minőség rovására megy.

Referenciakód

A legegyszerűbb megoldás, ha az SDK által visszaadott üzenetobjektumot változatlan formában hozzáadod az előzményekhez:

import os
from mistralai.client import Mistral
from mistralai.client.models import TextChunk, UserMessage

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"], timeout_ms=300_000)
messages = []

for question in ["What is 17 × 23?", "Now multiply that result by 3."]:
    messages.append(UserMessage(content=question))

    response = client.chat.complete(
        model="mistral-large-4-0",
        messages=messages,
        reasoning_effort="high",
    )
    assistant_message = response.choices[0].message

    # Megjelenítés: csak a válasz szövege
    content = assistant_message.content
    if isinstance(content, str):
        print(content)
    else:
        print("".join(c.text for c in content or [] if isinstance(c, TextChunk)))

    # Előzmények: teljes üzenet, gondolkodással együtt
    messages.append(assistant_message)

A timeout_ms paraméter növeli a kliens várakozási idejét, ami akkor hasznos, ha a hosszú gondolkodási folyamat meghosszabbítja a válaszidőt. A lényeg az utolsó sorban van: nem egy csak a szövegből rekonstruált üzenet adsz hozzá, hanem magát az assistant_message objektumot.

A költség

A hivatalos példa szemlélteti a tokenekre gyakorolt hatást. Az első körben a kérés 25 bemeneti tokent tartalmaz: csupán a kérdést. A modell 187 tokennel válaszol, beleértve a gondolkodást is. A második körben a bemenet 221 tokenre nő: az első kérdés (25), az első kör teljes válasza a gondolkodással együtt (187), valamint az új kérdés (9). Az egyik kör kimeneti tokenjei a következő kör bemeneti tokenjeivé válnak, és pontosan ez teszi lehetővé, hogy a modell egyértelműen tudja, melyik „eredményre“ utal a felhasználó.

Hosszú beszélgetés során ez a mechanizmus azt eredményezi, hogy az előzmények menetről menetre nőnek. Ennek két gyakorlati következménye van: figyeld a usage.prompt_tokens értéket, amely a beszélgetés előrehaladtával nő, és tartsd szem előtt a modell kontextusablakának méretét (256 000 token a Small 4 esetén, egymillió a Large 4 esetén). Ha az előzmények túl nehézzé válnak, inkább indíts egy új beszélgetést az előző összefoglalójával, semmint hogy eltávolítsd a gondolkodási nyomokat.

Streamelés és a Conversations API

Streamelő módban a válasz töredékekben érkezik (3. lecke): az előzményekhez ezért neked kell összeállítanod egy teljes üzenetet, gondolkodással együtt, ami bonyolítja a kódot. Ha az alkalmazásod beszélgetés alapú, a Conversations API alternatívát kínál: az előzményeket szerveroldalon tartja karban, és a conversations.append segítségével folytathatod a párbeszédet anélkül, hogy újra elküldenéd a korábbi köröket (4. lecke).

A Magistral által generált előzmények

Ha a Magistral által generált beszélgetéseket őrzöd meg, vedd figyelembe, hogy formátumuk változott. A 25.07-es és 25.09-es verziók már különválasztották a gondolkodást thinking töredékekbe, ahogy az ma is történik. A 25.06-os verzió, az első kiadás, közvetlenül a válaszszövegbe helyezte a gondolkodást, a <think> és “ tagek között. Mielőtt ilyen előzményeket játszanál vissza a Small 4 vagy Large 4 modelleken, teszteld a folytatást néhány beszélgetésen: nincs garancia arra, hogy egy aktuális modell képes lesz kihasználni egy másik modell által eltérő formátumban írt gondolkodást.

Főbb megállapítások

  • A Chat Completions esetén játszd vissza az asszisztens teljes üzenetét, beleértve a gondolkodást is
  • A gondolkodási töredékek eltávolítása tokeneket spórol ugyan, de jelentősen rontja a minőséget
  • Az egyik kör kimeneti tokenjei a következő kör bemeneti tokenjeivé válnak: figyeld a prompt_tokens értéket
  • Streamelés esetén a Conversations API kiküszöböli az előzmények manuális összeállításának szükségességét
  • A Magistral 25.06 előzményei keverték a gondolkodást és a választ a szövegben, <think> tageket használva