Rozmowy wieloturkowe: utrzymywanie rozumowania w historii
Na tej stronie
Lekcja przepisana 2 listopada 2026 r. Wcześniej obejmowała parametr
prompt_modemodelu Magistral, który został usunięty wraz z tym modelem. Obecnie odnosi się do zasady wyróżnionej w aktualnej dokumentacji: w rozmowach wieloturkowych rozumowanie musi pozostać w historii. Źródło: Reasoning — Multi-turn conversations.
Zasada: odtwarzaj pełną wiadomość
Korzystając z API Chat Completions, to Ty odpowiadasz za wysyłanie historii rozmowy przy każdym turze. Pokusa, by dołączyć tylko tekst odpowiedzi (który jest krótszy i bardziej czytelny), jest duża. Dokumentacja Mistral jest jednak wyraźna: zawsze odtwarzaj pełną wiadomość asystenta, łącznie z fragmentami rozumowania. Usunięcie śladu rozumowania z jednego tura na kolejny pogarsza wydajność modelu, ponieważ polega on na nim, aby zachować spójność. Oszczędność tokenów odbywa się kosztem jakości.
Kod referencyjny
Najprostszym podejściem jest dodanie obiektu wiadomości zwróconego przez SDK do historii dokładnie w takiej postaci, w jakiej został zwrócony:
import os
from mistralai.client import Mistral
from mistralai.client.models import TextChunk, UserMessage
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"], timeout_ms=300_000)
messages = []
for question in ["What is 17 × 23?", "Now multiply that result by 3."]:
messages.append(UserMessage(content=question))
response = client.chat.complete(
model="mistral-large-4-0",
messages=messages,
reasoning_effort="high",
)
assistant_message = response.choices[0].message
# Wyświetlanie: tylko tekst odpowiedzi
content = assistant_message.content
if isinstance(content, str):
print(content)
else:
print("".join(c.text for c in content or [] if isinstance(c, TextChunk)))
# Historia: pełna wiadomość, łącznie z rozumowaniem
messages.append(assistant_message)
Parametr timeout_ms zwiększa czas oczekiwania klienta, co jest przydatne, gdy długie rozumowanie wydłuża czas odpowiedzi. Kluczowy punkt znajduje się w ostatniej linii: nie dodajesz wiadomości zrekonstruowanej wyłącznie z tekstu, lecz samego obiektu assistant_message.
Koszt
Oficjalny przykład ilustruje wpływ na liczbę tokenów. W pierwszym turze żądanie zawiera 25 tokenów wejściowych: tylko pytanie. Model odpowiada 187 tokenami, włączając w to rozumowanie. W drugim turze liczba tokenów wejściowych rośnie do 221: pierwsze pytanie (25), pełna odpowiedź z pierwszego tura wraz z jej rozumowaniem (187) oraz nowe pytanie (9). Tokeny wyjściowe z jednego tura stają się tokenami wejściowymi w następnym i to właśnie pozwala modelowi jednoznacznie wiedzieć, do jakiego „wyniku“ odnosi się użytkownik.
W trakcie długiej rozmowy mechanizm ten powoduje wzrost historii z każdym turem. Wiąże się to z dwiema praktycznymi konsekwencjami: monitoruj usage.prompt_tokens, które rosną wraz z rozmową, i miej na uwadze okno kontekstowe modelu (256 000 tokenów dla Small 4, milion dla Large 4). Jeśli historia stanie się zbyt ciężka, rozpocznij nową rozmowę, podsumowując poprzednią, zamiast usuwać ślady rozumowania.
Strumieniowanie i API Conversations
W trybie strumieniowania odpowiedź przychodzi w fragmentach (Lekcja 3): w przypadku historii musisz więc samodzielnie złożyć pełną wiadomość, łącznie z rozumowaniem, co komplikuje kod. Jeśli Twoja aplikacja ma charakter konwersacyjny, API Conversations oferuje alternatywę: historia jest utrzymywana po stronie serwera, a wymianę kontynuujesz za pomocą conversations.append, bez konieczności ponownego wysyłania poprzednich turów (Lekcja 4).
Historie generowane przez Magistral
Jeśli zachowujesz rozmowy wygenerowane przez Magistral, pamiętaj, że ich format ulegał zmianom. Wersje 25.07 i 25.09 już oddzielały rozumowanie do fragmentów thinking, tak jak dzieje się to obecnie. Wersja 25.06, będąca pierwszym wydaniem, umieszczała rozumowanie bezpośrednio w tekście odpowiedzi, między znacznikami <think> a “. Przed odtworzeniem takich historii na modelach Small 4 lub Large 4 przetestuj wznowienie na kilku rozmowach: nie ma gwarancji, że obecny model wykorzysta rozumowanie zapisane w innym formacie przez inny model.
Kluczowe wnioski
- W Chat Completions odtwarzaj pełną wiadomość asystenta, łącznie z rozumowaniem
- Usunięcie fragmentów rozumowania oszczędza tokeny, ale znacznie pogarsza jakość
- Tokeny wyjściowe z jednego tura stają się tokenami wejściowymi w następnym: monitoruj
prompt_tokens - W trybie strumieniowania API Conversations eliminuje konieczność ręcznego składania historii
- Historie z Magistral 25.06 mieszały rozumowanie i odpowiedź w tekście, używając znaczników
<think>