Konverzace s více obraty: udržování uvažování v historii
Na této stránce
Lekce přepsána 2. listopadu 2026. Dříve pokrývala parametr
prompt_modemodelu Magistral, který byl u tohoto modelu odstraněn. Nyní se zabývá pravidlem zdůrazněným v aktuální dokumentaci: v konverzacích s více obraty musí uvažování zůstat v historii. Zdroj: Reasoning — Multi-turn conversations.
Pravidlo: přehraj celou zprávu
U API Chat Completions jsi zodpovědný za odesílání historie konverzace při každém obratu. Silné je pokušení zahrnout pouze text odpovědi, který je kratší a čitelnější. Dokumentace společnosti Mistral je však explicitní: vždy přehraj celou zprávu asistenta, včetně fragmentů uvažování. Odstranění stopy uvažování z jednoho obratu do druhého snižuje výkon modelu, protože se na ni spoléhá pro udržení koherence. Úspora tokenů přichází na úkor kvality.
Referenční kód
Nejjednodušší přístup je přidat objekt zprávy vrácený SDK do historie přesně tak, jak je:
import os
from mistralai.client import Mistral
from mistralai.client.models import TextChunk, UserMessage
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"], timeout_ms=300_000)
messages = []
for question in ["What is 17 × 23?", "Now multiply that result by 3."]:
messages.append(UserMessage(content=question))
response = client.chat.complete(
model="mistral-large-4-0",
messages=messages,
reasoning_effort="high",
)
assistant_message = response.choices[0].message
# Zobrazení: pouze text odpovědi
content = assistant_message.content
if isinstance(content, str):
print(content)
else:
print("".join(c.text for c in content or [] if isinstance(c, TextChunk)))
# Historie: celá zpráva, včetně uvažování
messages.append(assistant_message)
Parametr timeout_ms zvyšuje dobu čekání klienta, což je užitečné, když dlouhé uvažování prodlužuje dobu odezvy. Klíčový je poslední řádek: nepřidáváš zprávu rekonstruovanou pouze z textu, ale přímo assistant_message.
Cena
Oficiální příklad ilustruje dopad na tokeny. V prvním obratu obsahuje požadavek 25 vstupních tokenů: pouze otázku. Model odpoví 187 tokeny, včetně uvažování. Ve druhém obratu vstup vzroste na 221 tokenů: první otázka (25), celá odpověď z prvního obratu s jejím uvažováním (187) a nová otázka (9). Výstupní tokeny z jednoho obratu se stávají vstupními tokeny v dalším a právě to umožňuje modelu jednoznačně vědět, na jaký „výsledek“ se uživatel odkazuje.
Při dlouhé konverzaci tento mechanismus způsobuje růst historie s každým obratem. Dva praktické důsledky: sleduj usage.prompt_tokens, které s konverzací roste, a měj na paměti kontextové okno modelu (256 000 tokenů pro Small 4, jeden milion pro Large 4). Pokud se historie stane příliš těžkou, zahaj novou konverzaci se shrnutím té předchozí, místo abys vystřihoval stopy uvažování.
Streamování a API Conversations
V režimu streamování přichází odpověď po částech (Lekce 3): pro historii si tedy musíš sám sestavit úplnou zprávu, včetně uvažování, což kód komplikuje. Pokud je tvá aplikace konverzační, nabízí API Conversations alternativu: historie je udržována na straně serveru a výměnu pokračuješ pomocí conversations.append bez opětovného odesílání předchozích obratů (Lekce 4).
Historie generované modelem Magistral
Pokud uchováváš konverzace generované modelem Magistral, vezmi na vědomí, že jejich formát se měnil. Verze 25.07 a 25.09 již oddělovaly uvažování do fragmentů thinking, stejně jako je tomu dnes. Verze 25.06, první vydání, umístila uvažování přímo do textu odpovědi, mezi značky <think> a “. Před opětovným přehráním takových historií na modelech Small 4 nebo Large 4 otestuj obnovení na několika konverzacích: neexistuje záruka, že současný model využije uvažování zapsané v jiném formátu jiným modelem.
Klíčové poznatky
- V Chat Completions přehraj celou zprávu asistenta, včetně uvažování
- Odstranění fragmentů uvažování šetří tokeny, ale výrazně snižuje kvalitu
- Výstupní tokeny z jednoho obratu se stávají vstupními tokeny v dalším: sleduj
prompt_tokens - Při streamování se API Conversations vyhne potřebě ručního sestavování historie
- Historie z Magistralu 25.06 mísily uvažování a odpověď v textu pomocí značek
<think>