Премини към основното съдържание
Български— Изберете език
Меню

Многократни разговори: запазване на разсъжденията в историята

Урок 7 от 12 Обновен 2 ноември 2026 г. Програмист
На тази страница
  1. Правилото: възпроизвеждане на пълното съобщение
  2. Референтен код
  3. Цената
  4. Потоково предаване и API за разговори
  5. История, генерирана от Magistral
  6. Ключови изводи

Урокът е пренаписан на 2 ноември 2026 г. Преди това той обхващаше параметъра prompt_mode на Magistral, който беше премахнат за този модел. Сега той разглежда правило, подчертано в текущата документация: при многократни разговори разсъжденията трябва да останат в историята. Източник: Reasoning — Multi-turn conversations.

Правилото: възпроизвеждане на пълното съобщение

Когато използвате API за Chat Completions, Вие сте отговорни за изпращането на историята на разговора при всяка стъпка. Изкушението е голямо да включите само текстовия отговор, който е по-кратък и по-четим. Документацията на Mistral е категорична: винаги възпроизвеждайте пълното съобщение на асистента, включително фрагментите с разсъждения. Премахването на следа от разсъжденията от една стъпка към следващата влошава производителността на модела, тъй като той разчита на нея, за да запази кохерентност. Пестенето на токени става за сметка на качеството.

Референтен код

Най-простият подход е да добавите обекта със съобщението, върнат от SDK, към историята точно такъв, какъвто е:

import os
from mistralai.client import Mistral
from mistralai.client.models import TextChunk, UserMessage

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"], timeout_ms=300_000)
messages = []

for question in ["What is 17 × 23?", "Now multiply that result by 3."]:
    messages.append(UserMessage(content=question))

    response = client.chat.complete(
        model="mistral-large-4-0",
        messages=messages,
        reasoning_effort="high",
    )
    assistant_message = response.choices[0].message

    # Display: response text only
    content = assistant_message.content
    if isinstance(content, str):
        print(content)
    else:
        print("".join(c.text for c in content or [] if isinstance(c, TextChunk)))

    # History: full message, including reasoning
    messages.append(assistant_message)

Параметърът timeout_ms увеличава времето за изчакване на клиента, което е полезно, когато продължителните разсъждения удължават времето за отговор. Критичният момент е последният ред: Вие не добавяте съобщение, реконструирано само от текста, а самото assistant_message.

Цената

Официалният пример илюстрира въздействието върху токените. При първата стъпка заявката съдържа 25 входни токена: само въпросът. Моделът отговаря със 187 токена, включително разсъжденията. При втората стъпка входът нараства до 221 токена: първият въпрос (25), пълният отговор от първата стъпка с неговите разсъждения (187) и новият въпрос (9). Изходните токени от една стъпка се превръщат във входни токени за следващата и точно това позволява на модела да знае еднозначно към кой „резултат“ се отнася потребителят.

При продължителен разговор този механизъм кара историята да расте с всяка стъпка. Това има две практически последствия: следете usage.prompt_tokens, който нараства с разговора, и имайте предвид контекстния прозорец на модела (256 000 токена за Small 4, един милион за Large 4). Ако историята стане твърде тежка, започнете нов разговор с обобщение на предишния, вместо да премахвате следите от разсъжденията.

Потоково предаване и API за разговори

В режим на потоково предаване отговорът пристига на части (Урок 3): за историята следователно трябва сами да сглобите пълно съобщение, включително разсъжденията, което усложнява кода. Ако Вашето приложение е конversationално, API за разговори (Conversations API) предлага алтернатива: историята се поддържа от страна на сървъра и Вие продължавате обмена с conversations.append, без да изпращате отново предишните стъпки (Урок 4).

История, генерирана от Magistral

Ако запазвате разговори, генерирани от Magistral, имайте предвид, че техният формат е варирал. Версии 25.07 и 25.09 вече разделяха разсъжденията на фрагменти thinking, както е и днес. Версия 25.06, първото издание, поставяше разсъжденията директно в текста на отговора, между таговете <think> и “. Преди да възпроизведете такива истории върху Small 4 или Large 4, тествайте възобновяването на няколко разговора: няма гаранция, че текущ модел ще използва разсъждения, написани в различен формат от друг модел.

Ключови изводи

  • При Chat Completions възпроизвеждайте пълното съобщение на асистента, включително разсъжденията
  • Премахването на фрагменти с разсъждения пести токени, но значително влошава качеството
  • Изходните токени от една стъпка се превръщат във входни токени за следващата: следете prompt_tokens
  • При потоково предаване API за разговори избягва необходимостта от ръчно сглобяване на историята
  • Историите от Magistral 25.06 смесваха разсъжденията и отговора в текста, използвайки тагове <think>