Hoppa till huvudinnehåll
Svenska— Välj ett språk
Meny

Samtal över flera omgångar: behåll resonemanget i historiken

Lektion 7 av 12 Uppdaterad 2 november 2026 Utvecklare
På denna sida
  1. Regeln: spela upp hela meddelandet
  2. Referenskod
  3. Kostnaden
  4. Strömning och Conversations API
  5. Historik genererad av Magistral
  6. Viktiga punkter

Lektionen omskriven den 2 november 2026. Den behandlade tidigare Magistrels parameter prompt_mode, som togs bort tillsammans med den modellen. Den tar nu upp en regel som lyfts fram i den aktuella dokumentationen: i samtal över flera omgångar måste resonemanget finnas kvar i historiken. Källa: Reasoning — Multi-turn conversations.

Regeln: spela upp hela meddelandet

Med Chat Completions API är du ansvarig för att skicka konversationshistoriken vid varje omgång. Frestelsen är stor att bara inkludera svarstexten, som är kortare och mer lättläst. Mistral:s dokumentation är tydlig: spela alltid upp assistentens fullständiga meddelande, inklusive resonemangsfragment. Att ta bort resonemangsspåret från en omgång till nästa försämrar modellens prestanda, eftersom modellen förlitar sig på det för att behålla sammanhanget. Att spara tokens sker på bekostnad av kvaliteten.

Referenskod

Det enklaste tillvägagångssättet är att lägga till meddelandeobjektet som returneras av SDK:t i historiken exakt som det är:

import os
from mistralai.client import Mistral
from mistralai.client.models import TextChunk, UserMessage

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"], timeout_ms=300_000)
messages = []

for question in ["What is 17 × 23?", "Now multiply that result by 3."]:
    messages.append(UserMessage(content=question))

    response = client.chat.complete(
        model="mistral-large-4-0",
        messages=messages,
        reasoning_effort="high",
    )
    assistant_message = response.choices[0].message

    # Display: response text only
    content = assistant_message.content
    if isinstance(content, str):
        print(content)
    else:
        print("".join(c.text for c in content or [] if isinstance(c, TextChunk)))

    # History: full message, including reasoning
    messages.append(assistant_message)

Parametern timeout_ms ökar klientens väntetid, vilket är användbart när långt resonemang förlänger svarstiden. Det avgörande är den sista raden: du lägger inte till ett meddelande som rekonstruerats enbart från texten, utan assistant_message självt.

Kostnaden

Det officiella exemplet illustrerar påverkan på antalet tokens. Vid den första omgången innehåller begäran 25 input-tokens: bara frågan. Modellen svarar med 187 tokens, inklusive resonemang. Vid den andra omgången stiger input till 221 tokens: den första frågan (25), hela svaret från första omgången med dess resonemang (187) och den nya frågan (9). Output-tokens från en omgång blir input-tokens i nästa, och det är precis detta som gör att modellen entydigt vet vilket “resultat” användaren syftar på.

Över en lång konversation får denna mekanism historiken att växa vid varje omgång. Två praktiska konsekvenser: övervaka usage.prompt_tokens, som växer med konversationen, och håll modellens kontextfönster i åtanke (256 000 tokens för Small 4, en miljon för Large 4). Om historiken blir för tung, starta en ny konversation med en sammanfattning av den tidigare istället för att klippa bort resonemangsspår.

Strömning och Conversations API

I strömningsläge ankommer svaret i bitar (Lektion 3): för historiken måste du därför själv sätta ihop ett komplett meddelande, inklusive resonemang, vilket komplicerar koden. Om din applikation är konversationsbaserad erbjuder Conversations API ett alternativ: historiken underhålls på serversidan och du fortsätter utbytet med conversations.append utan att skicka tidigare omgångar på nytt (Lektion 4).

Historik genererad av Magistral

Om du bevarar konversationer genererade av Magistral, notera att deras format har varierat. Versionerna 25.07 och 25.09 separerade redan resonemanget i thinking-fragment, precis som de gör idag. Version 25.06, den första utgåvan, placerade resonemanget direkt i svarstexten, mellan taggarna <think> och “. Innan du spelar upp sådan historik på Small 4 eller Large 4, testa återupptagning på några konversationer: det finns ingen garanti för att en aktuell modell kommer att utnyttja resonemang som skrivits i ett annat format av en annan modell.

Viktiga punkter

  • I Chat Completions, spela upp assistentens fullständiga meddelande, inklusive resonemang
  • Att ta bort resonemangsfragment sparar tokens men försämrar kvaliteten avsevärt
  • Output-tokens från en omgång blir input-tokens i nästa: övervaka prompt_tokens
  • Vid strömning undviker Conversations API behovet av att manuellt sätta ihop historiken
  • Magistral 25.06-historik blandade resonemang och svar i texten med hjälp av <think>-taggar