Συνομιλίες πολλαπλών γύρων: διατήρηση του συλλογισμού στο ιστορικό
Σε αυτήν τη σελίδα
Μάθημα ξαναγραμμένο στις 2 Νοεμβρίου 2026. Προηγουμένως κάλυπτε την παράμετρο
prompt_modeτου Magistral, η οποία καταργήθηκε με αυτό το μοντέλο. Τώρα πραγματεύεται έναν κανόνα που επισημαίνεται στην τρέχουσα τεκμηρίωση: στις συνομιλίες πολλαπλών γύρων, ο συλλογισμός πρέπει να παραμένει στο ιστορικό. Πηγή: Reasoning — Multi-turn conversations.
Ο κανόνας: επαναλαμβάνετε το πλήρες μήνυμα
Με το Chat Completions API, εσείς είστε υπεύθυνοι για την αποστολή του ιστορικού της συνομιλίας σε κάθε γύρο. Ο πειρασμός είναι μεγάλος να συμπεριλάβετε μόνο το κείμενο της απάντησης, το οποίο είναι συντομότερο και πιο ευανάγνωστο. Η τεκμηρίωση της Mistral είναι ρητή: επαναλαμβάνετε πάντα το πλήρες μήνυμα του βοηθού, συμπεριλαμβανομένων των τμημάτων συλλογισμού. Η αφαίρεση του ίχνους συλλογισμού από τον έναν γύρο στον επόμενο υποβαθμίζει την απόδοση του μοντέλου, καθώς το μοντέλο βασίζεται σε αυτό για να διατηρήσει τη συνοχή. Η εξοικονόμηση tokens γίνεται εις βάρος της ποιότητας.
Κώδικας αναφοράς
Η απλούστερη προσέγγιση είναι να προσθέσετε το αντικείμενο μηνύματος που επιστρέφεται από το SDK στο ιστορικό ακριβώς ως έχει:
import os
from mistralai.client import Mistral
from mistralai.client.models import TextChunk, UserMessage
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"], timeout_ms=300_000)
messages = []
for question in ["What is 17 × 23?", "Now multiply that result by 3."]:
messages.append(UserMessage(content=question))
response = client.chat.complete(
model="mistral-large-4-0",
messages=messages,
reasoning_effort="high",
)
assistant_message = response.choices[0].message
# Εμφάνιση: μόνο το κείμενο της απάντησης
content = assistant_message.content
if isinstance(content, str):
print(content)
else:
print("".join(c.text for c in content or [] if isinstance(c, TextChunk)))
# Ιστορικό: πλήρες μήνυμα, συμπεριλαμβανομένου του συλλογισμού
messages.append(assistant_message)
Η παράμετρος timeout_ms αυξάνει τον χρόνο αναμονής του πελάτη, κάτι που είναι χρήσιμο όταν ο εκτενής συλλογισμός παρατείνει τον χρόνο απόκρισης. Το κρίσιμο σημείο είναι η τελευταία γραμμή: δεν προσθέτετε ένα μήνυμα ανασυγκροτημένο μόνο από το κείμενο, αλλά το ίδιο το assistant_message.
Το κόστος
Το επίσημο παράδειγμα απεικονίζει τον αντίκτυπο στα tokens. Στον πρώτο γύρο, το αίτημα περιέχει 25 tokens εισόδου: μόνο την ερώτηση. Το μοντέλο απαντά με 187 tokens, συμπεριλαμβανομένου του συλλογισμού. Στον δεύτερο γύρο, η είσοδος αυξάνεται στα 221 tokens: η πρώτη ερώτηση (25), η πλήρης απάντηση του πρώτου γύρου με τον συλλογισμό της (187) και η νέα ερώτηση (9). Τα tokens εξόδου από τον έναν γύρο γίνονται tokens εισόδου στον επόμενο, και αυτό ακριβώς επιτρέπει στο μοντέλο να γνωρίζει χωρίς ασάφεια σε ποιο «αποτέλεσμα» αναφέρεται ο χρήστης.
Σε μια μακρά συνομιλία, αυτός ο μηχανισμός προκαλεί την αύξηση του ιστορικού με κάθε γύρο. Δύο πρακτικές συνέπειες: παρακολουθείτε το usage.prompt_tokens, το οποίο αυξάνεται με την συνομιλία, και έχετε υπόψη σας το παράθυρο συμφραζομένων του μοντέλου (256.000 tokens για το Small 4, ένα εκατομμύριο για το Large 4). Αν το ιστορικό γίνει πολύ βαρύ, ξεκινήστε μια νέα συνομιλία με μια σύνοψη της προηγούμενης, αντί να αφαιρέσετε τα ίχνη συλλογισμού.
Ροή δεδομένων (Streaming) και το Conversations API
Σε λειτουργία ροής δεδομένων (streaming), η απάντηση φτάνει σε τμήματα (Μάθημα 3): για το ιστορικό, πρέπει επομένως να ανασυγκροτήσετε εσείς ένα πλήρες μήνυμα, συμπεριλαμβανομένου του συλλογισμού, κάτι που περιπλέκει τον κώδικα. Αν η εφαρμογή σας είναι συνομιλιακή, το Conversations API προσφέρει μια εναλλακτική: το ιστορικό διατηρείται στην πλευρά του διακομιστή και εσείς συνεχίζετε την ανταλλαγή με το conversations.append χωρίς να ξαναστείλετε τους προηγούμενους γύρους (Μάθημα 4).
Ιστορικά που δημιουργήθηκαν από το Magistral
Αν διατηρείτε συνομιλίες που δημιουργήθηκαν από το Magistral, λάβετε υπόψη ότι η μορφή τους έχει variάρει. Οι εκδόσεις 25.07 και 25.09 ήδη διαχώριζαν τον συλλογισμό σε τμήματα thinking, όπως γίνεται και σήμερα. Η έκδοση 25.06, η πρώτη κυκλοφορία, τοποθετούσε τον συλλογισμό απευθείας στο κείμενο της απάντησης, μεταξύ των ετικετών <think> και “. Πριν επαναλάβετε τέτοια ιστορικά στο Small 4 ή στο Large 4, δοκιμάστε τη συνέχιση σε μερικές συνομιλίες: δεν υπάρχει εγγύηση ότι ένα τρέχον μοντέλο θα αξιοποιήσει τον συλλογισμό που γράφτηκε σε διαφορετική μορφή από άλλο μοντέλο.
Βασικά σημεία
- Στο Chat Completions, επαναλαμβάνετε το πλήρες μήνυμα του βοηθού, συμπεριλαμβανομένου του συλλογισμού
- Η αφαίρεση των τμημάτων συλλογισμού εξοικονομεί tokens αλλά υποβαθμίζει σημαντικά την ποιότητα
- Τα tokens εξόδου από τον έναν γύρο γίνονται tokens εισόδου στον επόμενο: παρακολουθείτε το
prompt_tokens - Στη ροή δεδομένων (streaming), το Conversations API αποφεύγει την ανάγκη χειροκίνητης ανασυγκρότησης του ιστορικού
- Τα ιστορικά του Magistral 25.06 ανάμειγνυαν τον συλλογισμό και την απάντηση στο κείμενο, χρησιμοποιώντας ετικέτες
<think>