Συνομιλίες Πολλαπλών Γύρων σε Python
Σε αυτήν τη σελίδα
Μνήμη που δεν είναι πραγματικά μνήμη
Σε αντίθεση με μια μηχανή αναζήτησης, ένα γλωσσικό μοντέλο ακολουθεί τη ροή μιας συνομιλίας: λαμβάνει υπόψη τι ειπώθηκε προηγουμένως και δομεί τις απαντήσεις του βάσει αυτού του συσσωρευμένου πλαισίου. Αυτό ονομάζεται συνομιλία πολλαπλών γύρων (multi-turn) και είναι αυτό που καθιστά δυνατές ελλειπτικές ερωτήσεις όπως «και με ορίσματα;».
Τεχνικά, ωστόσο, το μοντέλο δεν θυμάται τίποτα. Καμία κατάσταση δεν διατηρείται στον διακομιστή μεταξύ των κλήσεων. Με κάθε αίτημα, πρέπει να επαναστείλετε ολόκληρο το ιστορικό, το οποίο το μοντέλο διαβάζει από την αρχή μέχρι το τέλος πριν απαντήσει. Αυτός ο μηχανισμός εξηγεί δύο πράγματα στα οποία θα επανέλθουμε αργότερα: είστε αποκλειστικά υπεύθυνοι για τη διαχείριση της μνήμης και κάθε γύρος της συνομιλίας κοστίζει περισσότερο από τον προηγούμενο.
Οι Τρεις Ρόλοι που Δομούν το Ιστορικό
Κάθε μήνυμα στο ιστορικό φέρει έναν ρόλο που υποδεικνύει στο μοντέλο ποιος μιλάει. Ο ρόλος system ορίζει τη γενική συμπεριφορά: τοποθετείται πρώτος και επηρεάζει κάθε απάντηση που ακολουθεί.
{"role": "system", "content": "You are an expert assistant in French cuisine. Always respond in French using precise culinary terms."}
Ο ρόλος user μεταφέρει τα μηνύματα του χρήστη—δηλαδή, την ερώτηση ή την οδηγία που στάλθηκε:
{"role": "user", "content": "How do I make perfect puff pastry?"}
Τέλος, ο ρόλος assistant περιέχει τις προηγούμενες απαντήσεις του μοντέλου. Αυτά είναι τα μηνύματα που επανεισάγετε στο ιστορικό για να διατηρήσετε τη συνοχή. Το να τα ξεχνάτε ισοδυναμεί με το να διαγράφετε τη μνήμη της συνομιλίας σε κάθε γύρο.
{"role": "assistant", "content": "To make perfect puff pastry, start by..."}
Μια Πλήρης Συνομιλία, Γύρο με Γύρο
Ο παρακάτω κώδικας εφαρμόζει αυτή την αρχή: μια συνάρτηση που προσθέτει την ερώτηση στο ιστορικό, καλεί το μοντέλο και στη συνέχεια αποθηκεύει την απάντηση στη σωστή θέση πριν την επιστρέψει.
import os
from mistralai.client import Mistral
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
historique = [
{
"role": "system",
"content": "You are a teaching assistant specialized in Python programming. Respond concisely and include code examples."
}
]
def poser_question(question: str) -> str:
"""Sends a question and updates the history."""
historique.append({"role": "user", "content": question})
response = client.chat.complete(
model="mistral-small-latest",
messages=historique,
)
reponse_texte = response.choices[0].message.content
historique.append({"role": "assistant", "content": reponse_texte})
return reponse_texte
# Turn 1
print("Q: What is a decorator in Python?")
r1 = poser_question("What is a decorator in Python?")
print(f"R: {r1}\n")
# Turn 2 — the model knows the context
print("Q: Can you show me a concrete example?")
r2 = poser_question("Can you show me a concrete example?")
print(f"R: {r2}\n")
# Turn 3 — implicit reference to previous turns
print("Q: How do I use it with arguments?")
r3 = poser_question("How do I use it with arguments?")
print(f"R: {r3}\n")
Στον τρίτο γύρο, η ερώτηση δεν αναφέρει ξανά τη λέξη «decorator». Το μοντέλο εξακολουθεί να κατανοεί ότι το «χρησιμοποιήσω το» αναφέρεται σε αυτή την έννοια επειδή διαβάζει εκ νέου ολόκληρη την ανταλλαγή. Αφαιρέστε τη γραμμή που προσθέτει την απάντηση στο ιστορικό και εκτελέστε το ξανά: το μοντέλο θα ρωτήσει για τι πράγμα μιλάτε. Αυτή είναι η πιο γρήγορη απόδειξη ότι η συνέχεια δεν προέρχεται από το μοντέλο, αλλά από τον κώδικά σας.
Αποτροπή του Υπερβολικού Κόστους του Ιστορικού
Κάθε μοντέλο έχει ένα περιορισμένο παράθυρο πλαισίου (context window), μετρημένο σε tokens. Καθώς το ιστορικό μεγαλώνει, κάθε αίτημα γίνεται πιο ακριβό επειδή όλα μεταδίδονται εκ νέου. Μια συνομιλία τριάντα γύρων χρεώνει ουσιαστικά την αρχή της τριάντα φορές.
Η απλούστερη λύση είναι η περικοπή, διατηρώντας το μήνυμα συστήματος και τις τελευταίες N ανταλλαγές:
MAX_MESSAGES = 20
def ajouter_message(historique, role, content):
historique.append({"role": role, "content": content})
# Keep the system message + the last N messages
if len(historique) > MAX_MESSAGES + 1: # +1 for the system message
system_msg = historique[0]
historique = [system_msg] + historique[-(MAX_MESSAGES):]
return historique
Αυτή η προσέγγιση είναι φθηνή, αλλά είναι βίαιη: αυτό που ο χρήστης καθόρισε στον δεύτερο γύρο εξαφανίζεται για πάντα. Όταν η συνομιλία είναι μεγάλη και αυτό το παλαιότερο πλαίσιο έχει σημασία—για παράδειγμα, μια συνέντευξη συλλογής απαιτήσεων—συνοψίστε το αντί να το πετάξετε:
def resumer_historique(client, historique):
"""Summarizes old messages to free up context."""
texte_complet = "\n".join(
f"{m['role']}: {m['content']}"
for m in historique[1:-4] # Exclude system and the last 4 messages
)
resume = client.chat.complete(
model="mistral-small-latest",
messages=[
{"role": "user", "content": f"Summarize this conversation in 3-4 sentences:\n{texte_complet}"}
]
)
return [
historique[0], # System message
{"role": "assistant", "content": f"[Conversation Summary] {resume.choices[0].message.content}"},
] + historique[-4:] # The last 4 messages
Η ιδέα είναι να συμπιέσετε το μακρινό παρελθόν σε μερικές προτάσεις, διατηρώντας παράλληλα άθικτα τα τελευταία τέσσερα μηνύματα, καθώς αυτά μεταφέρουν το άμεσο πλαίσιο. Η σύνοψη καταναλώνει μία επιπλέον κλήση, αλλά αποδίδει πολλές φορές στις επόμενες στροφές.
Δημιουργία του Μηνύματος Συστήματος
Το μήνυμα συστήματος είναι το πιο ισχυρό και λιγότερο χρησιμοποιημένο εργαλείο σε αυτό το μάθημα. Πολλοί αρκούνται σε ένα γενικό «Είσαι ένας χρήσιμος βοηθός» που δεν προσφέρει τίποτα. Ένα καλό μήνυμα συστήματος δηλώνει επαληθεύσιμους περιορισμούς:
system_prompt = """You are a Corsen AI technical assistant.
Rules:
- Respond in French with a professional tone
- Provide code examples when relevant
- If you are unsure, say so rather than making things up
- Limit your responses to 200 words unless asked otherwise
Context: The user is working on a Python 3.12 project with FastAPI."""
Κάθε γραμμή εδώ παράγει ένα μετρήσιμο αποτέλεσμα: το όριο μήκους περιορίζει το κόστος, η πρόσκληση να αναγνωριστεί η αβεβαιότητα μειώνει τις παραισθήσεις και η αναφορά στο τεχνολογικό υπόβαθρο αποφεύγει τις γενικές, εκτός θέματος απαντήσεις. Συνοπτικό, ακριβές, σαφές—αυτό είναι ό,τι χρειάζεται να είναι.
Βασικά σημεία
- Το πλήρες ιστορικό επαναστέλλεται με κάθε αίτημα—το μοντέλο δεν «θυμάται» τίποτα
- Τρεις ρόλοι (
system,user,assistant) δομούν τη συνομιλία - Το μήνυμα
systemορίζει τη γενική συμπεριφορά—τοποθετείται πάντα πρώτο - Διαχειριστείτε το μέγεθος του πλαισίου περικόπτοντας ή συνοψίζοντας παλαιά μηνύματα
- Όσο μεγαλύτερο είναι το ιστορικό, τόσο περισσότερο κοστίζει κάθε αίτημα σε tokens