Συμπίεση: Συμπύκνωση Μακρών Συνομιλιών
Σε αυτήν τη σελίδα
Το Πρόβλημα με τις Μακριές Συνομιλίες
Κάθε μήνυμα που προστίθεται σε μια συνομιλία αυξάνει τον αριθμό των tokens που στέλνονται στο API. Μια συνομιλία 50 γύρων μπορεί εύκολα να φτάσει τα 30.000 tokens εισόδου, εκτοξεύοντας τόσο τον χρόνο απόκρισης (latency) όσο και το κόστος. Το πρόβλημα είναι ύπουλο: ο πρώτος γύρος ενός βοηθού υποστήριξης κοστίζει μερικές εκατοντάδες tokens, ενώ ο τριακοστός κοστίζει several χιλιάδες, παρόλο που ο χρήστης θέτει ακριβώς τον ίδιο τύπο ερώτησης. Πληρώνετε όλο και περισσότερο για μια πανομοιότυπη υπηρεσία, και ο χρήστης περιμένει όλο και περισσότερο για μια απάντηση.
Η συμπίεση λύνει αυτό το πρόβλημα συμπυκνώνοντας το ιστορικό χωρίς απώλεια βασικών πληροφοριών. Περιλαμβάνει τη σύνοψη παλαιότερων ανταλλαγών για τη μείωση του αριθμού των tokens, διατηρώντας παράλληλα το απαραίτητο πλαίσιο. Αντί να στέλνετε ολόκληρο το ιστορικό, στέλνετε μια σύνοψη των περασμένων ανταλλαγών συν τα πρόσφατα μηνύματα. Το μοντέλο γνωρίζει ακόμα ότι το όνομα του πελάτη είναι Dupont, ότι υπάρχει μια αμφισβητούμενη παραγγελία και ότι έχετε ήδη προσφέρει επιστροφή χρημάτων, χωρίς να χρειάζεται να ξαναδιαβάσει τα σαράντα μηνύματα που καθιέρωσαν αυτά τα γεγονότα.
Ο Μηχανισμός
Η παρακάτω συνάρτηση εφαρμόζει αυτή τη λογική στην απλούστερη μορφή της: εκτιμά τον όγκο, δεν κάνει τίποτα μέχρι να ξεπεραστεί το όριο, και στη συνέχεια χωρίζει το ιστορικό σε δύο μέρη. Τα παλαιότερα μηνύματα πηγαίνουν στη σύνοψη· τα πιο πρόσφατα παραμένουν ως έχουν.
import openai
client = openai.OpenAI()
def compact_history(
messages: list[dict],
token_threshold: int = 10_000,
keep_recent: int = 6,
) -> list[dict]:
"""Συμπυκνώνει το ιστορικό όταν ξεπερνά το όριο."""
# Εκτίμηση αριθμού tokens (κατά προσέγγιση)
estimated_tokens = sum(len(m["content"]) // 4 for m in messages)
if estimated_tokens < token_threshold:
return messages # Δεν χρειάζεται συμπίεση
# Διαχωρισμός: παλιά μηνύματα vs πρόσφατα
old_messages = messages[:-keep_recent]
recent_messages = messages[-keep_recent:]
# Σύνοψη παλιών μηνυμάτων
old_text = "\n".join(
f"{m['role']}: {m['content']}" for m in old_messages
)
response = client.responses.create(
model="gpt-5.6-terra",
input=(
"Summarize this conversation concisely. "
"Keep key factual information, decisions made, "
"and the context needed to understand what follows.\n\n"
f"{old_text}"
),
max_output_tokens=500,
)
# Αναδόμηση συμπυκνωμένου ιστορικού
summary_message = {
"role": "system",
"content": f"Summary of previous conversation:\n{response.output_text}",
}
return [summary_message] + recent_messages
Δύο λεπτομέρειες αξίζουν την προσοχή σας. Το prompt της σύνοψης ζητά ρητά τις αποφάσεις που ελήφθησαν, επειδή μια σύνοψη που διατηρεί μόνο τα θέματα κάνει το μοντέλο να χάνει τη μνήμη των δικών του δεσμεύσεων. Και το max_output_tokens=500 θέτει ένα ανώτατο όριο στη σύνοψη: χωρίς αυτό το όριο, η σύνοψη μεγαλώνει με κάθε συμπίεση, και καταλήγετε ακριβώς στο πρόβλημα που προσπαθούσατε να εξαλείψετε.
Δύο Στρατηγικές που Πρέπει να Γνωρίζετε
Κινούμενο Παράθυρο με Σύνοψη
Η παρακάτω κλάση εκβιομηχανίζει την αρχή. Διατηρεί μια ενιαία σύνοψη την οποία ξαναγράφει σε κάθε συμπίεση ενσωματώνοντας νέες ανταλλαγές, διατηρώντας παράλληλα ένα παράθυρο ακατέργαστων μηνυμάτων. Το πλαίσιο που στέλνεται στο API αποτελείται επομένως πάντα από τρία μπλοκ: το system prompt, τη σωρευτική σύνοψη και το πρόσφατο παράθυρο.
class CompactedConversation:
"""Διαχειρίζεται μια συνομιλία με αυτόματη συμπίεση."""
def __init__(
self,
system_prompt: str,
compaction_threshold: int = 8_000,
window_size: int = 8,
):
self.system_prompt = system_prompt
self.threshold = compaction_threshold
self.window_size = window_size
self.summary: str | None = None
self.messages: list[dict] = []
def build_context(self) -> list[dict]:
"""Δημιουργεί το πλαίσιο για αποστολή στο API."""
context = [{"role": "system", "content": self.system_prompt}]
if self.summary:
context.append({
"role": "system",
"content": f"Previous context: {self.summary}",
})
context.extend(self.messages[-self.window_size:])
return context
def add_message(self, role: str, content: str):
self.messages.append({"role": role, "content": content})
self._check_compaction()
def _check_compaction(self):
tokens = sum(len(m["content"]) // 4 for m in self.messages)
if tokens > self.threshold:
self._compact()
def _compact(self):
old_messages = self.messages[:-self.window_size]
if not old_messages:
return
text = "\n".join(
f"{m['role']}: {m['content']}" for m in old_messages
)
existing_context = f"Existing summary: {self.summary}\n\n" if self.summary else ""
response = client.responses.create(
model="gpt-5.6-terra",
input=(
f"{existing_context}"
f"New exchanges to integrate into the summary:\n{text}\n\n"
"Produce an updated, concise, and factual summary."
),
max_output_tokens=400,
)
self.summary = response.output_text
self.messages = self.messages[-self.window_size:]
Σημειώστε ότι η _compact επανεισάγει την υπάρχουσα σύνοψη στο prompt πριν από τις νέες ανταλλαγές. Αυτό αποτρέπει τη σταδιακή αμνησία: χωρίς αυτή την επανεισαγωγή, κάθε συμπίεση θα διέγραφε όλα όσα είχε διατηρήσει η προηγούμενη.
Επιλεκτική Συμπίεση
Η σύνοψη είναι καταστρεπτική και ορισμένο περιεχόμενο δεν επιβιώνει της διατύπωσης με άλλα λόγια. Ένα απόσπασμα κώδικα, μια απόκριση JSON API ή ένας πίνακας αριθμών χάνουν τη χρησιμότητά τους μόλις παραφραστούν. Η επιλεκτική συμπίεση therefore ταξινομεί τα παλιά μηνύματα πριν από τη σύνοψη: εκείνα που περιέχουν κώδικα ή δομημένα δεδομένα περνούν άθικτα, ενώ συμπιέζεται μόνο το conversational κείμενο.
def selective_compaction(
messages: list[dict],
keep_recent: int = 6,
) -> list[dict]:
"""Συμπυκνώνει διατηρώντας άθικτα τα δομημένα μηνύματα."""
old_messages = messages[:-keep_recent]
recent_messages = messages[-keep_recent:]
to_summarize = []
to_keep = []
for msg in old_messages:
content = msg["content"]
# Διατήρηση μηνυμάτων που περιέχουν κώδικα ή δεδομένα
if "```" in content or "{" in content:
to_keep.append(msg)
else:
to_summarize.append(msg)
# Σύνοψη μόνο του conversational κειμένου
summary = ""
if to_summarize:
text = "\n".join(f"{m['role']}: {m['content']}" for m in to_summarize)
response = client.responses.create(
model="gpt-5.6-terra",
input=f"Summarize these exchanges in 3 sentences:\n{text}",
max_output_tokens=200,
)
summary = response.output_text
result = []
if summary:
result.append({
"role": "system",
"content": f"Summary of exchanges: {summary}",
})
result.extend(to_keep)
result.extend(recent_messages)
return result
Το κριτήριο ταξινόμησης που χρησιμοποιείται εδώ—η παρουσία τριών backticks ή μιας άγκιστρου—είναι σκόπιμα πρωτόγονο. Προσαρμόστε το σε αυτό που παράγουν πραγματικά τα εργαλεία σας: για έναν βοηθό που διαχειρίζεται αναφορές υποθέσεων, μπορεί να θέλετε να διατηρήσετε οποιοδήποτε μήνυμα περιέχει ένα ID πελάτη.
Επαλήθευση ότι η Συμπίεση Αξίζει τον Κόπο
Μια κακώς βαθμονομημένη συμπίεση κοστίζει μια επιπλέον κλήση API χωρίς αισθητό όφελος, ή συμπιέζει τόσο επιθετικά ώστε το μοντέλο χάνει τη ροή και κάνει ερωτήσεις που έχουν ήδη λυθεί. Επομένως, μετρήστε τον λόγο πριν ορίσετε τα τελικά σας όρια, χρησιμοποιώντας ένα δείγμα πραγματικών συνομιλιών.
def compaction_ratio(
before: list[dict],
after: list[dict],
) -> dict:
tokens_before = sum(len(m["content"]) // 4 for m in before)
tokens_after = sum(len(m["content"]) // 4 for m in after)
reduction = 1 - (tokens_after / tokens_before) if tokens_before else 0
return {
"tokens_before": tokens_before,
"tokens_after": tokens_after,
"reduction": f"{reduction:.0%}",
"messages_before": len(before),
"messages_after": len(after),
}
Πάρτε μια δωδεκάδα μεταγραφών από το περιβάλλον παραγωγής σας, περάστε τες μέσω συμπίεσης και διαβάστε τις παραγόμενες συνόψεις: αν δεν μπορείτε να συνεχίσετε τη συνομιλία βασισμένοι μόνο στη σύνοψη, το όριό σας είναι πολύ χαμηλό ή το prompt της σύνοψης πολύ αόριστο.
Βασικά σημεία
- Η συμπίεση μειώνει τα tokens συνοψίζοντας παλαιότερα μηνύματα
- Να διατηρείτε πάντα τα πιο πρόσφατα μηνύματα άθικτα (κινούμενο παράθυρο)
- Να διατηρείτε μηνύματα που περιέχουν κώδικα ή δομημένα δεδομένα
- Να επανεισάγετε την υπάρχουσα σύνοψη σε κάθε νέα συμπίεση για να αποφύγετε τη σταδιακή αμνησία
- Να μετράτε τον λόγο συμπίεσης για να βαθμονομήσετε τα όριά σας