Στρατηγικές πλαισίου για πράκτορες
Σε αυτήν τη σελίδα
Η πρόκληση του πλαισίου για τους πράκτορες
Ένας αυτόνομος πράκτορας αλυσιδώνει δεκάδες κλήσεις API: συλλογίζεται, χρησιμοποιεί εργαλεία, διαβάζει αποτελέσματα και επαναλαμβάνει τη διαδικασία. Σε κάθε βήμα, το πλαίσιο μεγαλώνει. Η διαφορά από μια συνηθισμένη συνομιλία είναι ότι αυτή η αύξηση δεν προέρχεται από τον χρήστη, αλλά από τον ίδιο τον πράκτορα: ένα ερώτημα SQL που επιστρέφει τριακόσιες γραμμές, μια ολόκληρη ιστοσελίδα που ανακτήθηκε ή ένα αρχείο καταγραφής που διαβάστηκε πλήρως. Χωρίς στρατηγική διαχείρισης, ο πράκτορας χτυπάει το όριο του πλαισίου μέσα σε λίγες επαναλήψεις, συχνά πριν ολοκληρώσει την εργασία που του αναθέσατε.
Ο σχεδιασμός ενός πράκτορα που διαχειρίζεται αποτελεσματικά τη μνήμη του ανάγεται λοιπόν στην απάντηση τριών ερωτημάτων: τι πρέπει να παραμείνει άθικτο, τι μπορεί να συνοψιστεί και τι δεν έπρεπε ποτέ να έχει εισέλθει στο πλαίσιο εξαρχής. Θα τις εξετάσουμε με αυτή τη σειρά.
Μια μνήμη τριών επιπέδων
Η δομή που χρησιμοποιούμε βασίζεται στην κλασική διάκριση μεταξύ βραχυπρόθεσμης μνήμης (working memory), επεισοδιακής μνήμης (episodic memory) και σημασιολογικής μνήμης (semantic memory). Η βραχυπρόθεσμη μνήμη κρατά τις πιο πρόσφατες ενέργειες στην ακατέργαστη μορφή τους, επειδή ο πράκτορας τις χρειάζεται ακριβώς όπως έχουν για να αποφασίσει τι θα κάνει στη συνέχεια. Η επεισοδιακή μνήμη διατηρεί συνοψίσεις περασμένων βημάτων: ο πράκτορας γνωρίζει ότι διερεύνησε μια συγκεκριμένη κατεύθυνση και τι απέφερε αυτή, χωρίς να ξαναδιαβάσει τις λεπτομέρειες. Τέλος, η σημασιολογική μνήμη συσσωρεύει γεγονότα που έχουν καθοριστεί οριστικά—το αναγνωριστικό πελάτη, την έκδοση του σχήματος βάσης δεδομένων, τον περιορισμό του προϋπολογισμού—τα οποία δεν πρέπει ποτέ να χαθούν μέσα σε μια σύνοψη.
from dataclasses import dataclass, field
@dataclass
class AgentMemory:
"""Three-level memory system for an agent."""
# Level 1: working memory (current context)
working: list[dict] = field(default_factory=list)
# Level 2: episodic memory (summaries of past steps)
episodes: list[str] = field(default_factory=list)
# Level 3: semantic memory (permanent facts)
facts: list[str] = field(default_factory=list)
max_tokens_working: int = 20_000
max_episodes: int = 10
def add_action(self, action: str, result: str):
"""Adds an action to working memory."""
self.working.append({
"action": action,
"result": result[:2000], # Truncate long results
})
self._check_compaction()
def add_fact(self, fact: str):
"""Adds a permanent fact."""
if fact not in self.facts:
self.facts.append(fact)
def _check_compaction(self):
tokens = sum(
len(str(e)) // 4 for e in self.working
)
if tokens > self.max_tokens_working:
self._compact()
def _compact(self):
"""Compacts working memory into an episode."""
import openai
client = openai.OpenAI()
text = "\n".join(
f"Action: {a['action']}\nResult: {a['result']}"
for a in self.working[:-2]
)
response = client.responses.create(
model="gpt-5.6-terra",
input=(
"Summarize these agent actions in 3-5 key points. "
"Keep important facts, results, and decisions.\n\n"
f"{text}"
),
max_output_tokens=300,
)
self.episodes.append(response.output_text)
self.working = self.working[-2:] # Keep the last 2 actions
# Limit the number of episodes
if len(self.episodes) > self.max_episodes:
self.episodes = self.episodes[-self.max_episodes:]
def build_context(self) -> str:
"""Builds the full context for the next call."""
parts = []
if self.facts:
parts.append(
"Established facts:\n" + "\n".join(f"- {f}" for f in self.facts)
)
if self.episodes:
parts.append(
"Summarized history:\n" + "\n---\n".join(self.episodes)
)
if self.working:
parts.append(
"Recent actions:\n" + "\n".join(
f"- {a['action']} → {a['result'][:500]}"
for a in self.working
)
)
return "\n\n".join(parts)
Δύο παράμετροι αξίζουν συζήτηση πριν τις αντιγράψετε ως έχουν. Η περικοπή 2.000 χαρακτήρων στην add_action προστατεύει από verbose εργαλεία, αλλά κόβει τυφλά: αν τα εργαλεία σας επιστρέφουν JSON, θα καταλήξετε με ένα μη έγκυρο αντικείμενο στη μέση του πλαισίου σας. Και το max_episodes: 10 επιβάλλει μια οριοθετημένη αμνησία—στην ενδέκατη σύνοψη, η πρώτη εξαφανίζεται. Για έναν πράκτορα που εκτελείται για μεγάλο χρονικό διάστημα, προάγετε σημαντικά γεγονότα στα facts πριν πέσουν έξω από το επεισοδιακό παράθυρο, διαφορετικά θα τα χάσετε οριστικά.
Ημερώστε τα αποτελέσματα των εργαλείων
Τα εργαλεία συχνά επιστρέφουν ογκώδη αποτελέσματα: ιστοσελίδες, αποτελέσματα SQL, περιεχόμενα αρχείων. Αυτή είναι μακράν η κύρια αιτία κορεσμού του πλαισίου για έναν πράκτορα, και είναι επίσης η πιο εύκολη να διορθωθεί, καθώς το χειρίζεστε κατά την εισαγωγή και όχι εκ των υστέρων.
Η συνάρτηση παρακάτω προσφέρει τρεις στρατηγικές περικοπής. Η λειτουργία start ταιριάζει σε έγγραφα όπου τα ουσιώδη βρίσκονται στην αρχή, όπως ένα άρθρο ή μια αναφορά. Η λειτουργία start_end λειτουργεί όταν το τέλος φέρει τις αποφασιστικές πληροφορίες: ένα ίχνος εκτέλεσης όπου το σφάλμα εμφανίζεται τελευταίο, ένα αρχείο καταγραφής ή μια αποκρινόμενη σελιδοποίηση όπου το σύνολο εμφανίζεται στο τέλος. Η λειτουργία summary κοστίζει μια επιπλέον κλήση API, κάτι που δικαιολογείται μόνο για μεγάλο περιεχόμενο που είναι πραγματικά χρήσιμο για την υπόλοιπη συλλογιστική.
def truncate_tool_result(
result: str,
max_tokens: int = 2000,
strategy: str = "start_end",
) -> str:
"""Truncates a tool result while preserving key information."""
estimated_tokens = len(result) // 4
if estimated_tokens <= max_tokens:
return result
max_chars = max_tokens * 4
match strategy:
case "start":
return result[:max_chars] + "\n[... truncated]"
case "start_end":
half = max_chars // 2
return (
result[:half]
+ "\n[... middle truncated ...]\n"
+ result[-half:]
)
case "summary":
import openai
client = openai.OpenAI()
response = client.responses.create(
model="gpt-5.6-terra",
input=f"Summarize this data keeping the essentials:\n{result}",
max_output_tokens=max_tokens,
)
return response.output_text
return result[:max_chars]
Τα αποτελέσματα σε μορφή πίνακα απαιτούν ειδικό χειρισμό. Το κόψιμο ενός πίνακα SQL στη μέση αφαιρεί την κεφαλίδα ή παραμορφώνει την αίσθηση του όγκου: ο πράκτορας βλέπει είκοσι γραμμές και συμπεραίνει ότι ο πίνακας περιέχει μόνο είκοσι. Το φίλτρο παρακάτω διατηρεί την κεφαλίδα, ένα δείγμα από την αρχή και το τέλος, και—αυτό είναι το κρίσιμο σημείο—δηλώνει ρητά τον αριθμό των παραλειφθέντων γραμμών και το σύνολο. Ο πράκτορας γνωρίζει τότε ότι κοιτάζει ένα απόσπασμα και μπορεί να αποφασίσει να εκτελέσει ένα ερώτημα συνάθροισης αντί να συλλογιστεί βάσει ενός δείγματος.
def filter_sql_result(result: str, question: str) -> str:
"""Filters a SQL result to keep only what's relevant."""
lines = result.strip().split("\n")
if len(lines) <= 20:
return result
# Keep the header and first/last lines
header = lines[0]
first_lines = lines[1:6]
last_lines = lines[-5:]
return (
f"{header}\n"
+ "\n".join(first_lines)
+ f"\n[... {len(lines) - 11} lines omitted ...]\n"
+ "\n".join(last_lines)
+ f"\n\nTotal: {len(lines) - 1} rows"
)
Όταν πολλοί πράκτορες εργάζονται μαζί
Όταν αρκετοί υπο-πράκτορες εργάζονται παράλληλα, ο πειρασμός είναι να τους δώσετε σε όλους το πλήρες πλαίσιο, απλώς για ασφάλεια. Αυτός είναι ο καλύτερος τρόπος για να πολλαπλασιάσετε τον λογαριασμό σας με τον αριθμό των πρακτόρων, υποβαθμίζοντας ταυτόχρονα την απόδοσή τους, καθώς ένα ακατάστατο πλαίσιο κάνει το μοντέλο λιγότερο ακριβές στο δικό του έργο. Αντ’ αυτού, μοιραστείτε το ελάχιστο πλαίσιο: τον γενικό στόχο ώστε ο πράκτορας να κατανοήσει σε τι συμβάλλει, τον δικό του ρόλο, τους κοινούς περιορισμούς και ένα οριοθετημένο απόσπασμα των αποτελεσμάτων που παρήχθησαν από τους ομοτίμους του.
@dataclass
class SharedContext:
"""Context shared between sub-agents."""
objective: str
constraints: list[str]
partial_results: dict[str, str] = field(default_factory=dict)
def context_for_sub_agent(self, role: str) -> str:
"""Generates a targeted context for a sub-agent."""
return (
f"Global objective: {self.objective}\n"
f"Your role: {role}\n"
f"Constraints: {', '.join(self.constraints)}\n"
f"Results from other agents:\n"
+ "\n".join(
f"- {k}: {v[:200]}"
for k, v in self.partial_results.items()
)
)
Το όριο των 200 χαρακτήρων ανά μερικό αποτέλεσμα αντικατοπτρίζει μια πρόθεση: ένας υπο-πράκτορας χρειάζεται να γνωρίζει τι βρήκαν οι άλλοι, όχι πώς το βρήκαν. Αν οι πράκτορές σας χρειάζονται την πλήρη λεπτομέρεια των γειτονικών αποτελεσμάτων, πιθανότατα χρειάζεται να επανεξετάσετε τον τρόπο με τον οποίο έχετε διαχωρίσει τους ρόλους.
Βασικά σημεία
- Δομήστε τη μνήμη του πράκτορα σε τρία επίπεδα: βραχυπρόθεσμη, επεισοδιακή, σημασιολογική
- Συμπυκνώστε αυτόματα όταν η βραχυπρόθεσμη μνήμη υπερβαίνει το όριο
- Περικόψτε τα αποτελέσματα των εργαλείων πριν τα injectάρετε στο πλαίσιο
- Σηματοδοτείτε πάντα ότι ένα αποτέλεσμα έχει περικοπεί και κατά πόσο
- Για ρυθμίσεις πολλαπλών πρακτόρων, μοιραστείτε ελάχιστο πλαίσιο στοχευμένο ανά ρόλο