Προχωρημένη προσωρινή αποθήκευση prompts
Σε αυτήν τη σελίδα
Πέρα από την αυτόματη προσωρινή αποθήκευση
Είδατε τα βασικά της προσωρινής αποθήκευσης prompts στο Μάθημα 3. Εκεί, η προσωρινή αποθήκευση εμφανίστηκε ως ένας αυτόματος μηχανισμός που σας ωφελεί χωρίς ιδιαίτερη προσπάθεια, και αυτό ισχύει εφόσον η εφαρμογή σας στέλνει καλά δομημένα αιτήματα. Η πραγματικότητα της παραγωγής είναι πιο χαοτική: πολλαπλοί χρήστες χτυπούν το ίδιο API ταυτόχρονα, ο καθένας με τον δικό του φάκελο, έγγραφα και ερωτήσεις. Το κοινό πρόθεμα συρρικνώνεται τότε σχεδόν στο μηδέν και ο ρυθμός επιτυχίας της cache (cache hit rate) καταρρέει χωρίς κανείς να το αντιληφθεί, καθώς τίποτα δεν «σπάει»—απλώς ο λογαριασμός αυξάνεται.
Πολλαπλοί χρήστες, πολλαπλά έγγραφα, pipelines επεξεργασίας: θα αντιμετωπίσουμε αυτά τα σύνθετα σενάρια ένα προς ένα για να μεγιστοποιήσουμε τον ρυθμό επιτυχίας της cache. Η καθοδηγητική αρχή χωράει σε μία πρόταση: η προσωρινή αποθήκευση δεν είναι κάτι που σας συμβαίνει· είναι κάτι που σχεδιάζετε.
Αρχιτεκτονική prompt για μεγιστοποίηση της προσωρινής αποθήκευσης
Η προσωρινή αποθήκευση εφαρμόζεται στο μακρύτερο κοινό πρόθεμα across των αιτημάτων σας. Όσο μεγαλύτερο και σταθερότερο είναι αυτό το πρόθεμα, τόσο περισσότερα εξοικονομείτε. Η πρακτική συνέπεια είναι ότι ένα prompt πρέπει να οργανώνεται από το πιο σταθερό στο πιο μεταβλητό, όπως ένα βιβλίο του οποίου οι πρώτες σελίδες δεν αλλάζουν ποτέ και μόνο το τελικό κεφάλαιο ξαναγράφεται με κάθε έκδοση.
Το παρακάτω παράδειγμα εφαρμόζει αυτή την αρχή σε έναν βοηθό ανάλυσης εγγράφων για μια δικηγορική εταιρεία. Τρία στρώματα ακολουθούν το ένα το άλλο: γενικές οδηγίες, οι οποίες είναι παγωμένες· η βάση γνώσεων, η οποία αναθεωρείται μία φορά τον μήνα· και ο φάκελος της υπόθεσης και η ερώτηση, τα οποία αλλάζουν με κάθε κλήση.
import openai
client = openai.OpenAI()
# Layered architecture: from most stable to most variable
# Layer 1: Global instructions (never change)
GLOBAL_INSTRUCTIONS = """
You are a document analysis assistant for a law firm.
Rules:
- Always respond in French
- Cite relevant legal articles
- Structure as: Analysis / Risks / Recommendations
- Be factual and precise
"""
# Layer 2: Knowledge base (changes rarely)
KNOWLEDGE_BASE = """
[Insert 5,000+ tokens of case law, legal articles,
analysis templates here—this content changes at most once a month]
"""
# Layer 3: Case context (changes per client)
def build_prompt(case_context: str, question: str) -> str:
return f"""{GLOBAL_INSTRUCTIONS}
{KNOWLEDGE_BASE}
--- Current Case ---
{case_context}
--- Question ---
{question}"""
Το κλασικό λάθος είναι η τοποθέτηση του ονόματος του πελάτη ή της σημερινής ημερομηνίας στην αρχή του system prompt για να το «εξατομικεύσετε». Ένας μόνο μεταβλητός χαρακτήρας στην αρχική θέση αρκεί για να κάνει το πρόθεμα μοναδικό, μειώνοντας τον ρυθμό επιτυχίας της cache στο μηδέν για όλα τα επόμενα στρώματα. Οτιδήποτε μεταβάλλεται πρέπει να μπαίνει τελευταίο.
Φυσικά, πρέπει να επαληθεύσετε ότι η θεωρία μεταφράζεται σε νούμερα. Ο παρακάτω monitor διαβάζει το input_tokens_details.cached_tokens σε κάθε απόκριση και συσσωρεύει τις μετρήσεις, δίνοντάς σας έναν usable μέσο όρο αντί για μια διαίσθηση.
class CacheMonitor:
"""Monitors prompt caching efficiency."""
def __init__(self):
self.calls: list[dict] = []
def record(self, usage) -> dict:
total_input = usage.input_tokens
cached_tokens = getattr(
usage.input_tokens_details, "cached_tokens", 0
)
rate = cached_tokens / total_input if total_input > 0 else 0
entry = {
"total_input": total_input,
"cached_tokens": cached_tokens,
"cache_rate": rate,
}
self.calls.append(entry)
return entry
@property
def average_rate(self) -> float:
if not self.calls:
return 0.0
return sum(a["cache_rate"] for a in self.calls) / len(self.calls)
def report(self) -> str:
if not self.calls:
return "No calls."
return (
f"Calls: {len(self.calls)} | "
f"Average cache rate: {self.average_rate:.1%} | "
f"Tokens saved: "
f"{sum(a['cached_tokens'] for a in self.calls):,}"
)
monitor = CacheMonitor()
Τρία μοτίβα που κάνουν τη διαφορά
Το πρώτο μοτίβο αφορά τη σειρά επεξεργασίας. Όταν επεξεργάζεστε μια παρτίδα ετερογενών αιτημάτων, η εκτέλεσή τους με τη σειρά άφιξης εναλλάσσει τα προθέματα και εμποδίζει την cache να παραμείνει «ζεστή». Η ομαδοποίηση ανά κοινό πλαίσιο λύνει το πρόβλημα: συγκεντρώστε πρώτα, εκτελέστε μετά, ώστε κάθε ομάδα να ωφεληθεί από το πρόθεμα που έχει προετοιμαστεί από το πρώτο της αίτημα.
from collections import defaultdict
def group_by_context(
requests: list[dict],
) -> dict[str, list[dict]]:
"""Groups requests by common prefix."""
groups = defaultdict(list)
for request in requests:
# Key = hash of shared context
key = hash(request.get("shared_context", ""))
groups[key].append(request)
return dict(groups)
def process_by_cohort(requests: list[dict]):
"""Processes grouped requests to maximize caching."""
groups = group_by_context(requests)
for key, group in groups.items():
# All requests in the group share the same prefix
for request in group:
response = client.responses.create(
model="gpt-5.6-terra",
instructions=request["shared_context"],
input=request["question"],
)
monitor.record(response.usage)
Το δεύτερο μοτίβο διαχειρίζεται τις ψυχρές εκκινήσεις (cold starts). Το πρώτο αίτημα σε μια σειρά πληρώνει την πλήρη τιμή καθώς τίποτα δεν είναι αποθηκευμένο ακόμα· αν αυτό το πρώτο αίτημα προέρχεται από έναν πραγματικό χρήστη μια Δευτέρα πρωί στις 9 π.μ., αυτός επωμίζεται την καθυστέρηση. Ένα αίτημα προθέρμανσης (warm-up) που στέλνεται πριν ανοίξει η υπηρεσία μετατοπίζει αυτό το κόστος εκεί που δεν ενοχλεί κανέναν. Σημειώστε τον έλεγχο στην αρχή της συνάρτησης: κάτω από 1.024 tokens, η προσωρινή αποθήκευση δεν εφαρμόζεται και η προθέρμανση θα ήταν καθαρό έξοδο.
def warm_up_cache(system_prompt: str):
"""Sends a minimal request to prime the cache."""
if len(system_prompt) // 4 < 1024:
print("Prompt too short for caching (< 1,024 tokens)")
return
response = client.responses.create(
model="gpt-5.6-terra",
instructions=system_prompt,
input="Confirm that you are ready.",
max_output_tokens=10,
)
usage = response.usage
print(
f"Cache primed: {usage.input_tokens} input tokens, "
f"{getattr(usage.input_tokens_details, 'cached_tokens', 0)} cached"
)
Το τρίτο μοτίβο κάνει ορατή την ακύρωση της cache (cache invalidation). Η διόρθωση ενός κόμματος σε ένα system prompt 5.000 tokens φαίνεται τετριμμένη, ωστόσο αυτό το κόμμα καθαρίζει την cache για όλους. Προσαρτώντας ένα fingerprint στο περιεχόμενο, εντοπίζετε την αλλαγή κατά την ανάπτυξη (deployment) και όχι την επόμενη μέρα στον λογαριασμό, και μπορείτε να ακολουθήσετε άμεσα με προθέρμανση.
import hashlib
class VersionedPrompt:
"""Manages prompt versions to control caching."""
def __init__(self, content: str):
self.content = content
self.version = hashlib.md5(content.encode()).hexdigest()[:8]
def is_same_version(self, other: "VersionedPrompt") -> bool:
return self.version == other.version
# If the version changes, the cache will be invalidated
prompt_v1 = VersionedPrompt("Instructions v1...")
prompt_v2 = VersionedPrompt("Instructions v2 modified...")
if not prompt_v1.is_same_version(prompt_v2):
print("Warning: prompt changed, cache will be invalidated")
warm_up_cache(prompt_v2.content)
Τι σημαίνει αυτό σε όγκο
Πάρτε μια πραγματική περίπτωση 10.000 κλήσεων την ημέρα με ένα system prompt 3.000 tokens. Χωρίς προσωρινή αποθήκευση, χρεώνεστε 10.000 × 3.000, ή 30 εκατομμύρια tokens εισόδου κάθε μέρα. Με ρυθμό επιτυχίας 80%, 6 εκατομμύρια tokens παραμένουν στην πλήρη τιμή και 24 εκατομμύρια πέφτουν στη μισή τιμή, φέρνοντας την εξοικονόμηση στο περίπου 40% στα tokens εισόδου. Το νούμερο φαίνεται μέτριο σε σχέση με μια μεμονωμένη κλήση· σε έναν χρόνο παραγωγής, αλλάζει τη δομή κόστους της εφαρμογής.
Βασικά σημεία
- Δομήστε τα prompts σας σε στρώματα, από το πιο σταθερό στο πιο μεταβλητό
- Ομαδοποιήστε τα αιτήματα ανά κοινό πλαίσιο για να διατηρήσετε την cache ζεστή
- Προθερμάνετε την cache πριν από τις αιχμές κίνησης
- Παρακολουθήστε τον ρυθμό της cache με το
input_tokens_details.cached_tokens - Εκδώστε εκδόσεις (versioning) στα prompts σας για να anticipate τις ακυρώσεις της cache